比较Hadoop、Spark和Kafka大数据框架
大约十年前，大数据开始流行。随着存储成本不断下降，很多企业开始存储他们获取或生成的大部分数据，以便他们可以挖掘这些数据，以获得关键的业务洞察力。 企业分析所有这些数据的需求推动着各种大数据框架的开发，这些框架能够筛选大量数据，从Hadoop开始
Uber 容器化 Apache Hadoop 基础设施的实行
随着 Uber 的业务持续增长，我们用了 5 年时间扩展 Apache Hadoop（本文中称为Hadoop），部署到了 21000 多台主机上，以支持多种分析和机器学习用例。我们组建了一支拥有多样化专业知识的团队来应对在裸金属服务器上运行 Hadoop 所面临的各种挑战，这些挑战
可算有人把 Hadoop 生态的主要讲明白了！
Hadoop是一个由Apache基金会开发的分布式系统基础架构。开发人员可以在不了解分布式底层细节的情况下开发分布式程序，充分利用集群的威力进行高速并行运算以及海量数据的分布式存储。Hadoop大数据技术架构如图1所示。 然而，Hadoop不是一个孤立的技术，而是
Hadoop、Spark、Hive究竟是什么，做算法要不要学？
最近我发现，很多萌新说着想要做算法工程师，但是却对这个岗位的要求以及工作内容一无所知。以为学一个Python，再学一些机器学习、深度学习的模型就可以胜任了。工作就是用Python不停地写模型。 显然，这样的想法是有问题的，如果真这么干，即使通过了面试
使用Hortonworks Hadoop？现在你可以依靠更稳定的关键
软件稳定性是大公司的关键要求，霍顿工厂正在逐步朝着其企业Hadoop软件的新版本Cadence迈出了一大步。 从Hortonworks数据平台开始，该公司现在正在使用，该公司正在采用双管齐下的方法来更新。具体来说，它将更新核心Apache Hadoop组件，例如HDFS，MapReduc
Hadoop时期的英雄Cloudera将被私有化
6月1日，私募股权公司KKR和CDR宣布，将以47亿美元将纽交所上市的大数据公司Cloudera私有化。 Cloudera 于 2008 年由谷歌、Facebook、甲骨文和雅虎公司的一群工程师创立，是 Hadoop 数据管理软件与服务提供商，也是 Hadoop 生态系统中，规模最大、知名度最高
Yahoo公开Hadoop的源代码
根据国外媒体报道，Yahoo公布了Hadoop的源代码，Hadoop是一个开源的Java并行编程框架，它是Map/Reduce的开源版本，而Map/Reduce则是Google用在计算机簇上对大规模数据进行分布式计算的架构。 该源代码可以再Yahoo的网站上下载，是0.20 alpha版，其中包括一
可算有人把 Hadoop 生态的核心讲明白了！
Hadoop是一个由Apache基金会开发的分布式系统基础架构。开发人员可以在不了解分布式底层细节的情况下开发分布式程序，充分利用集群的威力进行高速并行运算以及海量数据的分布式存储。Hadoop大数据技术架构如图1所示。图1 Hadoop大数据技术架构然而，Hadoop
大数据Hadoop基准检测标准你知道吗？
随着开源Hapdoop、Map/Reduce、Spark、HDFS、HBASE等技术的商用化，大数据管理技术得到了突飞猛进的发展。利用hadoop自带基准测试工具包进行集群性能测试，测试平台为CDH5.16上hadoop2.6版本。目录 /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/使用Tes
大数据Hadoop基准测试标准你明白吗？
TPC-DS采用星型、雪花型等多维数据模式。它包含7张事实表，17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询，覆盖SQL99和2003的核心部分以及OLAP。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用，测试用的数据和值是有
