【摘要】除了计算引擎，我们还需要一些平台工具，如IDE开发、作业调度系统、大数据同步工具、BI模块、数据管理、监控和报警等。那么，什么是大数据生态技术体系?这对大数据工程师来说已经足够了，现在就思考一下大数据生态技术体系是什么？大数据工程师掌握这些就够了。

1、大数据生态技术体系——Hadoop

由Apache基金会开发的分布式系统基础设施。Hadoop框架的核心设计是HDFS和MapReduce。HDFS提供海量数据的存储，MapReduce提供海量数据的计算。Hadoop是一个基本框架，它可以托管许多其他东西，比如Hive。不想用编程语言开发MapReduce的人可以使用Hive进行离线数据处理和分析。例如，HBase作为面向列的数据库在HDFS上运行，而HDFS缺乏读和写操作，这就是为什么HBase是一个分布式的、面向列的开源数据库。

2、大数据生态技术体系——的火花

也是一个开源项目Apache基金会的另一个重要的分布式计算系统开发的加州大学伯克利分校的实验室。最大的火花和Hadoop的区别是Hadoop使用硬盘来存储数据,而火花使用内存来存储数据,因此火花可以提供超过100次的计算速度。Spark可以通过YARN(另一个资源协调器)在Hadoop集群中运行，但是Spark现在也在进化成一个生态过程，希望通过一个技术栈实现上下游的集成。例如，Spark Shark VS Hadoop Hive, Spark Streaming VS Storm。

3、大数据生态技术体系——风暴

是一个由BackType团队作为Apache基金会孵化器开发的分布式计算系统。它提供了基于Hadoop的实时计算特性，可以实时处理大型数据流。与Hadoop和Spark不同，Storm不收集和存储数据。它通过网络直接实时接收和处理数据，然后通过网络直接实时返回结果。Storm擅长直播。例如，日志，就像网络购物的点击流一样，是连续的、连续的、永远不会结束的，所以当数据通过像Kafka一样的消息队列传入时，Storm就会发挥作用。Storm本身并不收集或存储数据，而是在数据到达时进行处理，并在运行时输出数据。

上面的模块只是基于大型分布式计算的通用框架，通常由计算引擎描述。

除了计算引擎，我们还需要IDE开发、作业调度系统、大数据同步工具、BI模块、数据管理、监控和报警等平台工具。与计算引擎一起，形成了大数据的基础平台。

在这个平台上，我们可以做基于数据的大数据处理应用，开发大数据应用产品。

大数据生态技术体系是什么?大数据工程师掌握这些就够了除了计算引擎，我们还需要一些平台工具，如IDE开发、作业调度系统、大数据同步工具、BI模块、数据管理、监控和报警等，你能处理好吗?如果您还担心自己入门不顺利，可以点击本站其他文章进行学习。