当前位置: 首页 > 大数据工程师 > 大数据工程师行业动态 > 大数据工程师热点资讯 > 大数据平台架构的组成都有哪些?

大数据平台架构的组成都有哪些?

发布时间:2021年01月09日 02:42:40 来源:环球青藤 点击量:1727

【摘要】大数据平台,是以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume Kafka等集群。由上到下,可分为三个部分:数据搜集、数据处理、数据输出与展示。

1、数据采集

将应用程序发作的数据和日志等同步到大数据系统中,由于数据源不同,这里的数据同步系统实际上是多个相关系统的组合。

数据库同步一般用 Sqoop,日志同步可以选择 Flume,搜集的数据经过格式化转化后通过 Kafka 等音讯队列进行传递。

2、数据处理

这部分是大数据存储与核算的核心,数据同步系统导入的数据存储在 HDFS。MapReduce、Hive、Spark 等来读取 HDFS 上的数据进行核算,再将计算结果写入 HDFS。

3、数据可视化

大数据核算发生的数据还是写入到 HDFS 中,但应用程序不能到 HDFS 中读取数据,所以有必要要将 HDFS 中的数据导出到数据库中。

关于大数据平台架构的组成都有哪些,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。

分享到: 编辑:方梦茹

就业培训申请领取
您的姓名
您的电话
意向课程
点击领取

环球青藤

官方QQ

扫描上方二维码或点击一键加群,免费领取大礼包,加群暗号:青藤。 一键加群

绑定手机号

应《中华人民共和国网络安全法》加强实名认证机制要求,同时为更加全面的体验产品服务,烦请您绑定手机号.

预约成功

本直播为付费学员的直播课节

请您购买课程后再预约

环球青藤移动课堂APP 直播、听课。职达未来!

安卓版

下载

iPhone版

下载
环球青藤官方微信服务平台

刷题看课 APP下载

免费直播 一键购课

代报名等人工服务

课程咨询 学员服务 公众号

扫描关注微信公众号

APP

扫描下载APP

返回顶部