当前位置: 首页 > 大数据工程师 > 大数据工程师实战技能 > 大数据工程师Hadoop > Hadoop在大数据中有什么作用?

Hadoop在大数据中有什么作用?

发布时间:2021年01月25日 02:35:41 来源:环球青藤 点击量:2197

【摘要】Hadoop解决了两个最基础,最重要的功能:一个是分布式存储(HDFS),一个是分布式计算(MapReduce)。用户可以在不了解分布式底层细节的情况下,在其平台上开发分布式程序。那么,今天就跟随小编一起来了解下吧!

HDFS按照Master和Slave的结构。分为NameNode、SecondaryNameNode、DataNode这几个角色。

NameNode:是Master节点,是大领导。管理数据块映射;处理客户端的读写请求;配置副本策略;管理HDFS的名称空间。

SecondaryNameNode:是一个小弟,分担大哥namenode的工作量;是NameNode的冷备份;合并fsimage(元数据镜像文件,文件系统的目录树)和fsedits(元数据的操作日志,针对文件系统做的修改操作记录),然后再发给namenode。

DataNode:是Slave节点,是奴隶,干活的。负责存储客户端发来的block;执行block的读写操作。NameNode和DataNode之间的通信是通过心跳机制实现的。

Map(映射)任务处理:

读取HDFS中的文件。每一行解析成一个。每一个键值对调用一次map函数。map函数接收前面产生的,进行处理,转换为新的输出。对转换后的进行分区。对不同分区中的数据按key进行排序、分组。分组指的是相同key的value放到一个集合中。

Reduce(归约)任务处理:

多个map任务的输出,按照不同的分区,通过网络copy到不同的reduce节点上。对多个map的输出进行合并、排序。覆盖reduce函数,接收的是分组后的数据,实现自己的业务逻辑,处理后,产生新的输出。对reduce输出的写到HDFS中。

关于Hadoop在大数据中有什么作用,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章能够对你有所帮助。如果您还想了解更多关于数据分析师大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。

分享到: 编辑:方梦茹

就业培训申请领取
您的姓名
您的电话
意向课程
点击领取

环球青藤

官方QQ

扫描上方二维码或点击一键加群,免费领取大礼包,加群暗号:青藤。 一键加群

绑定手机号

应《中华人民共和国网络安全法》加强实名认证机制要求,同时为更加全面的体验产品服务,烦请您绑定手机号.

预约成功

本直播为付费学员的直播课节

请您购买课程后再预约

环球青藤移动课堂APP 直播、听课。职达未来!

安卓版

下载

iPhone版

下载
环球青藤官方微信服务平台

刷题看课 APP下载

免费直播 一键购课

代报名等人工服务

课程咨询 学员服务 公众号

扫描关注微信公众号

APP

扫描下载APP

返回顶部