当前位置: 首页 > 数据分析师 > 数据分析师实战技能 > 数据分析师数据分析 > Hadoop 伪分布模式参数配置指南

Hadoop 伪分布模式参数配置指南

发布时间:2020年09月28日 06:27:36 来源: 点击量:290

【摘要】Hadoop通过改变其配置文件来更改运行模式,我们通过修改如下四个配置文件core-site xml、hdfs-site xml、mapred-site xml和yarn-site xml即

Hadoop通过改变其配置文件来更改运行模式,我们通过修改如下四个配置文件core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml即可让Hadoop以伪分布模式运行。

Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value的方式来实现。接下来让我们开始进行hadoop的配置吧,配置之前首先启动Ubuntu虚拟机,然后打开Xshell软件并连接登录虚拟机。

1、设置hadoop-env.sh配置文件

首先,我们需要修改hadoop运行相关的sh文件,以保证hadoop运行过程中能够正常使用其他软件或组件的功能,此处一般而言只需将JAVA功能添加在内既可。

cd ~/hadoop/etc/hadoop # 进入hadoop配置文件夹 vim hadoop-env.sh

在弹出的框体中输入i进入输入模式,此时可以编辑hadoop-env.sh了。

将JAVA路径写入到文件,只需修改

为如下代码

export JAVA_HOME=/usr/local/lib/jdk1.8

然后按Esc进入命令模式再输入:wq保存文件并退出。

注:后面编辑文件的操作有将不再反复赘述编辑器打开关闭过程,只对需要更改、编辑的内容进行说明。

2、配置core-site.xml文件

首先是core-site.xml,文件,该文件决定Hadoop core组件部分运行模式,在命令行中输入开始编辑文件

vim core-site.xml

在弹出的框体中输入i,然后配置如下内容

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

编辑完成内容如下

3、配置hdfs-site.xml文件

hdfs-site.xml将决定hdfs的部分运行情况,在命令行中输入

vim hdfs-site.xml

在弹出的框体中输入配置内容

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/hduser/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/hduser/tmp/dfs/data</value>

</property>

</configuration>

4、配置mapred-site.xml文件

mapred-site.xml用于设置监控Map与Reduce程序的JobTracker任务分配情况以及运行情况。hadoop这里只提供了模板,可先复制再编辑,在命令行中输入

cp mapred-site.xml.template mapred-site.xml # 复制模板 vim mapred-site.xml

在弹出的框体中输入配置内容

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

5、配置yarn-site.xml文件

在命令行中输入

vim yarn-site.xml

在弹出的框体中输入配置内容

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

伪分布模式的配置内容就这里,下篇文章我们介绍如何启动单节点集群。

分享到: 编辑:wangmin

就业培训申请领取
您的姓名
您的电话
意向课程
点击领取

环球青藤

官方QQ

扫描上方二维码或点击一键加群,免费领取大礼包,加群暗号:青藤。 一键加群

绑定手机号

应《中华人民共和国网络安全法》加强实名认证机制要求,同时为更加全面的体验产品服务,烦请您绑定手机号.

预约成功

本直播为付费学员的直播课节

请您购买课程后再预约

环球青藤移动课堂APP 直播、听课。职达未来!

安卓版

下载

iPhone版

下载
环球青藤官方微信服务平台

刷题看课 APP下载

免费直播 一键购课

代报名等人工服务

课程咨询 学员服务 公众号

扫描关注微信公众号

APP

扫描下载APP

返回顶部