Ισορροπία

Hadoop集群部署(centos7)(写的太烂,准备翻新)
1.首先按照需求布置虚拟机,本文以四个节点的布置为例2.各节点配置jdk环境,详情见我之前发过的文章:http:/...
扫描右侧二维码阅读全文
09
2019/10

Hadoop集群部署(centos7)(写的太烂,准备翻新)

1.首先按照需求布置虚拟机,本文以四个节点的布置为例
2.各节点配置jdk环境,详情见我之前发过的文章:http://www.zehnnanne.com/index.php/archives/5/
完成一台机器的配置之后只用远程拷贝命令将jdk目录以及配置文件拷贝至其他节点机器

scp -r jdk1.8.0_221/ root@169.254.0.9:/usr/local/

scp /etc/profile root@169.254.0.9:/etc/

source /etc/profile

输入java -version查看是否安装成功
3.hadoop资源地址:https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/
因为我在部署的时候使用的内部网络环境搭建的虚拟机集群所以我这里要下载好之后再用scp传到虚拟机中,由外部网络条件的同学可以直接使用wget或其他工具下载
4.解压文件到/usr/local

tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local/

5.修改配置文件

# 为三个节点设置域名
vi /etc/hosts
192.168.91.128 node1.com
192.168.91.130 node2.com
192.168.91.131 node3.com

手动为三个配置文件填入JAVA_HOME值

配置参数

1)修改core-site.xml

vi core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
# fs.defaultFS为NameNode的地址。
<value>hdfs://node1.com:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/app/hadoop-2.6.0/data/tmp</value>
</property>
</configuration>

2)修改hdfs-site.xml

vi hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
# dfs.namenode.secondary.http-address是指定secondaryNameNode的http访问地址和端口号
<value>node03.com:50090</value>
</property>
</configuration>

3)修改slaves

vi slaves
# 用于记录共有多少个节点
node1.com
node2.com
node3.com

4)修改yarn-site.xml

vi yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
# yarn.resourcemanager.hostname这个指定resourcemanager服务器指向
<value>node2.com</value>
</property>
<property>
<name>yarn.log0aggregation-enable</name>
# yarn.log-aggregation-enable是配置是否启用日志聚集功能。
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
# yarn.log-aggregation.retain-seconds是配置聚集的日志在HDFS上最多保存多长时间。
<value>106800</value>
</property>
</configuration>

5)修改mapred-site.xml

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

6)修改mapred-site.xml

vi mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
# mapreduce.framework.name设置mapreduce任务运行在yarn上。
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
# mapreduce.jobhistory.address是设置mapreduce的历史服务器安装位置
<value>node1.com:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
# mapreduce.jobhistory.webapp.address是设置历史服务器的web页面地址和端口号。
<value>node1.com:19888</value>
</property>
</configuration>

6.拷贝hadoop到其他节点

scp -r hadoop-2.6.0/ root@169.254.0.9:/usr/local/

7.设置SSH无密码登录
以下操作三个节点全部要求全部完成

ssh-keygen -t rsa

生成的公钥和私钥在/root/.ssh处
分发公钥

ssh-copy-id node1.com
ssh-copy-id node2.com
ssh-copy-id node3.com

7.启动HDFS
1)关闭防火墙

service iptables stop
systemctl disable iptables
vi /etc/sysconfig/selinux

SELINUX=disabled

2)进行namenode的格式化

/opt/modules/app/hadoop-2.6.0/bin/hdfs namenode –format

启动HDFS

/opt/modules/app/hadoop-2.6.0/sbin/start-dfs.sh

8.启动YARN

/opt/modules/app/hadoop-2.6.0/sbin/start-yarn.sh

9.在node2上启动ResourceManager:

/opt/modules/app/hadoop-2.6.0/sbin/yarn-daemon.sh start resourcemanager

10.在node03上启动日志服务器

/opt/modules/app/hadoop-2.6.0/sbin/mr-jobhistory-daemon.sh start historyserver

11.在主机本地访问192.168.91.128:50070 如果能看到页面则部署成功
12.TO BE CONTINUE......

Last modification:November 10th, 2019 at 10:07 am
If you think my article is useful to you, please feel free to appreciate

Leave a Comment