Loading...
Hadoop学习之配置多节点集群(Hadoop Cluster Setup)

Hadoop笔记 2015/12/18 Hadoop , CentOS

Hadoop学习之配置多节点集群(Hadoop Cluster Setup)


#多节点集群配置说明

多节点集群配置是在伪分布式配置的基础上,将安装配置好的“hadoop-2.7.1”复制到其他节点虚拟机上,并且启动。

伪分布式部署配置详看:Hadoop学习之配置单一节点(Setting up a Single Node Cluster)


虚拟主机:centos1、centos2;分别配置好hosts,使之centos1和centos2之间的ping测试能互通,并且开放对应防火墙端口,这里的测试配置,只提供一台slaver节点,即将centos2作为slaver,centos1作为master;而正式生产环境至少需要2两个slaver,切记


#将centos1上安装配置好的hadoop安装包copy至centos2上

[root@centos1 data]# scp -r /data/hadoop-2.7.1 root@centos2:/data/


#分别启动centos1上的hadoop和centos2上的hadoop

[root@centos1 hadoop-2.7.1]# sbin/start-dfs.sh

[root@centos1 hadoop-2.7.1]# jps

41291 DataNode

41611 Jps

41464 SecondaryNameNode



[root@centos2 hadoop-2.7.1]# sbin/start-dfs.sh

[root@centos2 hadoop-2.7.1]# jps

41291 DataNode

41611 Jps

41464 SecondaryNameNode


#查看节点情况

NodeLast contactAdmin StateCapacityUsedNon DFS UsedRemainingBlocksBlock pool usedFailed VolumesVersion
centos1.imethan.cn:50010 (192.168.42.133:50010)1In Service17.17 GB576 KB5.36 GB11.81 GB58576 KB (0%)02.7.1
centos2.imethan.cn:50010 (192.168.42.134:50010)2In Service17.17 GB28 KB5.72 GB11.45 GB028 KB (0%)02.7.1


至此,一个master和一个slaver的hadoop分布式部署配置完成。



#参考文档

http://imethan.cn/blog/article/84

http://hadoop.apache.org/

http://blog.fens.me/hadoop-family-roadmap/



Comments