最近要在公司里搭建一个hadoop测试集群,于是采用docker来快速部署hadoop集群。
0. 写在前面
网上也已经有很多教程了,但是其中都有不少坑,在此记录一下自己安装的过程。
目标:使用docker搭建一个一主两从三台机器的hadoop2.7.7版本的集群
准备:
首先要有一台内存8G以上的centos7机器,我用的是阿里云主机。
其次将jdk和hadoop包上传到服务器中。
我安装的是hadoop2.7.7。包给大家准备好了,链接:https://pan.baidu.com/s/15n_W-1rqOd2cUzhfvbkH4g 提取码:vmzw。
1. 步骤
大致分以下几步:
- 安装docker
- 基础环境准备
- 配置网络,并启动docker容器
- 配置host及ssh免密登录
- 安装配置hadoop
1.1 安装docker
依次执行如下步骤安装docker。如果有docker环境的可以跳过。
yum update yum install -y yum-utils device-mapper-persistent-data lvm2 yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum install -y docker-ce systemctl start docker docker -v
1.2 基础环境准备
1.2.1 创建基础的centos7镜像拉取官方centos7镜像
docker pull centos
通过build Dockfile生成带ssh功能的centos镜像
创建Dockerfile文件
vi Dockerfile
将如下内容写入Dockerfile
FROM centos MAINTAINER mwf RUN yum install -y openssh-server sudo RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config RUN yum install -y openssh-clients RUN echo "root:qwe123" | chpasswd RUN echo "root ALL=(ALL) ALL" /etc/sudoers RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key RUN mkdir /var/run/sshd EXPOSE 22 CMD ["/usr/sbin/sshd", "-D"]
上述内容大概意思是:以centos镜像为基础,设置密码为wqe123,安装ssh服务并启动
构建Dockerfile
docker build -t="centos7-ssh" .
将生成一个名为centos7-ssh
的镜像,可以通过docker images
查看
1.2.2 生成有hadoop和jdk环境的镜像
- 将准备好的包放在当前目录下。
hadoop-2.7.7.tar.gz
和jdk-8u202-linux-x64.tar.gz
- 通过build Dockfile生成带hadoop和jdk环境的centos镜像
刚才已经创建了一个Dockerfile了,先将他移开。mv Dockerfile Dockerfile.bak
创建Dockerfile
vi Dockerfile
将以下内容写入:
FROM centos7-ssh ADD jdk-8u202-linux-x64.tar.gz /usr/local/ RUN mv /usr/local/jdk1.8.0_202 /usr/local/jdk1.8 ENV JAVA_HOME /usr/local/jdk1.8 ENV PATH $JAVA_HOME/bin:$PATH ADD hadoop-2.7.7.tar.gz /usr/local RUN mv /usr/local/hadoop-2.7.7 /usr/local/hadoop ENV HADOOP_HOME /usr/local/hadoop ENV PATH $HADOOP_HOME/bin:$PATH RUN yum install -y which sudo
上述内容大概意思是:以上面生成的centos7-ssh为基础,将hadoop和jdk包放进去,然后配好环境变量。
构建Dockerfile
docker build -t="hadoop" .
将生成一个名为hadoop的镜像
1.3 配置网络,并启动docker容器
因为集群间必须要能网络连通,所以要先配置好网络。
创建网络
docker network create --driver bridge hadoop-br
以上命令创建了一个名为hadoop-br
的bridge类型的网络
启动docker时指定网络
docker run -itd --network hadoop-br --name hadoop1 -p 50070:50070 -p 8088:8088 hadoop docker run -itd --network hadoop-br --name hadoop2 hadoop docker run -itd --network hadoop-br --name hadoop3 hadoop
以上命令启动了3台机器,网络都指定为hadoop-br
,hadoop1还开启了端口映射。
查看网络情况
docker network inspect hadoop-br
执行以上命令就可以看到对应的网络信息:
[ { "Name": "hadoop-br", "Id": "88b7839f412a140462b87a353769e8091e92b5451c47b5c6e7b44a1879bc7c9a", "Containers": { "86e52eb15351114d45fdad4462cc2050c05202554849bedb8702822945268631": { "Name": "hadoop1", "IPv4Address": "172.18.0.2/16", "IPv6Address": "" }, "9baa1ff183f557f180da2b7af8366759a0d70834f43d6b60fba2e64f340e0558": { "Name": "hadoop2", "IPv4Address": "172.18.0.3/16", "IPv6Address": "" }, "e18a3166e965a81d28b4fe5168d1f0c3df1cb9f7e0cbe0673864779b224c8a7f": { "Name": "hadoop3", "IPv4Address": "172.18.0.4/16", "IPv6Address": "" } }, } ]
我们可以得知3台机器对应的ip:
172.18.0.2 hadoop1 172.18.0.3 hadoop2 172.18.0.4 hadoop3
登录docker容器,互相之间就可以ping通了。
docker exec -it hadoop1 bash docker exec -it hadoop2 bash docker exec -it hadoop3 bash
1.4 配置host及ssh免密登录
1.4.1 配置host
分别在每台修改每台机器的host
vi /etc/hosts
将以下内容写入(注:docker分出来的ip对于每个人可能不一样,填你自己的):
172.18.0.2 hadoop1 172.18.0.3 hadoop2 172.18.0.4 hadoop3
1.4.2 ssh免密登录
因为上面在镜像中已经安装了ssh服务,所以直接分别在每台机器上执行以下命令:
ssh-keygen 一路回车 ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop1 输入密码,如果按我的来得话就是qwe123 ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop2 输入密码,如果按我的来得话就是qwe123 ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop3 输入密码,如果按我的来得话就是qwe123
1.4.3 测试是否配置成功
ping hadoop1 ping hadoop2 ping hadoop3 ssh hadoop1 ssh hadoop2 ssh hadoop3
1.5 安装配置hadoop
1.5.1 在hadoop1上操作
进入hadoop1
docker exec -it hadoop1 bash
创建一些文件夹,一会在配置中要用到
mkdir /home/hadoop mkdir /home/hadoop/tmp /home/hadoop/hdfs_name /home/hadoop/hdfs_data
切换到hadoop配置的目录
cd $HADOOP_HOME/etc/hadoop/
编辑core-site.xml
<property> <name>fs.defaultFS</name> <value>hdfs://hadoop1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/tmp</value> </property> <property> <name>io.file.buffer.size</name> <value>131702</value> </property>
编辑hdfs-site.xml
<property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/hdfs_name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/hdfs_data</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop1:9001</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property>
编辑mapred-site.xml
mapred-site.xml默认不存在,要执行cp mapred-site.xml.template mapred-site.xml
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop1:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hadoop1:19888</value> </property>
编辑yarn-site.xml
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>hadoop1:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>hadoop1:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>hadoop1:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>hadoop1:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>hadoop1:8088</value> </property>
编辑slaves
我这里把hadoop1当成主节点,hadoop2、3作为从节点
hadoop2 hadoop3
把文件拷贝到hadoop2和hadoop3上
依次执行以下命令:
scp -r $HADOOP_HOME/ hadoop2:/usr/local/ scp -r $HADOOP_HOME/ hadoop3:/usr/local/ scp -r /home/hadoop hadoop2:/ scp -r /home/hadoop hadoop3:/
1.5.2 在每台机器上操作
分别连接每台机器
docker exec -it hadoop1 bash docker exec -it hadoop2 bash docker exec -it hadoop3 bash
配置hadoop sbin目录的环境变量
因为hadoop bin目录在之前创建镜像时就配好了,但是sbin目录没有配,所以要单独配置。分配为每台机器配置:
vi ~/.bashrc
追加如下内容:
export PATH=$PATH:$HADOOP_HOME/sbin
执行:
source ~/.bashrc
1.5.3 启动hadoop
在hadoop1上执行以下命令:
格式化hdfs
hdfs namenode -format
一键启动
start-all.sh
不出错的话,就可以庆祝一下了。出错的话,加油。
1.6 测试使用hadoopjps
# hadoop1 1748 Jps 490 NameNode 846 ResourceManager 686 SecondaryNameNode # hadoop2 400 DataNode 721 Jps 509 NodeManager # hadoop3 425 NodeManager 316 DataNode 591 Jps
上传文件
hdfs dfs -mkdir /mwf echo hello > a.txt hdfs dfs -put a.txt /mwf hdfs dfs -ls /mwf Found 1 items drwxr-xr-x - root supergroup 0 2020-09-04 11:14 /mwf
由于是云服务器,不想配端口,就不看ui界面了。
2. 最后
以上是我安装成功之后总结的过程,应该没有问题,也可能有遗漏。
3. 参考
https://cloud.tencent.com/developer/article/1084166
https://cloud.tencent.com/developer/article/1084157"https://blog.csdn.net/ifenggege/article/details/108396249" rel="external nofollow" >https://blog.csdn.net/ifenggege/article/details/108396249
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
更新日志
- 外媒:《死亡岛2》或是今年PS+2档最受欢迎游戏
- 群星.1997-世纪之歌第二辑6CD【宝丽金】【WAV+CUE】
- 邵萱.1997-是是非非【捷登】【WAV+CUE】
- 巫启贤.1998-我是你的【风格】【WAV+CUE】
- 【原神手游】「月草的赐慧」祈愿
- 【原神手游】「赤团开时」祈愿
- 【原神手游】「法器·千夜浮梦」介绍
- 陈立农《青春为名 上部曲 - 恋》[FLAC/分轨][290.58MB]
- 张乔西《明星》[320K/MP3][55.23MB]
- 张乔西《明星》[FLAC/分轨][143.08MB]
- 《P3R:Episode Aegis》:重复爬塔的悲伤
- 《公会传说:遗落的世界》EA版评测:怀旧感CRPG还在追我
- 诛仙老玩家会喜欢《诛仙世界》吗?
- ABC唱片-《母帶直刻神奇黑胶CD》[FLAC+CUE]
- 柏菲·李一凤《真爱过关》限量开盘母带ORMCD[低速原抓WAV+CUE]