本文所使用的环境及版本:
- CentOS Linux release 7.9.2009 (Core)
- jdk1.8.0_291
- hadoop-3.2.2
一、安装模板机
1、安装CentOS 7.9并配置网络
==注意:在安装虚拟机时建议分配50G以上的磁盘容量,避免后期磁盘不够用需手动扩容的麻烦==
关于CentOS 7.X 的安装参照这篇文章:VMware安装CentOS 7.8详细图文教程(含网络配置)
2、安装 epel-release
注:Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包,适用于 RHEL、CentOS 和 Scientific Linux。(相当于是一个软件仓库,大多数 rpm 包在官方 repository 中是找不到的)
[root@hadoop100 ~]# yum install -y epel-release
3、由于本教程安装的是最小系统,所以还需要安装一些工具包
3.1、net-tool:工具包集合,包含 ifconfig 等命令
[root@hadoop100 ~]# yum install -y net-tools
3.2、vim:编辑器
[root@hadoop100 ~]# yum install -y vim
4、关闭防火墙
[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service
5、创建一个普通用户
==注意:== 若在安装时已经创建过普通用户,可以直接使用之前创建过的普通用户,也可以根据此步骤再创建一个普通用户,用户名为sumu,密码为123456(用户名和密码自定义)
[root@hadoop100 ~]# useradd sumu
[root@hadoop100 ~]# passwd 123456
6、配置 sumu 用户具有 root 权限,方便后期加 sudo 执行执行 root 权限的命令
[root@hadoop100 ~]# vim /etc/sudoers
注意:
- 在
%wheel ALL=(ALL) ALL
这一行的下面添加sumu ALL=(ALL) NOPASSWD:ALL
(此处的sumu为要赋予权限的用户) - sumu 这一行不要直接放到 root 行下面,因为所有用户都属于 wheel 组,你先配置了 sumu 具有免密功能,但是程序执行到%wheel 行时,该功能又被覆盖回需要密码。所以 sumu 要放到%wheel 这行下面。
7、在/opt 目录下创建文件夹,并修改所属主和所属组
1)在/opt 目录下创建 module 和 software 文件夹(software 用于存放软件安装包,而 module 用于存放解压后的文件包)
[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software
2)修改 module、software 文件夹的所属主和所属组均为 sumu 用户
[root@hadoop100 ~]# chown sumu:sumu /opt/module
[root@hadoop100 ~]# chown sumu:sumu /opt/software
3)查看 module、software 文件夹的所有者和所属组
8、安装 rsync(后面用于执行集群分发脚本)
[root@hadoop100 opt]# yum install -y rsync
- 启动 rsync 并设置开机自启
[root@hadoop100 opt]# systemctl start rsyncd.service
[root@hadoop100 opt]# systemctl enable rsyncd.service
- 检查是否启动成功
[root@hadoop100 opt]# netstat -lnp|grep 873
- 修改
rsyncd.conf
配置文件,保存退出
[root@hadoop100 opt]# vim /etc/rsyncd.conf
# 运行RSYNC守护进程的用户
uid = root
# 运行RSYNC守护进程的组
gid = root
#不使用chroot
use chroot = no
# 最大连接数为4
max connections = 4
# CentOS7中yum安装不需指定pid file 否则报错
# pid file = /var/run/rsyncd.pid
# 指定锁文件
lock file=/var/run/rsyncd.lock
# 指定日志文件
log file = /var/log/rsyncd.log
exclude = lost+found/
transfer logging = yes
# 超时时间
timeout = 900
# 同步时跳过没有权限的目录
ignore nonreadable = yes
# 传输时不压缩的文件
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
- 重启rsync
[root@hadoop100 opt]# systemctl restart rsyncd.service
9、卸载CentOS自带的JDK
[root@hadoop100 opt]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
注意:本教程使用的是最小系统默认没有JDK,所以不用执行此命令
10、重启虚拟机
[root@hadoop100 ~]# reboot
二、克隆虚拟机
利用上面的模板机,克隆三台虚拟机:node101、node102、node103。(注意:克隆时需要先关闭模板机
)
1、克隆步骤如下:
1.1、先关闭模板机,然后鼠标右键点击 模板机,接着点击管理,再点击克隆
1.2、选择 虚拟机中的当前状态,然后点击下一步
1.3、选择 创建完整克隆,然后点击下一步
1.4、输入虚拟机名称和选择虚拟机存储的位置,然后点击完成,等待克隆完成点击关闭即可
2、主机名和IP分配(根据自己的需求分配)
主机名 | node101 | node102 | node103 |
---|---|---|---|
IP地址 | 192.168.198.101 | 192.168.198.102 | 192.168.198.103 |
3、修改主机名、静态IP地址、UUID以及hosts文件
3.1、输入uuidgen获取UUID,并将其复制下来
[root@node101 ~]# uuidgen
3.2、修改
[root@node101 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
3.3、修改主机名
[root@node101 ~]# vi /etc/hostname
3.4、修改主机名称映射文件(hosts)
[root@node101 ~]# vi /etc/hosts
3.5、重启虚拟机
[root@node101 ~]# reboot
三、安装JDK与Hadoop
1、使用FTP工具上传jdk和hadoop文件包上传至虚拟机中
2、查看 /opt/software目录下否是有刚上传的文件
3、将JDK解压至 /opt/module/ 目录下
[sumu@node101 software]$ tar -zxvf jdk-8u291-linux-x64.tar.gz -C /opt/module/
4、进入解压后的目录
# 进/opt/module/目录
[sumu@node101 software]$ cd /opt/module/
# 查看jdk是否解压成功
[sumu@node101 module]$ ls
# 进jdk解压后的目录
[sumu@node101 module]$ cd jdk1.8.0_291/
# 查看当前路径(将当前路径复制下来配置到Java的环境变量中,避免手动输入有误)
[sumu@node101 jdk1.8.0_291]$ pwd
5、配置JDK的环境变量
5.1、通过查看profile文件,可以看到系统会将/etc/profile.d/目录下的所有.sh
后缀的文件遍历加载到环境变量中
5.2、所以可以在 /etc/profile.d/ 目录下自己创建一个 dev_env.sh 文件,并加入以下内容
[sumu@node101 ~]$ sudo vim /etc/profile.d/dev_env.sh
5.3、加入以下内容,JAVA_HOME后面为jdk的安装目录
# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_291
export PATH=$PATH:$JAVA_HOME/bin
5.4、保存退出后,刷新一下/etc/profile文件,使新的环境变量PATH生效
[sumu@node101 ~]$ source /etc/profile
5.5、检查JDK是否安装成功,能看到相关版本信息即安装成功
[sumu@node101 ~]$ java -version
5.6、如果刷新profile文件后仍无法查看java版本信息,可以重启虚拟机后再试,若还是没成功请检查环境变量中jdk的安装目录是否正确
6、安装Hadoop
6.1、解Hadoop解压至/opt/module/
目录下
[sumu@node101 software]$ tar -zxvf hadoop-3.2.2.tar.gz -C /opt/module/
6.2、进解压后的目录,获取路径
# 进/opt/module/目录
[sumu@node101 software]$ cd /opt/module/
# 查看hadoop是否解压成功
[sumu@node101 module]$ ls
# 进hadoop解压后的目录
[sumu@node101 module]$ cd hadoop-3.2.2/
# 查看当前路径(将当前路径复制下来配置到Hadoop的环境变量中,避免手动输入有误)
[sumu@node101 hadoop-3.2.2]$ pwd
6.3、配置环境变量
[sumu@node101 hadoop-3.2.2]$ sudo vim /etc/profile.d/dev_env.sh
6.4、在文件中添加以下内容,并存并退出
# HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.2.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
6.5、刷新一下/etc/profile文件,使新的环境变量PATH生效
[sumu@node101 hadoop-3.2.2]$ source /etc/profile
6.6、检测Hadoop是否安装成功
[sumu@node101 hadoop-3.2.2]$ hadoop version
==注意:== 如果刷新profile文件后仍无法使用hadoop命令,可以重启虚拟机后再试,若还是没成功请检查环境变量中hadoop的安装目录是否正确
四、完全分布式集群搭建
1、编写集群分发脚本xsync
1.1、scp(secure copy)安全拷贝
scp 可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)
1.1.1、基础语法
scp -r $pdir/$fname $user@$host:$pdir/$fname
命令 递归 需拷贝的文件路径/名称 目标用户@主机:目标路径/名称
1.1.2、常用操作
- 在A节点中,将A节点的文件拷贝至B节点
# 在node101中,将node101中的 /opt/module/jdk1.8.0_291 目录拷贝至node102中
[sumu@node102 ~]$ scp -r /opt/module/jdk1.8.0_291 sumu@node102:/opt/module/
- 在B节点中,将A节点的文件拷贝至B节点中
# 在node102中,将node101中的 /opt/module/hadoop-3.2.2 目录拷贝至node102中
[sumu@node102 ~]$ scp -r sumu@node101:/opt/module/hadoop-3.2.2 /opt/module/
- 在B节点中,将A节点的文件拷贝至C节点中
# 在node102中,将node101中的 /opt/module 目录下的所有文件及目录拷贝至node103中
[sumu@node102 ~]$ scp -r sumu@node101:/opt/module/* sumu@node103:/opt/module
1.2、rsync远程同步工具
rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync与scp的区别:rsync只针对有差异的文件做更新,而scp则将所有文件做更新。
1.2.1、基本语法
rsync -av $pdir/$fname $user@$host:$pdir/$fname
命令 选项参数 需拷贝的文件路径/名称 目标用户@主机:目标路径/名称
1.2.2、选项参数说明:
选项 | 功能 |
---|---|
-a | 归档拷贝 |
-v | 显示复制过程 |
-l | 拷贝符号链接 |
2、编写脚本文件
2.1、将脚本放在声明了全局环境变量的路径中(方便在任何路径下都能使用)
# 查看全局环境变量路劲
[sumu@node101 ~]$ echo $PATH
==可以看到当前用户(sumu)下的bin目录属于全局环境变量路径==
2.2、在/home/sumu
目录下创建bin
目录
[sumu@node101 ~]$ mkdir bin
2.3、在/home/sumu/bin
目录下创建xsync
脚本,并加入如下内容
[sumu@node101 bin]$ vim xsync
==注意修改主机名==
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in node101 node102 node103
do
echo ==================== $host ====================
#3. 遍历所有目录,逐个发送
for file in $@
do
#4. 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done
2.4、赋予xsync
脚本可执行权限
[sumu@node101 bin]$ chmod +x xsync
2.5、测试xsync脚本(同步bin
目录至其他节点)
[sumu@node101 ~]$ xsync bin/
- 到
node2
和node3
中查看是否同步成功
2.6、同步分发jdk的环境变量
[sumu@node101 ~]$ sudo ./bin/xsync /etc/profile.d/dev_env.sh
3、配置免密登录
3.1、生成公钥与私钥
[sumu@node101 ~]$ ssh-keygen -t rsa
3.2、将公钥拷贝至本机以及其他节点中
[sumu@node101 ~]$ ssh-copy-id node101
[sumu@node101 ~]$ ssh-copy-id node102
[sumu@node101 ~]$ ssh-copy-id node103
3.3、分别在node2
和node3
两台服务器上重复==3.1==和==3.2==的操作,使所有服务器之间可以免密登录
3.4、验证免密登录
[sumu@node101 ~]$ ssh node101
[sumu@node101 ~]$ ssh node102
[sumu@node101 ~]$ ssh node103
4、集群配置
4.1、集群部署规划
node1 | node2 | node3 | |
---|---|---|---|
HDFS | NameNode DataNode | DataNode | SecondaryNameNode DataNode |
YARN | NodeManager | ResourceManager NodeManager | NodeManager |
==注意==:NameNode
、SecondaryNameNode
和ResourceManager
很耗内存资源,建议不要配置在相同一节点上
4.2、修改核心配置文件
[sumu@node101 ~]$ cd /opt/module/hadoop-3.2.2/etc/hadoop/
[sumu@node101 hadoop]$ vim core-site.xml
在<configuration></configuration>标签中添加如下配置
<!-- 指定 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://node101:8020</value>
</property>
<!-- 指定 hadoop 数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.2.2/data</value>
</property>
<!-- 配置 HDFS 网页登录使用的静态用户为 sumu -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>sumu</value>
</property>
4.3、修改HDFS配置文件
[sumu@node101 hadoop]$ vim hdfs-site.xml
在<configuration></configuration>标签中添加如下配置
<!-- NameNode web 端访问地址-->
<property>
<name>dfs.namenode.http-address</name>
<value>node101:9870</value>
</property>
<!-- SecondaryNameNode web 端访问地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node103:9868</value>
</property>
4.4、修改YARN配置文件
[sumu@node101 hadoop]$ vim yarn-site.xml
在<configuration></configuration>标签中添加如下配置
<!-- 指定 MR 走 shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 ResourceManager 的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node102</value>
</property>
<!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
4.5、修改MapReduce配置文件
[sumu@node101 hadoop]$ vim mapred-site.xml
在<configuration></configuration>标签中添加如下配置
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>node101:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node101:19888</value>
</property>
4.6、修改workers
配置文件
[sumu@node101 hadoop]$ vim workers
==注意:== 文件中添加的内容结尾不能有空格,文件中也不能有空行。
4.7、将以上配置文件同步分发至其他节点
[sumu@node101 ~]$ xsync /opt/module/hadoop-3.2.2/etc/hadoop/
5、启动集群
5.1、如果集群是第一次启动,在要在node101节点格式化NameNode
[sumu@node101 ~]$ cd /opt/module/hadoop-3.2.2/
[sumu@node101 hadoop-3.2.2]$ hdfs namenode -format
格式化过程中没有报错,并且成功创建了如下图data
和logs
则格式化成功
==注意:==
- 格式化NameNode会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到以往的数据;
- 如果集群在运行过程中报错,需要重新格式化NameNode的话,需要先停止NameNode和DataNode进程,并且需要删除所有节点的
data
和logs
目录,然后再进行格式化;
5.2、启动HDFS
[sumu@node101 hadoop-3.2.2]$ sbin/start-dfs.sh
==查看每个节点启动的进程是否与集群部署规划方案一致==
==Web端查看HDFS的NameNode==
- 浏览器访问:http://node101:9870
- 查看HDFS上存储的数据信息
5.3、启动YARN(配置了ResourceManager
的node102节点中)
[sumu@node102 hadoop-3.2.2]$ sbin/start-yarn.sh
==查看每个节点启动的进程是否与集群部署规划方案一致==
==Web端查看YARN的ResourceManager==
- 浏览器访问:http://node102:9870
- 查看YARN上运行的Job信息
6、集群测试
6.1、上传文件
- 小文件上传测试
# 在HDFS根目录下创建wcinput目录
[sumu@node101 ~]$ hadoop fs -mkdir /wcinput
# 创建一个word.txt文件,并写入如下内容
[sumu@node101 ~]$ vim /opt/module/hadoop-3.2.2/wcinput/word.txt
hello hadoop hive hbase spark flink
hello hadoop hive hbase spark
hello hadoop hive hbase
hello hadoop hive
hello hadoop
hello
# 将word.txt上传至HDFS的/wcinput目录中
[sumu@node101 ~]$ hadoop fs -put /opt/module/hadoop-3.2.2/wcinput/word.txt /wcinput
- 大文件上传测试
[sumu@node101 ~]$ hadoop fs -put /opt/software/jdk-8u291-linux-x64.tar.gz /
==由于HDFS默认的存储块大小为128M,而上传的Hadoop安装包有377M,所以分为3存储块存储==
==HDFS文件在磁盘中的存储情况==
[sumu@node101 ~]$ cd /opt/module/hadoop-3.2.2/data/dfs/data/current/BP-1865809970-192.168.198.101-1629498028805/current/finalized/subdir0/subdir0/
[sumu@node101 subdir0]$ ll
6.2、文件下载
[sumu@node101 ~]$ hadoop fs -get /hadoop-3.2.2.tar.gz ./
6.3、执行wordcount程序
[sumu@node101 hadoop-3.2.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar wordcount /wcinput /wcoutput
==到YARN的Web端可以查看到执行的wordcount应用==
==执行完后可以查看到wordcount统计的结果==
6.4、查看历史服务器
- 启动历史服务器
[sumu@node101 hadoop-3.2.2]$ mapred --daemon start historyserver
==在YARN的Web端点击执行任务的History,即可查看任务执行的历史信息==
==查看历史日志==
7、编写Hadoop集群常用脚本
7.1、Hadoop集群启停脚本(包含HDFS、YARN、Historyserver)
# 在/home/sumu/bin目录下创建myhadoop.sh脚本,并加入如下脚本内容
[sumu@node101 bin]$ vim myhadoop.sh
#!/bin/bash
if [ $# -lt 1 ]
then
echo "No Args Input..."
exit ;
fi
case $1 in
"start")
echo " =================== 启动 hadoop 集群 ==================="
echo " --------------- 启动 hdfs ---------------"
ssh node101 "/opt/module/hadoop-3.2.2/sbin/start-dfs.sh"
echo " --------------- 启动 yarn ---------------"
ssh node102 "/opt/module/hadoop-3.2.2/sbin/start-yarn.sh"
echo " --------------- 启动 historyserver ---------------"
ssh node101 "/opt/module/hadoop-3.2.2/bin/mapred --daemon start historyserver"
;;
"stop")
echo " =================== 关闭 hadoop 集群 ==================="
echo " --------------- 关闭 historyserver ---------------"
ssh node101 "/opt/module/hadoop-3.2.2/bin/mapred --daemon stop historyserver"
echo " --------------- 关闭 yarn ---------------"
ssh node102 "/opt/module/hadoop-3.2.2/sbin/stop-yarn.sh"
echo " --------------- 关闭 hdfs ---------------"
ssh node101 "/opt/module/hadoop-3.2.2/sbin/stop-dfs.sh"
;;
*)
echo "Input Args Error..."
;;
esac
赋予myhadoop.sh
脚本可执行权限
[sumu@node101 bin]$ chmod +x myhadoop.sh
7.2、编写查看集群Java进程脚本
[sumu@node101 bin]$ vim jpsall
#!/bin/bash
for host in node101 node102 node103
do
echo =============== $host ===============
ssh $host jps
done
赋予jpsall
脚本可执行权限
[sumu@node101 bin]$ chmod +x jpsall
7.3、测试脚本
7.3.1、停止集群
[sumu@node101 bin]$ myhadoop.sh stop
# 查看进程号
[sumu@node101 bin]$ jpsall
7.3.2、启动集群
[sumu@node101 bin]$ myhadoop.sh start
# 查看进程号
[sumu@node101 bin]$ jpsall
Hadoop完全分布式集群搭建教程结束啦!
Q.E.D.