本文所使用的环境及版本:

  • CentOS Linux release 7.9.2009 (Core)
  • jdk1.8.0_291
  • hadoop-3.2.2

一、安装模板机

1、安装CentOS 7.9并配置网络

==注意:在安装虚拟机时建议分配50G以上的磁盘容量,避免后期磁盘不够用需手动扩容的麻烦==

关于CentOS 7.X 的安装参照这篇文章:VMware安装CentOS 7.8详细图文教程(含网络配置)

2、安装 epel-release

注:Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包,适用于 RHEL、CentOS 和 Scientific Linux。(相当于是一个软件仓库,大多数 rpm 包在官方 repository 中是找不到的)

[root@hadoop100 ~]# yum install -y epel-release

在这里插入图片描述

3、由于本教程安装的是最小系统,所以还需要安装一些工具包

3.1、net-tool:工具包集合,包含 ifconfig 等命令

[root@hadoop100 ~]# yum install -y net-tools

3.2、vim:编辑器

[root@hadoop100 ~]# yum install -y vim

在这里插入图片描述
在这里插入图片描述

4、关闭防火墙

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service

5、创建一个普通用户

==注意:== 若在安装时已经创建过普通用户,可以直接使用之前创建过的普通用户,也可以根据此步骤再创建一个普通用户,用户名为sumu,密码为123456(用户名和密码自定义)

[root@hadoop100 ~]# useradd sumu
[root@hadoop100 ~]# passwd 123456

6、配置 sumu 用户具有 root 权限,方便后期加 sudo 执行执行 root 权限的命令

[root@hadoop100 ~]# vim /etc/sudoers

注意:

  • %wheel ALL=(ALL) ALL 这一行的下面添加 sumu ALL=(ALL) NOPASSWD:ALL(此处的sumu为要赋予权限的用户)
  • sumu 这一行不要直接放到 root 行下面,因为所有用户都属于 wheel 组,你先配置了 sumu 具有免密功能,但是程序执行到%wheel 行时,该功能又被覆盖回需要密码。所以 sumu 要放到%wheel 这行下面。
    在这里插入图片描述

7、在/opt 目录下创建文件夹,并修改所属主和所属组

1)在/opt 目录下创建 module 和 software 文件夹(software 用于存放软件安装包,而 module 用于存放解压后的文件包)

[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software

2)修改 module、software 文件夹的所属主和所属组均为 sumu 用户

[root@hadoop100 ~]# chown sumu:sumu /opt/module
[root@hadoop100 ~]# chown sumu:sumu /opt/software

3)查看 module、software 文件夹的所有者和所属组
在这里插入图片描述

8、安装 rsync(后面用于执行集群分发脚本)

[root@hadoop100 opt]# yum install -y rsync

在这里插入图片描述

  • 启动 rsync 并设置开机自启
[root@hadoop100 opt]# systemctl start rsyncd.service
[root@hadoop100 opt]# systemctl enable rsyncd.service

在这里插入图片描述

  • 检查是否启动成功
[root@hadoop100 opt]# netstat -lnp|grep 873

在这里插入图片描述

  • 修改rsyncd.conf配置文件,保存退出
[root@hadoop100 opt]# vim /etc/rsyncd.conf
# 运行RSYNC守护进程的用户
uid = root
# 运行RSYNC守护进程的组
gid = root
#不使用chroot
use chroot = no
# 最大连接数为4
max connections = 4
# CentOS7中yum安装不需指定pid file 否则报错
# pid file = /var/run/rsyncd.pid
# 指定锁文件
lock file=/var/run/rsyncd.lock
# 指定日志文件
log file = /var/log/rsyncd.log
exclude = lost+found/
transfer logging = yes
# 超时时间
timeout = 900
# 同步时跳过没有权限的目录
ignore nonreadable = yes
# 传输时不压缩的文件
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
  • 重启rsync
[root@hadoop100 opt]# systemctl restart rsyncd.service

9、卸载CentOS自带的JDK

[root@hadoop100 opt]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

注意:本教程使用的是最小系统默认没有JDK,所以不用执行此命令

10、重启虚拟机

[root@hadoop100 ~]# reboot

二、克隆虚拟机

利用上面的模板机,克隆三台虚拟机:node101、node102、node103。(注意:克隆时需要先关闭模板机

1、克隆步骤如下:

1.1、先关闭模板机,然后鼠标右键点击 模板机,接着点击管理,再点击克隆

在这里插入图片描述

1.2、选择 虚拟机中的当前状态,然后点击下一步

在这里插入图片描述

1.3、选择 创建完整克隆,然后点击下一步

在这里插入图片描述

1.4、输入虚拟机名称和选择虚拟机存储的位置,然后点击完成,等待克隆完成点击关闭即可

在这里插入图片描述

2、主机名和IP分配(根据自己的需求分配)

主机名node101node102node103
IP地址192.168.198.101192.168.198.102192.168.198.103

3、修改主机名、静态IP地址、UUID以及hosts文件

3.1、输入uuidgen获取UUID,并将其复制下来

[root@node101 ~]# uuidgen

在这里插入图片描述

3.2、修改

[root@node101 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述

3.3、修改主机名

[root@node101 ~]# vi /etc/hostname

在这里插入图片描述

3.4、修改主机名称映射文件(hosts)

[root@node101 ~]# vi /etc/hosts

在这里插入图片描述

3.5、重启虚拟机

[root@node101 ~]# reboot

三、安装JDK与Hadoop

1、使用FTP工具上传jdk和hadoop文件包上传至虚拟机中

在这里插入图片描述

2、查看 /opt/software目录下否是有刚上传的文件

在这里插入图片描述

3、将JDK解压至 /opt/module/ 目录下

[sumu@node101 software]$ tar -zxvf jdk-8u291-linux-x64.tar.gz -C /opt/module/

4、进入解压后的目录

# 进/opt/module/目录
[sumu@node101 software]$ cd /opt/module/
# 查看jdk是否解压成功
[sumu@node101 module]$ ls
# 进jdk解压后的目录
[sumu@node101 module]$ cd jdk1.8.0_291/
# 查看当前路径(将当前路径复制下来配置到Java的环境变量中,避免手动输入有误)
[sumu@node101 jdk1.8.0_291]$ pwd

在这里插入图片描述

5、配置JDK的环境变量

5.1、通过查看profile文件,可以看到系统会将/etc/profile.d/目录下的所有.sh后缀的文件遍历加载到环境变量中

在这里插入图片描述

5.2、所以可以在 /etc/profile.d/ 目录下自己创建一个 dev_env.sh 文件,并加入以下内容

[sumu@node101 ~]$ sudo vim /etc/profile.d/dev_env.sh

5.3、加入以下内容,JAVA_HOME后面为jdk的安装目录

# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_291
export PATH=$PATH:$JAVA_HOME/bin

在这里插入图片描述

5.4、保存退出后,刷新一下/etc/profile文件,使新的环境变量PATH生效

[sumu@node101 ~]$ source /etc/profile

5.5、检查JDK是否安装成功,能看到相关版本信息即安装成功

[sumu@node101 ~]$ java -version

在这里插入图片描述

5.6、如果刷新profile文件后仍无法查看java版本信息,可以重启虚拟机后再试,若还是没成功请检查环境变量中jdk的安装目录是否正确

6、安装Hadoop

6.1、解Hadoop解压至/opt/module/目录下

[sumu@node101 software]$ tar -zxvf hadoop-3.2.2.tar.gz -C /opt/module/

6.2、进解压后的目录,获取路径

# 进/opt/module/目录
[sumu@node101 software]$ cd /opt/module/
# 查看hadoop是否解压成功
[sumu@node101 module]$ ls
# 进hadoop解压后的目录
[sumu@node101 module]$ cd hadoop-3.2.2/
# 查看当前路径(将当前路径复制下来配置到Hadoop的环境变量中,避免手动输入有误)
[sumu@node101 hadoop-3.2.2]$ pwd

在这里插入图片描述

6.3、配置环境变量

[sumu@node101 hadoop-3.2.2]$ sudo vim /etc/profile.d/dev_env.sh

6.4、在文件中添加以下内容,并存并退出

# HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.2.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

在这里插入图片描述

6.5、刷新一下/etc/profile文件,使新的环境变量PATH生效

[sumu@node101 hadoop-3.2.2]$ source /etc/profile

6.6、检测Hadoop是否安装成功

[sumu@node101 hadoop-3.2.2]$ hadoop version

在这里插入图片描述
==注意:== 如果刷新profile文件后仍无法使用hadoop命令,可以重启虚拟机后再试,若还是没成功请检查环境变量中hadoop的安装目录是否正确

四、完全分布式集群搭建

1、编写集群分发脚本xsync

1.1、scp(secure copy)安全拷贝

scp 可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)

1.1.1、基础语法
scp     -r      $pdir/$fname           $user@$host:$pdir/$fname
命令    递归     需拷贝的文件路径/名称     目标用户@主机:目标路径/名称
1.1.2、常用操作
  • 在A节点中,将A节点的文件拷贝至B节点
# 在node101中,将node101中的 /opt/module/jdk1.8.0_291 目录拷贝至node102中
[sumu@node102 ~]$ scp -r /opt/module/jdk1.8.0_291 sumu@node102:/opt/module/
  • 在B节点中,将A节点的文件拷贝至B节点中
# 在node102中,将node101中的 /opt/module/hadoop-3.2.2 目录拷贝至node102中
[sumu@node102 ~]$ scp -r sumu@node101:/opt/module/hadoop-3.2.2 /opt/module/
  • 在B节点中,将A节点的文件拷贝至C节点中
# 在node102中,将node101中的 /opt/module 目录下的所有文件及目录拷贝至node103中
[sumu@node102 ~]$ scp -r sumu@node101:/opt/module/* sumu@node103:/opt/module

1.2、rsync远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync与scp的区别:rsync只针对有差异的文件做更新,而scp则将所有文件做更新。

1.2.1、基本语法
rsync     -av        $pdir/$fname           $user@$host:$pdir/$fname
命令      选项参数     需拷贝的文件路径/名称     目标用户@主机:目标路径/名称
1.2.2、选项参数说明:
选项功能
-a归档拷贝
-v显示复制过程
-l拷贝符号链接

2、编写脚本文件

2.1、将脚本放在声明了全局环境变量的路径中(方便在任何路径下都能使用)

# 查看全局环境变量路劲
[sumu@node101 ~]$ echo $PATH

在这里插入图片描述
==可以看到当前用户(sumu)下的bin目录属于全局环境变量路径==

2.2、在/home/sumu目录下创建bin目录

[sumu@node101 ~]$ mkdir bin

在这里插入图片描述

2.3、在/home/sumu/bin目录下创建xsync脚本,并加入如下内容

[sumu@node101 bin]$ vim xsync

==注意修改主机名==

#!/bin/bash
 
#1. 判断参数个数 
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in node101 node102 node103
do
    echo ====================  $host  ====================
    #3. 遍历所有目录,逐个发送
    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)
                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

2.4、赋予xsync脚本可执行权限

[sumu@node101 bin]$ chmod +x xsync

在这里插入图片描述

2.5、测试xsync脚本(同步bin目录至其他节点)

[sumu@node101 ~]$ xsync bin/

在这里插入图片描述

  • node2node3中查看是否同步成功
    在这里插入图片描述
    在这里插入图片描述

2.6、同步分发jdk的环境变量

[sumu@node101 ~]$ sudo ./bin/xsync /etc/profile.d/dev_env.sh

在这里插入图片描述

3、配置免密登录

3.1、生成公钥与私钥

[sumu@node101 ~]$ ssh-keygen -t rsa

在这里插入图片描述

3.2、将公钥拷贝至本机以及其他节点中

[sumu@node101 ~]$ ssh-copy-id node101
[sumu@node101 ~]$ ssh-copy-id node102
[sumu@node101 ~]$ ssh-copy-id node103

在这里插入图片描述

3.3、分别在node2node3两台服务器上重复==3.1==和==3.2==的操作,使所有服务器之间可以免密登录

3.4、验证免密登录

[sumu@node101 ~]$ ssh node101
[sumu@node101 ~]$ ssh node102
[sumu@node101 ~]$ ssh node103

在这里插入图片描述

4、集群配置

4.1、集群部署规划

node1node2node3
HDFSNameNode
DataNode
DataNodeSecondaryNameNode
DataNode
YARNNodeManagerResourceManager
NodeManager
NodeManager

==注意==:NameNodeSecondaryNameNodeResourceManager很耗内存资源,建议不要配置在相同一节点上

4.2、修改核心配置文件

[sumu@node101 ~]$ cd /opt/module/hadoop-3.2.2/etc/hadoop/
[sumu@node101 hadoop]$ vim core-site.xml

在<configuration></configuration>标签中添加如下配置

<!-- 指定 NameNode 的地址 --> 
<property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://node101:8020</value> 
</property> 

<!-- 指定 hadoop 数据的存储目录 --> 
<property> 
    <name>hadoop.tmp.dir</name> 
    <value>/opt/module/hadoop-3.2.2/data</value> 
</property> 

<!-- 配置 HDFS 网页登录使用的静态用户为 sumu --> 
<property> 
    <name>hadoop.http.staticuser.user</name> 
    <value>sumu</value> 
</property>

4.3、修改HDFS配置文件

[sumu@node101 hadoop]$ vim hdfs-site.xml

在<configuration></configuration>标签中添加如下配置

<!-- NameNode web 端访问地址--> 
<property> 
    <name>dfs.namenode.http-address</name> 
    <value>node101:9870</value> 
</property> 
<!-- SecondaryNameNode web 端访问地址--> 
<property> 
    <name>dfs.namenode.secondary.http-address</name> 
    <value>node103:9868</value> 
</property>

4.4、修改YARN配置文件

[sumu@node101 hadoop]$ vim yarn-site.xml

在<configuration></configuration>标签中添加如下配置

<!-- 指定 MR 走 shuffle --> 
<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
</property> 

<!-- 指定 ResourceManager 的地址--> 
<property> 
    <name>yarn.resourcemanager.hostname</name> 
    <value>node102</value> 
</property> 

<!-- 环境变量的继承 --> 
<property> 
    <name>yarn.nodemanager.env-whitelist</name> 
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> 
</property>
<!-- 开启日志聚集功能 --> 
<property> 
    <name>yarn.log-aggregation-enable</name> 
    <value>true</value> 
</property> 
<!-- 设置日志聚集服务器地址 --> 
<property>   
    <name>yarn.log.server.url</name>   
    <value>http://hadoop102:19888/jobhistory/logs</value> 
</property> 
<!-- 设置日志保留时间为 7 天 --> 
<property> 
    <name>yarn.log-aggregation.retain-seconds</name> 
    <value>604800</value> 
</property>

4.5、修改MapReduce配置文件

[sumu@node101 hadoop]$ vim mapred-site.xml

在<configuration></configuration>标签中添加如下配置

<!-- 指定 MapReduce 程序运行在 Yarn 上 --> 
<property> 
    <name>mapreduce.framework.name</name> 
    <value>yarn</value> 
</property>
<!-- 历史服务器端地址 --> 
<property> 
    <name>mapreduce.jobhistory.address</name> 
    <value>node101:10020</value> 
</property> 

<!-- 历史服务器 web 端地址 --> 
<property> 
    <name>mapreduce.jobhistory.webapp.address</name> 
    <value>node101:19888</value> 
</property>

4.6、修改workers配置文件

[sumu@node101 hadoop]$ vim workers

在这里插入图片描述
==注意:== 文件中添加的内容结尾不能有空格,文件中也不能有空行。

4.7、将以上配置文件同步分发至其他节点

[sumu@node101 ~]$ xsync /opt/module/hadoop-3.2.2/etc/hadoop/

5、启动集群

5.1、如果集群是第一次启动,在要在node101节点格式化NameNode

[sumu@node101 ~]$ cd /opt/module/hadoop-3.2.2/
[sumu@node101 hadoop-3.2.2]$ hdfs namenode -format

格式化过程中没有报错,并且成功创建了如下图datalogs则格式化成功

在这里插入图片描述
==注意:==

  • 格式化NameNode会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到以往的数据;
  • 如果集群在运行过程中报错,需要重新格式化NameNode的话,需要先停止NameNode和DataNode进程,并且需要删除所有节点的datalogs目录,然后再进行格式化;

5.2、启动HDFS

[sumu@node101 hadoop-3.2.2]$ sbin/start-dfs.sh

在这里插入图片描述
==查看每个节点启动的进程是否与集群部署规划方案一致==
在这里插入图片描述
==Web端查看HDFS的NameNode==

5.3、启动YARN(配置了ResourceManager的node102节点中)

[sumu@node102 hadoop-3.2.2]$ sbin/start-yarn.sh

在这里插入图片描述
==查看每个节点启动的进程是否与集群部署规划方案一致==
在这里插入图片描述
==Web端查看YARN的ResourceManager==

在这里插入图片描述

6、集群测试

6.1、上传文件

  • 小文件上传测试
# 在HDFS根目录下创建wcinput目录
[sumu@node101 ~]$ hadoop fs -mkdir /wcinput
# 创建一个word.txt文件,并写入如下内容
[sumu@node101 ~]$ vim /opt/module/hadoop-3.2.2/wcinput/word.txt
hello hadoop hive hbase spark flink
hello hadoop hive hbase spark
hello hadoop hive hbase 
hello hadoop hive 
hello hadoop 
hello
# 将word.txt上传至HDFS的/wcinput目录中
[sumu@node101 ~]$ hadoop fs -put /opt/module/hadoop-3.2.2/wcinput/word.txt /wcinput

在这里插入图片描述

  • 大文件上传测试
[sumu@node101 ~]$ hadoop fs -put /opt/software/jdk-8u291-linux-x64.tar.gz /

==由于HDFS默认的存储块大小为128M,而上传的Hadoop安装包有377M,所以分为3存储块存储==

在这里插入图片描述
==HDFS文件在磁盘中的存储情况==

[sumu@node101 ~]$ cd /opt/module/hadoop-3.2.2/data/dfs/data/current/BP-1865809970-192.168.198.101-1629498028805/current/finalized/subdir0/subdir0/
[sumu@node101 subdir0]$ ll

在这里插入图片描述

6.2、文件下载

[sumu@node101 ~]$ hadoop fs -get /hadoop-3.2.2.tar.gz ./

在这里插入图片描述

6.3、执行wordcount程序

[sumu@node101 hadoop-3.2.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar wordcount /wcinput /wcoutput

==到YARN的Web端可以查看到执行的wordcount应用==
在这里插入图片描述
==执行完后可以查看到wordcount统计的结果==
在这里插入图片描述

6.4、查看历史服务器

  • 启动历史服务器
[sumu@node101 hadoop-3.2.2]$ mapred --daemon start historyserver

在这里插入图片描述
==在YARN的Web端点击执行任务的History,即可查看任务执行的历史信息==
在这里插入图片描述
在这里插入图片描述
==查看历史日志==
在这里插入图片描述
在这里插入图片描述

7、编写Hadoop集群常用脚本

7.1、Hadoop集群启停脚本(包含HDFS、YARN、Historyserver)

# 在/home/sumu/bin目录下创建myhadoop.sh脚本,并加入如下脚本内容
[sumu@node101 bin]$ vim myhadoop.sh
#!/bin/bash 
 
if [ $# -lt 1 ] 
then 
    echo "No Args Input..." 
    exit ; 
fi 
 
case $1 in 
"start") 
        echo " =================== 启动 hadoop 集群 ===================" 
 
        echo " --------------- 启动 hdfs ---------------" 
        ssh node101 "/opt/module/hadoop-3.2.2/sbin/start-dfs.sh" 
        echo " --------------- 启动 yarn ---------------"
		ssh node102 "/opt/module/hadoop-3.2.2/sbin/start-yarn.sh" 
        echo " --------------- 启动 historyserver ---------------" 
        ssh node101 "/opt/module/hadoop-3.2.2/bin/mapred --daemon start historyserver" 
;; 
"stop") 
        echo " =================== 关闭 hadoop 集群 ===================" 
 
        echo " --------------- 关闭 historyserver ---------------" 
        ssh node101 "/opt/module/hadoop-3.2.2/bin/mapred --daemon stop historyserver" 
        echo " --------------- 关闭 yarn ---------------" 
        ssh node102 "/opt/module/hadoop-3.2.2/sbin/stop-yarn.sh" 
        echo " --------------- 关闭 hdfs ---------------" 
        ssh node101 "/opt/module/hadoop-3.2.2/sbin/stop-dfs.sh" 
;; 
*) 
    echo "Input Args Error..." 
;; 
esac

赋予myhadoop.sh脚本可执行权限

[sumu@node101 bin]$ chmod +x myhadoop.sh

7.2、编写查看集群Java进程脚本

[sumu@node101 bin]$ vim jpsall
#!/bin/bash
 
for host in node101 node102 node103
do 
        echo =============== $host =============== 
        ssh $host jps  
done

赋予jpsall脚本可执行权限

[sumu@node101 bin]$ chmod +x jpsall

7.3、测试脚本

7.3.1、停止集群
[sumu@node101 bin]$ myhadoop.sh stop

在这里插入图片描述

# 查看进程号
[sumu@node101 bin]$ jpsall

在这里插入图片描述

7.3.2、启动集群
[sumu@node101 bin]$ myhadoop.sh start

在这里插入图片描述

# 查看进程号
[sumu@node101 bin]$ jpsall

在这里插入图片描述
Hadoop完全分布式集群搭建教程结束啦!

Q.E.D.


Keep going, believe in yourself, and never give up.