T O P

[资源分享]     Hadoop集群搭建

  • By - 楼主

  • 2022-08-02 22:04:17
  • Apache Hadoop 分布式集群搭建

    基础环境准备

    三台 linux 节点,操作系统(Centos7)

    1. 关闭防火墙
     systemctl stop firewalld
    

    开机时禁用防火墙

     systemctl disable firewalld
    
    1. 修改主机名

    vi /etc/hosts

    192.168.56.103 linux2
    192.168.56.102 linux3
    192.168.56.104 linux4
    
    1. 配置免密登录

    在~目录下执行

    #生成密钥
    ssh-keygen -t rsa
    
    cd /root/.ssh/
    cp id_rsa.pub authorized_keys
    //将每台机器的密钥拷到其他三台上,如在第一台上执行
    ssh-copy-id -i linux3
    ssh-copy-id -i linux4
    
    1. 每台机器安装 java 环境

    安装 Hadoop

    集群规划

    框架 linux2 linux3 linux4
    HDFS NameNode、DataNode DataNode SecondaryNameNode、DataNode
    MapReduce 无区分 无区分 无区分
    YARN NodeManager NodeManager NodeManager、ResourceManager
    1. 下载 hadoop

    下载页面:

    https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

    下载并解压

    目录介绍

    1. bin 目录:对 Hadoop 进行操作的相关命令,如 hadoop,hdfs 等
    2. etc 目录:Hadoop 的配置文件目录,入 hdfs-site.xml,core-site.xml 等
    3. lib 目录:Hadoop 本地库(解压缩的依赖)
    4. sbin 目录:存放的是 Hadoop 集群启动停止相关脚本,命令
    5. share 目录:Hadoop 的一些 jar,官方案例 jar,文档等
    1. 配置环境变量

    添加 Hadoop 到环境变量 vim /etc/profile

    export HADOOP_HOME=/opt/lagou/servers/hadoop-2.9.2
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin
    

    使环境变量生效

    source /etc/profile
    

    测试是否配置成功

    hadoop version
    

    集群配置

    Hadoop 集群配置 = HDFS 集群配置 + MapReduce 集群配置 + Yarn 集群配置

    配置总览:

    1. HDFS 集群配置
    • 将 JDK 路径明确配置给 HDFS(修改 hadoop-env.sh)
    • 指定 NameNode 节点以及数据存储目录(修改 core-site.xml)
    • 指定 SecondaryNameNode 节点(修改 hdfs-site.xml)
    • 指定 DataNode 从节点(修改 etc/hadoop/slaves 文件,每个节点配置信息占一行)
    1. MapReduce 集群配置
    • 将 JDK 路径明确配置给 MapReduce(修改 mapred-env.sh)
    • 指定 MapReduce 计算框架运行 Yarn 资源调度框架(修改 mapred-site.xml)
    1. Yarn 集群配置
    • 将 JDK 路径明确配置给 Yarn(修改 yarn-env.sh)
    • 指定 ResourceManager 老大节点所在计算机节点(修改 yarn-site.xml)
    • 指定 NodeManager 节点(会通过 slaves 文件内容确定)

    一、HDFS 集群配置配置

    配置文件在:/opt/lagou/servers/hadoop-2.9.2/etc/hadoop目录下

    1. 配置 hadoop-env.sh
    export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_151
    
    1. 指定 NameNode 节点以及数据存储目录(修改 core-site.xml)
    <configuration>
    <!-- 指定HDFS中NameNode的地址 -->
    <property>
    <name>fs.defaultFS</name>
     <value>hdfs://linux2:9000</value>
    </property>
    <!-- 指定Hadoop运行时产生文件的存储目录 -->
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value>
    </property>
    </configuration>
    
    
    1. 指定 secondarynamenode 节点(修改 hdfs-site.xml)
    <configuration>
    <!-- 指定Hadoop辅助名称节点主机配置 -->
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>linux4:50090</value>
    </property>
    <!--副本数量 -->
    <property>
    <name>dfs.replication</name>
    <value>3</value>
    </property>
    </configuration>
    
    
    1. 指定 datanode 从节点(vi slaves 文件,每个节点配置信息占一行)
    linux2
    linux3
    linux4
    

    注意不要有多余的换行和空格

    二、MapReduce 集群配置

    1. 指定 MapReduce 使用的 jdk 路径(修改 mapred-env.sh)
    export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_151
    
    1. 指定 MapReduce 计算框架运行 Yarn 资源调度框架(修改 mapred-site.xml)
    <!-- 指定MR运行在Yarn上 -->
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    

    三、Yarn 集群配置

    1. 指定 JDK 路径(vi yarn-env.sh)
    export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_151
    
    1. 指定 ResourceMnager 的 master 节点信息(vi yarn-site.xml)
    <!-- 指定YARN的ResourceManager的地址 -->
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>linux4</value>
    </property>
    <!-- Reducer获取数据的方式 -->
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    
    1. 指定 NodeManager 节点(vi slaves 文件,同 HDFS 配置的第四点,上面配置过,这里就不用配置了)
    linux2
    linux3
    linux4
    

    注意:Hadoop 安装目录所属用户和所属用户组信息,默认是 501dialout,而我们操作 Hadoop 集群的用户使用的是虚拟机的 root 用户。

    解决方法:

    chown -R root:root /opt/lagou/servers/hadoop-2.9.2
    

    备注:我们通过命令 scp 或 rsync 将一台机器上配置好的文件目录复制到其他机器上去。

    示例:

     scp -r jdk1.8.0_151/ linux3:/opt/lagou/servers/
    

    集群启动

    注意:如果集群是第一次启动,需要在Namenode 所在节点格式化 NameNode,非第一次不用执行格式化 Namenode 操作!!

    hadoop namenode -format
    

    格式化成功后有如下标识:

    一、单节点启动方式

    HDFS 启动

    1. 在 linux2(NameNode 节点)上启动 NameNode
     hadoop-daemon.sh start namenode
    
    1. 在 linux2、linux3、linux4 上启动 DataNode
    hadoop-daemon.sh start datanode
    
    1. 查看启动情况

      192.168.56.103:50070

    从 Live Node 可以看出启动成功的节点数量

    也可以访问 HDFS 网页:

    http://192.168.56.103:50070/explorer.html

    Yarn 启动

    1. 在 linux4(启动 resourcemanager 节点)上启动 resourcemanager
    yarn-daemon.sh start resourcemanager
    
    1. 在 linux2、linux3、linux4 上启动 nodemanager
    yarn-daemon.sh start nodemanager
    

    停止命令

    就是将 start 换成 stop

    hadoop-daemon.sh  stop namenode/datanode/secondarynamenode
    
    yarn-daemon.sh  stop resourcemanager / nodemanager
    

    二、集群群启方式

    1. 在 linux2(NameNode 节点)上运行
    sbin/start-dfs.sh
    
    1. 在 linux4(resourcemanager)上运行
    sbin/start-yarn.sh
    

    停止命令:

    stop-dfs.sh
    stop-yarn.sh
    

    集群测试

    1. HDFS 分布式存储初体验

    从我们 linux 本地传一个文件到 hdfs 上,并从 hdfs 上下载

    #在hdfs上创建文件夹
    hdfs dfs -mkdir -p /test/input
    #上传linxu文件到Hdfs
    hdfs dfs -put /root/test.txt /test/input
    #从Hdfs下载文件到linux本地
    hdfs dfs -get /test/input/test.txt
    

    上传成功后也可以从管理页面上查看:

    1. MapReduce 分布式计算初体验

    1)在 HDFS 文件系统根目录下面创建一个 wcinput 文件夹

    hdfs dfs -mkdir -p /wcinput
    

    2)本地编辑一个文件上传到 wcinput 文件夹下

    文件内容:

    hadoop mapreduce yarn
    hdfs hadoop mapreduce
    mapreduce yarn lagou
    lagou
    lagou

    hdfs dfs -put word.txt /wcinput
    

    3)运行 hadoop 提供的 mapreduce 示例程序测试

    示例程序路径: cd hadoop-2.9.2/share/hadoop/mapreduce

    hadoop jar ./hadoop-mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput
    

    注意:wordcount 是示例程序提供的功能,wcinput 是我们放置文件的目录,wcoutput 由程序自动创建

    4) 查看运行结果

    hdfs dfs -cat /wcoutput/part-r-00000
    

    配置历史服务器

    在 Yarn 中运行的任务产生的日志数据不能查看,为了查看程序的历史运行情况,需要配置一下历史日志服务器。

    1. 配置 mapred-site.xml
    <!-- 历史服务器端地址 -->
    <property>
      <name>mapreduce.jobhistory.address</name>
      <value>linux121:10020</value>
    </property>
    <!-- 历史服务器web端地址 -->
    <property>
      <name>mapreduce.jobhistory.webapp.address</name>
      <value>linux121:19888</value>
    </property>
    
    1. 配置 yarn-site.xml
    <!-- 日志聚集功能使能 -->
    <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
    </property>
    <!-- 日志保留时间设置7天 -->
    <property>
      <name>yarn.log-aggregation.retain-seconds</name>
      <value>604800</value>
    </property>
    
    1. 启动历史服务
    mr-jobhistory-daemon.sh start historyserver
    
    1. 查看效果

      http://192.168.56.103:19888/jobhistory

    遇到的问题

    启动后 liveNode 只有 2 个节点。

    原因:因为这两个节点相同的 datanodeUuid 导致的。

    datanodeUuid 位置:file://${hadoop.tmp.dir}/dfs/data/current/VERSION

    cat /opt/lagou/servers/hadoop-2.9.2/data/tmp/dfs/data/current/VERSION
    

    如果是一致的修改一下,然后重新启动即可。

    本帖子中包含资源

    您需要 登录 才可以下载,没有帐号?立即注册