安装环境准备

在安装 Hadoop 3.2.2之前,必须先安装 java 环境,请各位自行去安装官网 jdk 。关闭防火墙,这样安装比较简单。

下载 hadoop 3.2.2

去hadoop官方地址下载hadoop 3.2.2(由于头条不允许发连接,请自行百度)

注意是binary文件，source那个是源码

解压tar.gz

把下载好的tar.gz包解压到自己指定的路径

 tar -zxvf hadoop-3.2.2.tar.gz -C /usr/local/hadoop-3.2.2  

配置hadoop环境变量

 vim /etc/profile  

加入如下配置:

 export HADOOP_HOME=/usr/local/hadoop-3.2.2
export PATH=$PATH:$HADOOP_HOME/bin  

让配置生效:

 source /etc/profile  

配置hadoop-env.sh

  vim /usr/local/hadoop-3.2.2/etc/hadoop/hadoop-env.sh  

找到# The java implementation to use. 这个注释,加入下面一行配置:

 export JAVA_HOME=/usr/java/jdk1.8/  

配置core-site.xml

 vim /usr/local/hadoop-3.2.2/etc/hadoop/core-site.xml  

在 configuration 标签加入下面配置:

 <configuration>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>file:///usr/local/hadoop-3.2.2</value>
      <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value> hdfs ://172.18.111.104:8888</value>
    </property>
</configuration>  

配置 HDFS -site.xml

 vim /usr/local/hadoop-3.2.2/etc/hadoop/hdfs-site.xml  

在configuration标签加入下面配置:

 <configuration>
 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///usr/local/hadoop-3.2.2/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///usr/local/hadoop-3.2.2/tmp/dfs/data</value>
    </property>
    <!--配置web界面ip跟端口-->
 <property>
        <name>dfs.http.address</name>
        <value>0.0.0.0:50070</value>
    </property>
</configuration>  

dfs.http.address这个属性在必须配置,不然在浏览器通过http://主机ip:50070访问不了.

设置 SSH 免密码登录

创建sshkey

 ssh-keygen -t rsa  

接下来就一直按回车默认就好了.

再执行下面命令:

 cd ~/.ssh
cat id_rsa.pub>>authorized_keys  

验证是否可以免密登录

 ssh localhost  

启动与停止

第一次启动hdfs需要格式化：

 cd /usr/local/hadoop-3.2.2
./bin/hdfs namenode -format  

接下来全部输Y即可

启动hdfs:

 ./sbin/start-dfs.sh  

停止hdfs:

 ./sbin/stop-dfs.sh  

备注:如果启动出现but there is no HDFS_NAMENODE_USER defined.Aborting operation.看下面解决方案

解决方法：
在Hadoop安装目录下找到sbin文件夹
在里面修改四个文件
1.对于start-dfs.sh和stop-dfs.sh文件，添加下列参数:

 #!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root  

2.对于start-yarn.sh和stop- YARN .sh文件，添加下列参数：

 #!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER= yarn 
YARN_NODEMANAGER_USER=root  

最后再启动一次，就解决问题了

 ./sbin/start-dfs.sh  

验证，浏览器输入：http://主机IP:50070

hadoop的web界面

简单的验证hadoop命令：

 hadoop fs -mkdir /test  

在浏览器查看，出现如下图所示，就说明成功

配置mapred-site.xml

 cd /usr/local/hadoop-3.2.2/etc/hadoop
vim mapred-site.xml  

在configuration标签加入下面配置:

 <configuration>
    <!-- 通知框架MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>  

配置yarn-site.xml

 vim yarn-site.xml  

在configuration标签加入下面配置:

 <configuration>
    <!-- reducer取数据的方式是mapreduce_shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>  

yarn启动与停止

启动:

 cd /usr/local/hadoop-3.2.2
./sbin/start-yarn.sh  

停止:

 ./sbin/stop-yarn.sh  

在浏览器查看：http://主机ip:8088

使用jps命令验证:

到此，hadoop单机模式就配置成功了！