ubuntu 安装 hadoop

1. 安装 Hadoop 依赖的软件
   ? Ubuntu 需要单独安装:
   $ sudo apt-get install ssh
   $ sudo apt-get install pdsh

Ubuntu 需要执行
$ ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

2. 环境变量的配置
   Ubuntu 的所有环境变量需要配置在~/.profile 文件中,并在文件最结尾处添加后续内容中要求的环境变量

配置 Java 和 Hadoop 的环境变量,并修改 PATH 环境变量:
export JAVA_HOME=/home/l/Downloads/jdk-11.0.5
export PATH=#JAVA_HOME/bin:$PATHexportCLASSPATH=.:$JAVA_HOME/lib/de.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/home/l/Downloads/hadoop-3.3.0
PATH=$PATH:JAV{A}_{H}OME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

环境变量配置完毕后:
? Ubuntu 输入 source ~/.profile,即可让环境变量配置生效

4. 在$HADOOP_HOME/etc/hadoop/core-site.xml 中添加

   fs.defaultFS
   hdfs://localhost:9000

5. 在$HADOOP_HOME/etc/hadoop/hdfs-site.xml 中添加

   dfs.replication
   1

7. 在$HADOOP_HOME/etc/hadoop/找到 mapred-site.xml,加入:

   mapreduce.framework.name
   yarn

   mapreduce.application.classpath

   $HADOO{P}_{M}APRE{D}_{H}OME/share/hadoop/mapreduce/?:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/l
   ib/*

8. 在$HADOOP_HOME/etc/hadoop/yarn-site.xml 中添加

   yarn.nodemanager.aux-services
   mapreduce_shuffle

   yarn.nodemanager.env-whitelist
   JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCA
   CHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME

9. 依次输入如下命令
   $ hdfs namenode -format
   $ hdfs datanode -format
   $ start-dfs.sh
   $ hdfs dfs -mkdir /user
   $ hdfs dfs -mkdir /user/
   需要替换为自己的用户名
   $ start-yarn.sh
   $ mr-jobhistory-daemon.sh start historyserver
10. 打开浏览器,输入
    http://localhost:8088 和 http://localhost:50070 能分别看到如下内容则配置正确11. OS X 如果图中的 Active Nodes 不是 1,则可能需要做如下修改
    ?
    在$HADOO{P}_{H}OME/etc/hadoop/hdfs?site.xml中添加property>name>dfs.datanode.directoryscan.throttle.limit.ms.per.sec/name>$