ubuntu16.04如何安装hadoop并且进行伪分布配置目录

• 一、hadoop安装步骤
• • 1、在ubuntu16.04的终端创建hadoop账户
  • 2、安装SSH,设置SSH无密码登陆
  • 3、安装jdk1.8
  • 4、安装hadoop-2.7.7
• 二、hadoop的伪分布配置
• • 1、首先将jdk的路径添加到hadoop-env.sh文件 中
  • 2、接下来修改core-site.xml文件：
  • 3、接下来修改配置文件 hdfs-site.xml
  • 4、配置完成后，执行 NameNode 的格式化
  • 5、启动namenode和datanode进程，并查看启动结果
  • 6、成功启动后查看

在大数据的时代背景下，大数据已经是各种应用软件成型的基础，有软件，没有数据，就相当于有有菜无酒，失去灵魂；特别是现在信息专业的学生，与大数据一刻都不能分开，那么既然要学习大数据，我们就得安装hadoop进行大数据的学习，本次博客，学长主要给大家介绍在ubuntu16.04版本上如何安装hadoop并进行伪分布的配置！

一、hadoop安装步骤

1、在ubuntu16.04的终端创建hadoop账户

打开ubuntu的终端，依次输入以下的终端命令进行hadoop账户的创建

1）、创建hadoop用户，并使用/bin/bash

2）、为hadoop用户设置密码，之后需要连续输入两次密码

3）、为hadoop用户增加管理员权限

4）、切换当前用户为用户hadoop

5）、更新hadoop用户的apt,方便后面的安装

注意：之后的每一步操作都是建立在当前我们创建的hadoop账户的基础上，切换步骤如下：

1. 点击右上角的设置图标
2. 点击hadoop
3. 输入hadoop用户密码
4. 进入hadoop图形界面

2、安装SSH,设置SSH无密码登陆

1）、安装SSH server

2）、登陆SSH，第一次登陆输入yes

3）、退出登录的ssh localhost

4）、进入cd ~/.ssh/目录，（如果没法进入该目录执行一次ssh localhost）

5）、设置无密码登录

输入完 $ssh-keygen -t rsa语句以后，需要连续敲击三次回车，如下图：

7）、免密码登陆SSH

此时已不需密码即可登录localhost，并可见下图。如果失败则可以搜索SSH免密码登录来寻求答案

3、安装jdk1.8

1）、首先在oracle官 下载jdk1.8
http://www.oracle.com/technetwork/java/javase/downloads/index.html
接下来进行安装与环境变量配置，根据个人电脑系统选择对应版本，我选的是jdk-8u241-linux-x64.tar.gz

4、安装hadoop-2.7.7

1）、先下载hadoop-2.7.7.tar.gz，链接如下
http://mirrors.hust.edu.cn/apache/hadoop/common/
2）、进行下载的hadoop的安装
1.解压到/usr/local目录下

2.进入该文件夹

3.重命名为hadoop

4.修改文件权限

3）、给hadoop配置环境变量，将下面代码添加到.bashrc文件:
1.打开.bashrc文件

2.将如下代码添加到.bashrc文件的下面

4）、执行source ~./bashrc使设置生效

5）、查看hadoop是否安装成功

2、接下来修改core-site.xml文件：

1）、进入core-site.xml文件

将文件的内容修改为如下代码：

3、接下来修改配置文件 hdfs-site.xml

1）、进入 hdfs-site.xml文件

将文件的内容修改为如下代码：

Hadoop 的运行方式是由配置文件决定的（运行 Hadoop 时会读取配置文件），因此如果需要从伪分布式模式切换回非分布式模式，需要删除 core-site.xml 中的配置项。此外，伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行（可参考官方教程），不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。

4、配置完成后，执行 NameNode 的格式化

1)、进入hadoop工程

2）、执行 NameNode 的格式化