集群搭建(全）

1 Hadoop运行环境搭建

1.1虚拟机环境准备

1 克隆虚拟机
2 修改克隆虚拟机的静态IP

3 修改主机名
进入到 vim /etc/sysconfig/network
将HOSTNAME改成HASTNAME=hadoop100
4 关闭防火墙
service iptables stop //服务关闭
chkconfig iptable off //关闭开机自启
5 创建atguigu用户
useradd atguigu //创建用户
passwd atguigu //设置用户密码
6 配置atguigu用户具有root权限
vim /etc/sudoers
atguigu ALL=(ALL) NOPASSWD: ALL
7 在/opt目录下创建文件夹
（1）在/opt目录下创建module、software文件夹
module放置安装的程序 software放置安装包

修改module、software文件夹的所有者

1.2安装JDK

1 卸载现有的JDK
①查询是否安装了JDK
[atguigu@hadoop101 opt]$ rpm -qa | grep java
②卸载JDK
[atguigu@hadoop101 opt]$ sudo rpm -e 软件包
2 将JDK导入opt目录下面的software文件夹下面
直接拖进去
3 在Linux系统下的opt目录中查看软件包是否导入成功

4 解压JDK到/opt/module目录下

5 配置JDK环境变量
①获取JDK路径

②打开/etc/profile文件
sudo vim /etc/profile
在profile文件末尾添加JDK路径

③让修改后的文件生效
[atguigu@hadoop101 jdk1.8.0_144]$ source /etc/profile
6 测试是否安装成功

1.3安装Hadoop

下载Hadoop
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
1 .将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面
直接拖入
2 进入Hadoop安装包路径
cd /opt/software/
3 解压安装文件袋=到/opt/module
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
4 查看是否解压成功

5 将Hadoop添加到环境变量
①获取Hadoop安装路径

②打开/etc/profile文件
[atguigu@hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile
在profile文件末尾添加JDK路径：

③让修改后的文件生效
[atguigu@ hadoop101 hadoop-2.7.2]$ source /etc/profile
6 测试是否安装成功

7 重启(如果Hadoop命令不能用再重启)

1.4Hadoop目录结构

1、查看Hadoop目录结构

2、重要目录
（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
（4）sbin目录：存放启动或停止Hadoop相关服务的脚本
（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

2 Hadoop运行模式

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

2.1本地运行模式

2.1.1 官方Grep案例

1 创建在hadoop-2.7.2文件下面创建一个input文件夹

2 将Hadoop的xml配置文件复制到input

3 执行share目录下的MapReduce程序

4 查看输出结果

2.1.2官方WordCount案例

1 创建在hadoop-2.7.2文件下面创建一个wcinput文件夹

2 在wcinput文件下创建一个wc.input文件

在文件中输入如下内容

4 回到Hadoop目录/opt/module/hadoop-2.7.2
5 执行程序

6 查看结果

2.2伪分布式运行模式

2.2.1启动HDFS并运行MapReduce程序

1 分析
（1）配置集群
（2）启动、测试集群增、删、查
（3）执行WordCount案例
2 执行步骤
（1）配置集群
（a）配置：hadoop-env.sh
Linux系统中获取JDK的安装路径：

修改JAVA_HOME 路径：
export JAVA_HOME=/opt/module/jdk1.8.0_144
（b）配置：core-site.xml

（c）配置：hdfs-site.xml

（2）启动集群
（a）格式化NameNode（第一次启动时格式化，以后就不要总格式化）
如果在这里格式化不成功，则检查一下前面的配置是否正确，不要一直格式化

（b）启动NameNode

（c）启动DataNode

（3）查看集群
（a）查看是否启动成功

注意：jps是JDK中的命令，不是Linux命令。不安装JDK不能使用jps
（b）web端查看HDFS文件系统
http://hadoop101:50070/dfshealth.html#tab-overview
注意：如果不能查看，看如下帖子处理
http://www.cnblogs.com/zlslch/p/6604189.html
（c）查看产生的Log日志
说明：在企业中遇到Bug时，经常根据日志提示信息去分析问题、解决Bug。
当前目录：/opt/module/hadoop-2.7.2/logs

（d）思考：为什么不能一直格式化NameNode，格式化NameNode，要注意什么/p>

注意：格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode。
（4）操作集群
（a）在HDFS文件系统上创建一个input文件夹

（b）将测试文件内容上传到文件系统上