大纲
- 一、前情提要
- 
- !!注意!!
- 原理
- 已集成的环境
- 集群部署规划
 
- 二、必要准备
- 
- 基础环境
- 必须提前获取的参数!!!!
 
- 三、详细步骤
- 
- 1、安装docker
- 2、添加docker加速器
- 3、拉取镜像
- 4、创建hadoop专用 桥(hadoop-net)
- 创建容器
 
- 四、一键启动和关闭hadoop脚本
- 
- 给脚本赋予执行权限
 
- 五、查看web端
- 结束!
一、前情提要
!!注意!!
本篇博客有以下特点
- 该搭建方式已完全写成脚本,可一键搭建环境——脚本教程
- 基于docker搭建的hadoop完全分布式集群环境
- 与传统的hadoop完全分布式集群环境在搭建方法有所区别,功能完全相同。
- 本篇博客旨在快速搭建hadoop完全分布式集群环境。
- 本篇博客不注重阐述搭建hadoop完全分布式集群环境的细节描述。
 若读者想要学习搭建集群环境的诸多细节,可留言。
原理
- 基于docker的hadoop完全分布式集群环境搭建
 (后续将放上docker软件的介绍)
已集成的环境
- java1.8
- hadoop2.7.2
- zookeeper3.4.10
- hive1.2.1
- hbase1.3.1
- Jobhistory(历史服务器)
集群部署规划
| hadoop1 | hadoop2 | hadoop3 | |
|---|---|---|---|
| HDFS | Namenode、DataNode | Datanode | Datenode | 
| YARN | NodeManager | ResourceManager | NodeMangager | 
| Zookeeper | QuorumPeerMain | QuorumPeerMain | QuorumPeerMain | 
| Hbase | Hmaster、HRegionServer | HRegionServer | HRegionServer | 
| HistoryServer | Jobhistory | 
二、必要准备
基础环境
- 虚拟机软件,推荐vmware16(后续将放上安装vmware16虚拟机的方法)
- 一个已经设置好静态IP且通 的CentOS7 以上的OS (建议配置 8G+200G)(因为我们只需要一台虚拟机即可完成安装,集群内的三台机器的呈现形式是以docker容器的方式存在)
 (后续将放上静态IP设置方法)
必须提前获取的参数!!!!
获取CentOS 7 以下参数
- 所属 段
- 子 掩码
- 关
- 卡名称
- 
打开 NAT设置 
 
- 
查看 卡名称 
在终端输入以下命令
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!