大纲
- 一、前情提要
-
- !!注意!!
- 原理
- 已集成的环境
- 集群部署规划
- 二、必要准备
-
- 基础环境
- 必须提前获取的参数!!!!
- 三、详细步骤
-
- 1、安装docker
- 2、添加docker加速器
- 3、拉取镜像
- 4、创建hadoop专用 桥(hadoop-net)
- 创建容器
- 四、一键启动和关闭hadoop脚本
-
- 给脚本赋予执行权限
- 五、查看web端
- 结束!
一、前情提要
!!注意!!
本篇博客有以下特点
- 该搭建方式已完全写成脚本,可一键搭建环境——脚本教程
- 基于docker搭建的hadoop完全分布式集群环境
- 与传统的hadoop完全分布式集群环境在搭建方法有所区别,功能完全相同。
- 本篇博客旨在快速搭建hadoop完全分布式集群环境。
- 本篇博客不注重阐述搭建hadoop完全分布式集群环境的细节描述。
若读者想要学习搭建集群环境的诸多细节,可留言。
原理
- 基于docker的hadoop完全分布式集群环境搭建
(后续将放上docker软件的介绍)
已集成的环境
- java1.8
- hadoop2.7.2
- zookeeper3.4.10
- hive1.2.1
- hbase1.3.1
- Jobhistory(历史服务器)
集群部署规划
hadoop1 | hadoop2 | hadoop3 | |
---|---|---|---|
HDFS | Namenode、DataNode | Datanode | Datenode |
YARN | NodeManager | ResourceManager | NodeMangager |
Zookeeper | QuorumPeerMain | QuorumPeerMain | QuorumPeerMain |
Hbase | Hmaster、HRegionServer | HRegionServer | HRegionServer |
HistoryServer | Jobhistory |
二、必要准备
基础环境
- 虚拟机软件,推荐vmware16(后续将放上安装vmware16虚拟机的方法)
- 一个已经设置好静态IP且通 的CentOS7 以上的OS (建议配置 8G+200G)(因为我们只需要一台虚拟机即可完成安装,集群内的三台机器的呈现形式是以docker容器的方式存在)
(后续将放上静态IP设置方法)
必须提前获取的参数!!!!
获取CentOS 7 以下参数
- 所属 段
- 子 掩码
- 关
- 卡名称
-
打开 NAT设置
-
查看 卡名称
在终端输入以下命令
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!