学而时习之,不亦说乎。由于工作需要,需要现搭建大数据测试环境,就快速攒了一个,记录一下过程。
这次用的是Ambari2.7.4,因为2.7.5有些资源下载不了,用它的原因就是图方便,赶时间,而且是Apache的亲儿子,稳定性也不错。
主要参考了官方文档,仔细参照着部署是可以成功的,由于要使用国内镜像,还是有些不同,记录下来,当做总结。
文档地址:https://docs.cloudera.com/HDPDocuments/Ambari/Ambari-2.7.4.0/index.html
开始之前先查看支持列表:https://supportmatrix.hortonworks.com/
我装的Ambari是2.7.4,HDP是3.1.4,左上角有个按钮,可以下载一个 告,里面包括全部所需组件和支持的系统。
然后就要准备两台服务器,我用两个闲置电脑装了CentOS7.8,两个节点,hadoop-01和hadoop-02,IP分别为192.168.199.123和192.168.199.124,一主一从。接下来正式开始:
一、准备工作
1.关闭防火墙
2.修改selinux
把SELINUX=enforcing修改为SELINUX=disabled
3.修改host
增加以下新的host
修改network文件
增加以下内容
执行以下命令
同样修改另一台机器的hostname为hadoop-02
4.修改yum源
5.安装ntp
6.安装JDK
略。
7.关闭THP
得到的结果都是[always] madvise never,需要将其关闭。
在末尾追加以下代码
并给 该文件赋权
reboot之后在执行查看命令,结果变为 always madvise [never],说明已关闭。
8.打开最大文件设置
检查最大文件描述符数的当前值
如若输出小于10000,则将其设置为10000
以上准备工作要在两台服务器上都做。
二、安装Ambari Server
1.开启双向免密登录
在 /root/.ssh下面会生成id_rsa和id_rsa.pub两个文件,再使用ssh-copy-id命令将公钥传到另一台机器上
同时也要给自己一份公钥,不然在后面注册主机时会 Permission denied
此时就可以免密访问另一台机器了
同样,再在另一台机器上做同样的内容,把ip改成123的,就可以实现双向免密登录了。
2.安装MySQL数据库
接下来操作MySQL
进入mysql后修改以下配置
由于安装了Yum Repository,以后每次yum操作都会自动更新,需要把这个卸载掉
再次进入mysql,创建ambari数据库及数据库的用户名和密码
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!