前两天和一个朋友在聊天的时候说，很多自学Hadoop的朋友80%都会夭折在集群环境的搭建上，原因吗无在乎：1，没有很好的电脑配置，不能像机房一样用多台电脑搭建起集群；2，对linux的不熟悉，各种小黑窗，linux命令……；3，环境搭建的反锁步骤，需要耐心+细心+认真等等吧。不过吗，我觉的，只要敢于坚持，敢于付出都是会成功的。下边讲述一下我的Hadoop集群搭建过程，由于条件有限，也是在虚拟机中进行的。
一，准备资料：
1，一台笔记本：I5的CPU，4G内存，500硬盘（内存有些小，运行的时候比较卡）；
2，虚拟机一台：VMware-workstation-full-11.1.2.61471.1437365244.exe 在百度一搜即可；
3，linux系统软件：我用的是ubuntu-12.04.4-server-amd64.iso，是server版本的，初学者也可以也可以下载Desktoop版本，有类似Windows的界面，更容易操作。可到ubuntu官 上下载：http://www.ubuntu.com/download/server
4，Hadoop软件：hadoop-1.2.1-bin.tar.gz 可以到官 上进行下载：http://hadoop.apache.org/
5，JDK软件：jdk-8u51-linux-x64.tar.gz 这个相对来说比较简单，我用的是版本8的。其实JDK，Hadoop还有用到的其它软件，我们可以通过linux命令：apt-get update apt-get 软件的下载路劲，直接在linux上进行下载。
二，搭建步骤：先看一张总体要完成工作的步骤图：
2.1，设置SSH连接：
我这里是通过SecureCRTPortable.exe和SecureFXPortable.exe两个软件进行连接的。当然还有Putty等其它软件。有时候linux没有安装ssh服务，需要我们进行安装一下：
安装ssh-server
sudo apt-get update
sudoapt-get install openssh-server
安装ssh-client
sudoapt-get install openssh-client
查看ssh是否安装好，下边及已经安装。
2.3，建立Hadoop账户，三台节点的账户都建成一样的，方便后边的免密码登录：
sudogroupadd hadoop //设置hadoop用户组
sudo useradd –s /bin/bash –d /home/ljh –m ljh –g hadoop –Groot //添加一个ljh用户，此用户属于hadoop用户组，且具有root权限。
sudo passwd ljh //设置用户ljh登录密码
su ljh //切换到ljh用户中
2.4，设置免密码登录，其实就是一种算法RSA，将彼此的公钥放在要放在要访问的电脑上，自己保存私钥，保存好不用再进行输入密码验证。说通俗一点就是将本电脑的信息和密码已经保存到要访问的电脑上，直接访问即可。
a,在每台电脑上进行SSH公钥私钥的生成：id_rsa为私钥，id_rsa.pub为公钥
b,分发公钥，将公钥分发到每一个节点上，包括自己本身,我的authorized_keys包括三个节点的公钥。通过下边命令：
scp ./id_rsa.publjh@slaveone02:/home/ljh/.ssh/authorized_keys
4,3配置masters,slaves 文件：
masters文件：
4.4，配置namenode,修改各种site文件：
core-site.xml文件：
Mapred-site.xml文件：
4.8，用Jvm的Jps进行进行的检查：
master中的进程：
最后我们可以通过浏览器输入 页进行查看Hadoop的启动状态：
至此，Hadoop三个节点的集群环境正式搭建完毕，从这个基础上不断学习Hadoop吧。感觉搭建Hadoop的重点是对linux的操作熟练与否，所以还得不断的熟练linux。
文章知识点与官方知识档案匹配，可进一步学习相关知识云原生入门技能树首页概览8683 人正在系统学习中
声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！