Hadoop搭建的顺序(/usr/local/src)

二:在VM中配置虚拟机的 络环境:(改名和配置环境顺序可以不一样)
1.
vi /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO=static
ONBOOT=yes
并在文本最后一行下面添加:
                                         IPADDR=192.168. 189.101
                                         GATEWAY=192.168.189.2
                                         NETMASK=255.255.255.0 
                                         DNS1=8.8.8.8
2.
改名:master虚拟机下:
hostnamectl set-hostname master    #永久改主机名
systemctl restart network                  #重启 卡

3. 解决xshell连接虚拟机慢的操作:
vi /etc/ssh/sshd_config       找到#UseDNS  yes==》  删除#,将yes改为no
systemctl restart sshd   #重启远程登入服务

4.复制另外两台虚拟机,修改其中的IP地址,改名重启 卡

5.关闭防火墙systemctl stop firewalld    查看防火墙状态systemctl status firewalld

6.连接xhell


1.vi /etc/hosts后添加:(三台虚拟机都需要添加)
192.168.189.101 master
192.168.189.102 slave1
192.168.189.103 slave2

2.卸载自带OpenJDK
[root@master ~]#  rpm -qa | grep java
查看是否表示删除成功:java -version

3.安装JDK
[root@master  ~]# tar -zxvf    /opt/software/jdk-8u152-linux-x64.tar.gz -C /usr/local/src

4.改名mv jdk1.8.0_271 java

5.添加环境vi /etc/profile
export JAVA_HOME=/usr/local/src/java
export PATH=$PATH:$JAVA_HOME/bin

6.使环境变量生效source /etc/profile

7.查看是否已安装成功java -version
查看java 安装目录 echo $JAVA_HOME

8.解压安装Hadoop软件
[root@master   ~]# tar -zxvf   ~/hadoop-2.7.1.tar.gz -C /usr/local/src/

9.改名mv hadoop-2.7.1 hadoop

10.添加环境vi /etc/profile
export HADOOP_HOME=/usr/local/src/hadoop-2.7.1
exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

11.使环境变量生效source /etc/profile

12.查看hadoop是否安装成功:hadoop

13.进入指定目录:cd /usr/local/src/hadoop/etc/hadoop
查看vi  hadoop-env.sh
在文件中查找export JAVA_HOME这行 :export JAVA_HOME=/usr/local/src/jdk1.8.0_15

14.第二章剩下的继续做就行

四、免密配置
免密配置(按照顺序操作)
①、master操作:ssh-keygen -t rsa -P ”
②、slave1操作:ssh-keygen -t rsa -P ”
③、slave2操作:ssh-keygen -t rsa -P ”
④、master操作:cat .ssh/id_rsa.pub > .ssh/authorized_keys
⑤、master操作:scp .ssh/authorized_keys root@slave1:~/.ssh/
⑥、master操作:ssh slave1
⑦、slave1操作:cat .ssh/id_rsa.pub >> .ssh/authorized_keys
⑧、slave1操作:scp .ssh/authorized_keys root@slave2:~/.ssh/
⑨、slave1操作:exit
⑩、master操作:ssh slave2
?、slave2操作:cat .ssh/id_rsa.pub >> .ssh/authorized_keys
?、slave2操作:scp .ssh/authorized_keys root@slave1:~/.ssh/
?、slave2操作:scp .ssh/authorized_keys root@master:~/.ssh/
?、slave2操作:exit
?、master操作:ssh slavel
?、slave1操作:ssh master

该第四章内容:
1.添加环境vi /etc/profile
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

2.使环境变量生效source /etc/profile

3.配置5个环境

4.vi masters vi slaves中添加对应的映射

5.继续按照PPT中的做

拷贝 profile  
scp -r /etc/profile root@slave1:/etc
scp -r /etc/profile root@slave2:/etc

做完第四章后开始第五章:
1.进入指定目录: cd /usr/local/src/hadoop
格式化: bin/hdfs namenode -format

执行启动:
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
进入目录
cd /opt/hadoop
执行启动JobHistoryServer:
mr-jobhistory-daemon.sh start historyserver

前五章的/etc/profile
export JAVA_HOME=/usr/local/src/java
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

其余的环境按照ppt的顺序即可

文章知识点与官方知识档案匹配,可进一步学习相关知识CS入门技能树Linux入门初识Linux25126 人正在系统学习中

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2021年10月25日
下一篇 2021年10月25日

相关推荐