Hadoop运行环境搭建

一、准备虚拟机(最小化安装)

分区:

/boot引导用区–>1G;;

swap交换区–>2G;标准分区;

/根目录–>剩下的全部;标准分区;ext4

*******************************************************************************

IP和主机名称配置

*******************************************************************************

1.固定ip地址、修改主机名

vi /etc/hostname

hadoop101

vi /etc/syscomfig/network-scripts/ifcfg-ens33

#动态获取地址—>静态获取

BOOTPROTO=”static”

#系统启动的时候 络接口是否有效

ONBOOT=”yes”

#ip地址

IPADDR=192.168.2.101

# 关

GATEWAY=192.168.2.2

#域名解析器

DNS1=192.168.2.2

重启 络服务,查看 络是否改成功

systemctl restart network//重新启动 

ip addr//查看ip

配置VM的ip地址

配置Windows的ip地址

 

2.用xshell工具连接模板机 远程登录xshell

 

一些设置,选中复制,右键粘贴

 Windows下更改ip地址名称,为了xshell操作连接Linux的时候,可以直接主机名进行连接;在Linux里配置是为了以后多台Linux互相访问也可以直接访问主机名来连接。

C:WindowsSystem32driversetchosts

#添加如下

192.168.2.101 hadoop101

192.168.2.102 hadoop102

3.通过yum安装方式安装一些必要软件

yum install -y epel-release

yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

4.关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

5.修改hosts文件

vim /etc/hosts

#添加如下

192.168.2.100 hadoop100

192.168.2.101 hadoop101

192.168.2.102 hadoop102

192.168.2.103 hadoop103

192.168.2.104 hadoop104

192.168.2.105 hadoop105

192.168.2.106 hadoop106

192.168.2.107 hadoop107

192.168.2.108 hadoop108

6.创建普通用户(gyy)并提升他能拥有root权限

提升root权限可以看这个博主的文章,写的好详细(给自己留档,嘻)

Linux系统通过文件/etc/sudoers设置用户使用sudo的权限/用户使用sudo的授权配置_liaowenxiong的博客-CSDN博客_sudoers 用户权限配置

gyy

gyy202203

vim /etc/sudoers

#ROOT下添加

gyy     ALL=(ALL)       NOPASSWD: ALL

7.在Linux的/opt目录下创建software和module,并把两个目录的所有者和所属组修改为gyy

cd /opt

[root@hadoop101 opt]# mkdir software
[root@hadoop101 opt]# mkdir moudle

[root@hadoop101 opt]# chown gyy:gyy moudle/ software/
#把两个目录的所有者和所属组修改为gyy

三、克隆虚拟机

下一页—>下一页–>创建完整克隆–>改机器名和存储地址

 克隆完毕后,启动克隆机,更改克隆机名和ip地址

vim /etc/syscomfig/network-scripts/ifcfg-ens33

vim /etc/hostname

 重启

reboot

四、在Hadoop102中安装 jdk

 — 将jdk的安装包上传到 /opt/software 下

 使用xftp工具

 选中、右键传输

 传输完成后,在xshell中查看

cd /opt/software

直接将jkd的压缩文件解压到/opt/module路径下

tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../module/

vim /etc/profile

#系统环境变量的描述

[gyy@hadoop102 profile.d]$ sudo touch my_env.sh

#普通用户,带sudo可以拥有管理员权限进行操作(一、6.)

 

 — 在my_env.sh写入以下内容

#声明JAVA_HOME变量
JAVA_HOME=/opt/module/jdk1.8.0_212
 #将JAVA_HOME变量追加到PATH变量上
 PATH=$PATH:$JAVA_HOME/bin
 #提升JAVA_HOME变量为系统变量
 export JAVA_HOME PATH

 

 在任意位置检查一下

source /etc/profile                #重新加载一下profile文件

java -version

五、在Hadoop102中安装Hadoop

        — 将hadoop的安装包上传到 /opt/software 下

        — 将hadoop安装到 /opt/module 下

— 在my_env.sh写入以下内容

#重新加载一下profile文件 

在Hadoop/bin目录下常用的文件

在hadoop/etc/hadoop下常用的文件

capacity-scheduler.xml:容量调度器(yarn用)

 

 

 

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2022年4月22日
下一篇 2022年4月22日

相关推荐