数仓环境搭建及案例

1.安装Docker

1.查看版本	cat /etc/redhat-release #查看centos版本
2.添加yum源	yum-config-manager –add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
3.设置aliyun源	dnf install https://mirrors.aliyun.com/docker-ce/linux/centos/8.3/x86_64/stable/Packages/containerd.io-1.4.4-3.1.el8.x86_64.rpm –allowerasing
4.安装docker	dnf install docker-ce
5.设置开机启动docker	systemctl enable docker.service
6.启动docke	systemctl start docker.service
7.查看正在运行的容器信息 -a也列出未运行的容器信息	docker ps
8.查看docker信息	docker info
9 .从线上仓库下载hadoop指定版本的容器 版本根据要求下载,我使用centos:7版本	docker pull centos:7
10.查看本地仓库的容器文件	docker images

1.从仓库中拉取镜像

docker pull centos:7

2.查看镜像

docker images

2.删除镜像

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SIQUD6mZ-1621866567324)(…/TypoarWrokPath/images/1618900368598.png)]

docker rm centos:7 或者 docker rm [8652b9f0cb4c]

3.启动并创建容器

1.bigdata 名字可以自己命名,需要关闭mysql服务,关闭其他的所有进程

2.mysql

systemctl disable mysqld.service 关闭mysql 开机自起

systemctl stop mysqld.service 关闭mysql 服务

docker run -itd –privileged –name bigdata -h bigdata
-p 2222:22
-p 3306:3306
-p 50070:50070
-p 8088:8088
-p 8080:8080
-p 10000:10000
-p 60010:60010
-p 9092:9092
centos:7 /usr/sbin/init

参数解析:

run :通过一个镜像运行一个容器

-i :提供一个终端

–privileged : 设置权限,如果不设置,在容器当中启动服务是会 错

–name :给容器起名

-h:容器主机名

-p :端口映射 宿主机端口:容器端口

centos:7: 镜像名称

/usr/sbin/init 和–privileged 连用的 相当于做一个初始化

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gWkjRRJZ-1621866567330)(…/TypoarWrokPath/images/1618901243246.png)]

4.通过名字关闭容器

docker stop bigdata

5.通过名字启动容器

docker start bigdata

6.通过名字重启容器

docker restart bigdata

7.查看容器

docker ps 参数 -a 查看所有的容器,包括没有运行的容器

8.删除容器

docker rm bigdata

9.进入容器

docker exec -it bigdata /bin/bash

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-u14lcVp3-1621866567335)(…/TypoarWrokPath/images/1618901370815.png)]

10.环境的准备

yum clean all

yum -y install unzip bzip2-devel vim bashname

3.2配置SSH免密登录

1.设置密码

passwd root 密码 :root

1.安装必要ssh服务

yum install -y openssh openssh-server openssh-clients openssl openssl-devel

2.生成密钥

ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ‘’

#启动SSH服务
systemctl start sshd

3.配置免密登录

方式一:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

2.配置免密

ssh-copy-id root@bigdata 用户加主机名

11.使用软件连接bigdata

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X0YI03fm-1621866567339)(…/TypoarWrokPath/images/1618902910013.png)]

3.3设置时区

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

2.查看时间

date

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EccAeSmp-1621866567342)(…/TypoarWrokPath/images/1618903400971.png)]

3.4关闭防火墙(无效,可以不管)

systemctl stop firewa7lds ystemctl disable firewwalld

12.安装msyql

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rfchC1A5-1621866567344)(…/TypoarWrokPath/images/1618904165881.png)]

1.解压

tar xvf MySQL-5.5.40-1.el7.x86_64.rpm-bundle.tar

2.安装必要依赖

yum -y install libaio perl

3.安装服务

rpm -ivh MySQL-server-5.5.40-1.el7.x86_64.rpm

1. 错

解决: yum install net-tools 在重新执行安装服务命令

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8OMtfqDn-1621866567347)(…/TypoarWrokPath/images/1618904847742.png)]

4.安装客户端

rpm -ivh MySQL-client-5.5.40-1.el7.x86_64.rpm

5.启动mysql服务

systemctl start mysql

6.修改mysql 密码

方式一:/urs/bin/mysqladmin -u root passwd ‘root’

方式二: /usr/bin/mysql_secure_installation (本人使用第二种)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DM42EfNh-1621866567350)(…/TypoarWrokPath/images/1618906089891.png)]

7.进入客户端

mysql -uroot -proot

8.修改之后允许远程登录

update mysql.user set host=’%’ where host=‘localhost’;

9.删除

delete from mysql.user where host <> ‘%’ or user =’ ‘;

10.刷新权限

flush privileges;

13.安装jdk

1.解压

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mDuxwPKR-1621866567353)(…/TypoarWrokPath/images/1618906344585.png)]

2.创建软连接 in -s

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-D5buZA35-1621866567354)(…/TypoarWrokPath/images/1618906385090.png)]

3.配置环境变量

vi ~/.bashrc

1.添加如下

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WBPpoOJC-1621866567355)(…/TypoarWrokPath/images/1618906904008.png)]

14.安装hadoop

tar zxvf hadoop-2.6.0.tar.gz -C /opt/install/

2.创建软件连接

ln -s hadoop-2.6.0 /hadoop

3.配置环境变量

4.修改配置文件

1.core-site.xml

2.hdfs-site.xml

3.mapreduce-site.xml

4.yarn-site.xml

5.hadoop-env.sh

6.mapreduce-env.sh

7.yarn-env.sh

8.配置slaves

15.安装hive

1.解压hive

tar zxvf apache-hive-1.2.2-bin.tar.gz -C /opt/install/

2.修改配置文件

1.没有hive-site.xml 直接创建 vim hive-site.xml