Ubuntu20.04 详细安装、配置Spark3.0.0教程(Pyspark)亲自测试,Ubuntu 22.04安装VMwearTools:

Ubuntu 22.04安装VMwearTools:

server版:sudo apt install open-vm-tools

桌面版:sudo apt install open-vm-tools-desktop open-vm-tools
安装VMwearTools:
1、点击VMware虚拟机工具栏里的重新安装VMwearTools
2、把光盘里的安装文件复制到本地进行文件提取
3、sudo ./vmware-install.pl
4、只要出现路径的就按下回车,出现【Yes/No】全部选择Yes。!
5、重启系统!
————————————————————–
使用ubuntu自带python3.8.2:
sudo ln -s /usr/bin/python3 /usr/bin/python
————————————————————–
安装zlib:sudo apt-get install zlib1g-dev
————————————————————–
mysql安装

1、虚拟机 络设置成NAT模式

2、sudo apt install mysql-server

3、sudo mysql -u root -p(直接回车进入mysql)

4、创建用户和密码
CREATE USER ‘root’@’%’ IDENTIFIED BY ‘newmysql’;

5、权限赋给root用户,所有ip都能连接
GRANT ALL ON *.* TO ‘root’@’%’ WITH GRANT OPTION;

6、更新root密码否则,远程登录会 错
ALTER USER ‘root’@’%’ IDENTIFIED WITH mysql_native_password BY ‘newmysql’;

7、再次刷新
FLUSH  PRIVILEGES;

8、sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf
找到bind-address = 127.0.0.1 将其注释
esc
:wq(保存退出)

9、关掉mysql服务:sudo /etc/init.d/mysql stop

10、启动mysql服务:sudo /etc/init.d/mysql start

11、查看服务状态
sudo service mysql status

12、停止服务
sudo service mysql stop

13、启动服务
sudo service mysql start

14、重启服务
sudo service mysql restart

15、登录MySQL数据库
mysql -u root -p

16、卸载命令
需要完全清理MySQL时,可以完全卸载。
sudo apt purge mysql-*
sudo rm -rf /etc/mysql/ /var/lib/mysql
sudo apt autoremove
sudo apt autoclean

17、安装 络工具 apt install net-tools

18、查看IP地址:ifconfig
进行本机与虚拟机ping通
——————————————————–
安装redis
sudo apt-get install redis-server
找到etc/redis/redis.conf文件,在# requirepass foobared下面增加
requirepass 123456密码
按esc,输入:wq进行保存退出

测试:
$redis-cli
redis> set foo bar
OK
redis> get foo
“bar”
———————————————————————
nginx安装

apt-get安装nginx
apt-get install nginx

查看nginx是否安装成功
nginx -v

启动nginx
cd /etc/
service nginx start
在浏览器中输入127.0.0.1可以看到nginx欢迎页面

nginx删除
sudo apt-get –purge remove nginx
—————————————————————-
安装java
apt install openjdk-8-jre-headless
—————————————————————-
安装spark3.0
sudo chmod -R 777 /usr/local/
下载spark-3.0.0-bin-hadoop2.7.tgz 并且解压到/usr/local/   下,并且更名为spark
vim ~/.bashrc
在下面增加两行:
export SPARK_HOME=/usr/local/spark
export PATH=${SPARK_HOME}/bin:$PATH
保存退出
最后激活环境变量
source ~/.bashrc
——————————————————————————————–
安装 py4j
sudo pip3 install py4j

降低log4j级别
进入spark-2.4.0-bin-hadoop2.7下面的conf目录
cp conf/log4j.properties.template conf/log4j.properties
修改参数
vim conf/log4j.properties
将     log4j.rootCategory=INFO, console  
替换为   log4j.rootCategory=ERROR, console
保存退出
——————————————————————————————–
安装numpy
sudo pip3 install numpy
——————————————————————————————–
运行 ./bin/pyspark
——————————————————————————————–
安装mongodb
apt-get install gnupg -y
wget -qO – https://www.mongodb.org/static/pgp/server-4.2.asc | apt-key add –
echo “deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu bionic/mongodb-org/4.2 multiverse” | tee /etc/apt/sources.list.d/mongodb-org-4.2.list

apt-get update -y
apt-get install mongodb-org -y

安装完成后,请启动MongoDB服务,并使用以下命令使其在重新启动时启动
systemctl start mongod
systemctl enable mongod

检查MongoDB服务的状态:systemctl status mongod

卸载MongoDB:
sudo apt-get –purge remove mongodb mongodb-clients mongodb-server

———————————————————————————————–
mongodb-compass安装

在官 下载mongodb-compass_1.21.1_amd64.deb文件
点击下载的文件,右键用软件安装打开即可,在应用程序里可以找到

文章知识点与官方知识档案匹配,可进一步学习相关知识CS入门技能树Linux入门在线安装软件24992 人正在系统学习中

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2022年6月13日
下一篇 2022年6月13日

相关推荐

:00", "author": {"@type":"Person","name":"企业软件","url":"/author/jinwe2022"} }