Linux服务器下PySpark环境安装

Linux服务器下PySpark环境安装

一、JDK安装

? 1. 下载JDK安装包

? 进入Java官 下载对应的JDK版本，建议下载较早的版本，可能出现不兼容的。这里选择下载jdk-8u321-linux-x64.tar，下载完毕适用Xftp7上传至服务器并解压。

? 在文件末尾添加如下的配置信息

? 执行

? 使环境变量配置生效。

? 验证JDK环境，

• 如果按照上述步骤显示的仍然是OpenIDK(即系统自带的版本)，执行下面的命令更新java版本

• 然后执行下面的 指令选择JDK版本

二、Python安装

1. 安装相应的编译工具，在命令端执行

2. 下载Python3.7安装包

   建议下载Python3.6_{Python3.8的Python版本，还是版本兼容的问题}~

   上传！解压！

? 进入解压后的目录，编译安装

? 第一个指定安装的路径，不指定的话，安装过程中软件所需的文件可能复制到其它目录中，这样在删除软件时会很不方便，复制软件也不方便。第二个开启优化选项，这样可以提高Python代码运行速度10%~20%。第三个是为了支持pip安装软件需要用到的。

? 这个过程比较耗时，会进行源码编译，并测试。

3. 创建软链接

? 验证安装

? Hello, Python~

三、Spark安装

? 完成JDK和Python3的安装后，Spark的安装就“洒洒水”（简简单单啦）了。

1. 下载Spark安装包并上传到服务器

   Downloads | Apache Spark

   2. 解压并配置环境变量即可

   跟上述步骤类似，在中修改环境变量，同时添加****变量，即Pyspark使用的Python编译器，路径为系统的Python目录

   别忘了还要

   3. 验证

? 配置Spark环境后会连同配置pyspark的环境变量，因此可以直接输入执行。

至此，Spark以及Pysark安装完毕！

文章知识点与官方知识档案匹配，可进一步学习相关知识CS入门技能树Linux入门在线安装软件25008 人正在系统学习中