本篇是打造舒适的AI开发环境系列-软件篇1
接下来的日子Frank大佬会持续给大家进行分享
(1)Environments使用中如何安装python包.;
(2)Jupyter Lab如何在服务器后台开启,从而让个人笔记本随时访问。
1.安装
本章介绍Anaconda在MacOS, Ubuntu, Windows是如何安装的。
笔者的笔记本是MacBook, 即MacOS系统, 额外装于Ubuntu系统的服务器位于学校集群。
Anaconda下载地址:
https://www.anaconda.com/products/distribution根据自己的系统选择对应红色框的部分,建议此软件安装到SSD固态上加快读写速度。
Windows系统:
后缀为exe文件直接点击,下一步即可
此处需要注意,Advanced Options界面, 务必勾选添加环境变量(后续省事)。其余下一步即可。
MacOS系统:后缀为pkg文件直接点击拖入应用程序即可
Ubuntu系统:.后缀为sh文件.
step1: 根据IP/user_id/port链接服务器
step2: 转到任意一个目录进行wget
step3: 安装,采用默认Enter yes yes即可
通过此章节完成了Anaconda软件在Windows/MacOS/ubuntu的安装
2.Environment的基本使用
此章节分为三个部分,如何创建Environment、 Python软件库的选择、替换清华源。
2.1 创建Environment
Windows:如下图打开Powershell或者win+R的终端
MacOS/Ubuntu:打开终端.(bshell, zshell都可),此处推荐zshell,有自动补全功能, 如何安装使用会在软件篇3介绍。
step1: 创建名为python3.6_torch1.5_cuda10.1的Environment
此处为笔者的命令习惯,也建议大家采取这样的命令方式, 这样可以很好的管理不同版本,此处大家可以根据自己想要安装的python torch cudad版本命名即可.不需要跟我一样, 一个系统可以安装若干Anaconda Environment。
此处需要Windows/Ubuntu安装好CUDA,Windows下一步下一步即可。Ubuntu稍微麻烦。
后续可以出一个文章单独介绍如何配置Ubuntu中的各种软件,此处默认大家已经安装好。
对于MacOS由于没有NVDIA GPU也就只能安装CPU版本的pytorch。
那么可以采用python3.6_torch1.5_cpu命名。
特别:TensorFlow不同版本的安装要严格对应GPU版本。2.1.1 补充
step2: 激活Environment,并安装Python 包
如何找到Python 包的安装命令在下一个章节
2.1.1 TensorFlow. Pytorch的安装
TensorFlow:https://www.tensorflow.org/install/source?hl=zh-cn#gpu
如下图所示。TensorFlow不同版本有严格的CUDA对应要求, 如果你系统装了CUDA10.1 去安装tensorflow-2.40会 错,如何安装不同Tensorflow版本,会在2.2章节给出
Pytorch:
https://pytorch.org/get-started/previous-versions/
相比于TensorFlow的静态图机制, 基于动态图的Pytorch不同版本就不需要严格对应系统CUDA,在上述链接中可以找到不同版本的下载信息。
2.2 Python软件库的选择
在windows中,我们可以通过360管家或者腾讯电脑软件管家很方便的把很多exe文件给整理好了,所以我们能很方便的去下载各种应用。
2.1.1 Anaconda org
https://anaconda.org/anaconda/repo
以numpy为例
我们能搜出若干个人/公司制作的各种各样的包。我们点开其中一个。
如下图所示, 可以看到这个包能在哪个系统上安装, 以及安装的命令,
2.1.1 Pypi org
https://pypi.org/
如下图所示,搜索numpy。
跟上述一样也看到安装命令. 以及历史版本. 笔者这里建议采用pypi
2.3 替换清华源
由于上述Anaconda/Pypi 服务器都在国外, 导致我们在安装某些包的时候速度太慢了, 所以有一些大学或者公司把国外的这些库给搬到国内来. 有名的比如清华、中科大、阿里等. 此处只介绍笔者经常用的清华源.
地址:https://mirrors.tuna.tsinghua.edu.cn/
如下图, 此处已经给了替换方法。
step1:激活自己的Anaconda Environment
step2: 对于windows系统需要生成.condarc文件,并全局搜索找到 .condarc文件
step3: 对于MacOS/ubuntu系统在home/xxx(xxx为自己用户名)找到.condarc文件,替换清华源地址
此时再开始安装库是不是速度快的飞起︿( ̄) ̄)︿
3.Jupyter Lab的使用
当我们点开安装好的Anaconda软件,其实会发现软件库中有N多开发软件。
本节只介绍Jupyter Lab的使用,有的同学可能会问为啥不使用Jupyter Notebook。其实Jupter Lab是notebook的升级版, 更加的方便简单。
最重要的是后面我会介绍如何在学校/公司集群上如何长久的开启一个端口,用你的笔记本能随时随地访问,跟Kaggle或者某些租卡平台一样。
3.1 本地使用
对于windows/macOS/ubuntu有图形界面的系统来说,
一方面可以通过菜单栏点开Aanaconda的图标,得到上面的界面,然后点开Jupyter Lab。
另一方面可以在终端直接输入jupyter lab浏览器即可直接打开。
3.1 服务器使用
当我个人有一个台服务器 或者 实验室有一台服务器, 我应该如何在服务器上开启jupyter lab服务 让我能够在我笔记本上随时随地访问. 就跟kaggle或者colab提供的jupyter lab界面一样。
step1; 通过IP/use_id/port连接集群
step2: 激活自己的Anaconda Environment
step3: 安装jupyterlab并添加Environment到Jupyterlab
step4: Jupyterlab的配置:
4.1 生成jupyter lab的配置文件
终端显示生成的配置文件位于
4.2 修改jupterlab登录密码
这三行的意思分别是允许任何IP链接. 集群不打开jupyter lab的图形界面, 初始服务器端口IP 如果遇到冲突会自行替换。
4.4 启动jupyter lab并挂到服务器的后台,查看后可以找到IP。
然后把localhost替换为服务器IP,在自己笔记本浏览器打开就可以啦!
3.5关闭挂到后台的jupyter lab, 查找进程ID, 并关闭
—评论区留言会有机会获得奖品—
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!