云服务器做深度学习推荐+autoDL云服务器进行深度学习教程

目录

主流云服务器

autoDL云服务器进行深度学习教程

1、购买autoDL云服务器

 2、向服务器上传项目数据

3、解压服务器上的项目数据

4、终端训练

4.1 远程IDE

4.2  代码执行结束自动关机

4.3  查看GPU信息

4.4  查看进程的CPU和内存占用

4.5  提升GPU性能

 5、GPU选型


笔者用云服务做深度学习项目,只是偶尔才会用到它。所以我就想找一款按量收费性价比较高的云服务器,故笔者使用autodl云服务器,云服务器地址为:AutoDL-品质GPU租用平台-租GPU就上AutoDL   笔者经过多次筛选,显卡种类多,对于自掏腰包的学生来说,性价比是真不错。

主流云服务器

笔者最近需要跑深度学习模型训练,在 上看了诸多云服务信息,市场上现存在云服务器有:autoDL云、恒源云、阿里云、腾讯云、华为云、天翼云、矩池云、谷歌云、百度云(飞浆paddle)、硅云、MistGPU、微软云等云服务器。下面进行分别阐述:

autoDL云:价格比较亲民,笔者对比这么多家,性价比是真的高,对于学生党全部9.5折。它上传数据快,方便,支持vscode,pycharm等在线编译代码。传输方式有:公 盘、autodl 盘、jupyterlab、filezilla和xshell软件支持。

 恒源云:笔者选了很久后,主要是价格上比autoDL云贵几毛钱其它方面都是很不错。

  阿里云:市场比较大,国内外都有服务器,GPU架构并行运算能力较强。但是价格比较贵

腾讯云:

市场占有率高, 他的计费方式是竞价计费,价格随时都是浮动的,价高者拥有该服务器的使用权。

华为云:笔者不知为啥,因为注册华为账 一直都不成功。所以未查看到其价格形式和其它信息,读者可以自行了解。

天翼云:价格比较贵 

矩池云:矩池云因为和诸多高校合作,故价格也贵。

谷歌云和微软云:因为服务器都在国外,上传/下载数据太慢,中途断掉,又得重新开始,虽然也有免费使用时长,但断线就很恼火。

百度云(飞浆paddle):百度云每天可以赠送算力卡(每天免费领取8点算力卡),也有免费基础版本的,但它有其专门的框架(paddle框架)。笔者是使用不习惯。

autoDL云服务器进行深度学习教程

1、购买autoDL云服务器

 云服务器地址为:AutoDL-品质GPU租用平台-租GPU就上AutoDL ,进去注册账 后,进入算力市场,选择区域,服务器离你所在距离越近,传输速率越高。先选择区域,在选择你所需要的显卡型 ,在选择云服务器,你可以根据云服务器的不同规格来选择你所需的服务器,当然价格也是有所不同。

根据自己所需,选择其中GPU显卡数量,首次租用云服务器,选择平台镜像,服务器会自动安装pytorch所需要的环境配置。当你运行过自己的项目后,并保存为镜像后,你就可以用你自己的镜像。笔者第一次用的平台镜像为:pytorch1.11.0+python3.8+cuda11.3 版本,服务器运行系统均为Linux  Ubuntu。而且该系统比较好的是他已经自带安装了miniaconda,很多常用的依赖库已经安装好了。

创建案例后,进入控制台,如图10所示。

 图10

 2、向服务器上传项目数据

方式1:首先进入图10中1(JupyterLab)位置,在如下界面中点击上传数据。

  1. 公 盘,直接使用阿里云盘、百度 盘上传下载数据,强烈推荐
  2. AutoDL 盘 上传数据,优点简单而且不用开实例,缺点是 页不支持上传文件夹
  3. JupyterLab上传,和 盘类似,优点简单,但是只支持文件不支持文件夹
  4. scp命令支持文件和文件夹上传下载,由于是命令行执行,上手难度稍高
  5. FileZilla软件支持文件和文件夹,拖拉拽即可上传下载,推荐使用
  6. XShell软件支持管理SSH连接,而且集成了xftp,支持拖拉拽上传下载文件夹/文件,推荐使用

3、解压服务器上的项目数据

方式1:

由于安装的zip、rar包等都只能解压或压缩某一种压缩包,这里提供一个小工具,支持解压格式:, , , ,支持压缩/打包格式:,

有个别zip的压缩包使用上边的命令以及命令都不能解压时,先检查文件大小,如果文件大小和源文件一样,那么尝试下面的命令解压:

方式2:

命令:

zip和unzip分别正对与zip的压缩包压缩和解压,tar是Linux另外一种更通用的压缩解压工具

4、终端训练

方式一:在打开的JupyterLab页面中打开终端来执行(笔者推荐使用)。只要jupyterlab不出现重启(几乎不会),jupyterlab的终端就会一直运行,无论是本地主机断 还是关机。

 

 运行代码:python xxx.py或者执行某个文件夹下的代码文件:python+该执行文件的路径。

在使用JupyterLab长时间跑代码的过程中强烈建议对日志重定向,防止断 后中间的日志没有了。使用方法:

方式二:如需使用其他IDE远程开发,请参考VSCode(推荐)和PyCharm (推荐调试代码使用)

4.1 远程IDE

当远程IDE进行代码运行时,需要采取守护进程,好保护程序在运行时,防止断 导致程序运行中断。  守护进程方法 。

4.2  代码执行结束自动关机

不确定自己的代码需要执行多久结束,希望执行完成后立马关机。这类场景可以通过命令来解决。

或者在您的Python代码中执行shutdown命令,例如:

4.3  查看GPU信息

命令:


  1. user@seeta:/tmp/test_directory$ nvidia-smi
  2. Mon Nov 8 11:55:26 2021
  3. +-----------------------------------------------------------------------------+
  4. | NVIDIA-SMI 440.82 Driver Version: 440.82 CUDA Version: 10.2 |
  5. |-------------------------------+----------------------+----------------------+
  6. | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
  7. | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
  8. |===============================+======================+======================|
  9. | 0 TITAN X (Pascal) Off | 00000000:01:00.0 On | N/A |
  10. | 31% 57C P0 66W / 250W | 408MiB / 12194MiB | 2% Default |
  11. +-------------------------------+----------------------+----------------------+
  12. | 1 TITAN X (Pascal) Off | 00000000:04:00.0 Off | N/A |
  13. | 93% 27C P8 11W / 250W | 2MiB / 12196MiB | 0% Default |
  14. +-------------------------------+----------------------+----------------------+
  15. +-----------------------------------------------------------------------------+
  16. | Processes: GPU Memory |
  17. | GPU PID Type Process name Usage |
  18. |==============

    声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2022年7月21日
下一篇 2022年7月21日

相关推荐