愉快使用谷歌免费人工智能平台colab,训练你的神经网络模型,为你的学术生活添砖加瓦

2020年11月9日 141 次阅读 0 条评论 1 人点赞

博主是一个苦逼的计科研究僧,奈何本身运气差点,进了一个坑逼的实验室,还遇到了一个坑逼导师,这里边那个苦更与何人说。言归正传,本人研究方向为音频信息隐藏,是不是很憨的方向,具体的暂时做使用神经网络做音频隐写分析。既然使用神经网络了,那肯定需要GPU资源了。总的来说就是需要一台cpu和gpu都很强劲,内存很大的工作站了。但是苦于实验室和导师现状,我一时半会搞不到GPU资源。但是天无绝人之路,谷歌提供了这个免费的平台。国内飞桨也提供免费的资源,但是就没这个colab用着舒服,GPU资源特别难以申请。言归正传,如何愉快的使用colab免费平台呢?我将给大家写个详细的教程。

一、网站地址

https://colab.research.google.com/

看到这个网址是不是很熟悉的感觉,要想使用这个资源,有这几个前提一定要满足吧。

1.网址里面有google.com ,那么必须要召唤魔法才能访问了吧,至于什么魔法,大家可以百度、谷歌、搜狗。

2.这东西,必须要一直网络良好,而且需要一直进行操作,那么需要你的魔法足够强,要稳定的施法对吧。

3.既然是谷歌家的东西,那么你肯定需要个谷歌账号。

也就这么多了,有了这个就完全可以用了。如果你不晓得,右上角加群或者发表评论,自然有人指导你。

二、现在开始

打开网址,登录账号,默认进入如下界面。

这个界面就是初始界面,可以点击取消,显示的默认文档,这个稳定简单介绍了colab可以做什么,以及一些简单的例子,这儿不再赘述,不是重点。对于我们,课选择新建笔记本,放上自己的代码,也可以把自己的代码放到谷歌网盘,然后从谷歌网盘打开,就可以关联到colab进入colab。

点击进入就是你写好的代码,或者一个空白文档,就是一个jupyter notebook,而且感觉还是在增强版的,用着特别舒适。接下来愉快的进入下一步。

三、愉快使用

1.连接服务器

左上角点击连接即可。

可以看到分配的计算机配置还是不错的,对于我们的学习,以及做个小实验还是没问题的。

2.使用GPU

我们来使用colab当然是奔着他的gpu来的,谷歌免费提供了GPU供大家使用,请注意不要浪费资源,你写个纯cpu代码就不要申请gpu资源了。对于单个文档来说,申请gpu资源需要专门的设置。

界面左上角,修改菜单->笔记本设置。

这里可以看到有GPU还有高端的TPU可以使用,这里选择GPU给大家展示。

点击保存就可以,请注意不要浪费GPU资源。

使用 ! nvidia-smi 命令,可以查看GPU信息,

可以看到这里是K80,有的时候运气好的话,还可能分配到更好的GPU。再说一遍,不要浪费。

初次使用,一般会给一个比较好的卡,但是直接给我k80 ,哎不说了。

3.挂载谷歌云盘

默认情况下,你的所有代码是存储在申请的机器上的,当然代码云端会有保存但是当机器因为超时或者闲置被回收的时候,你的数据集就没有了。这种情况下,体验肯定会很差劲,比如那一次我下载了好大的数据集,结果没了。但是谷歌的产品就是强大,谷歌的网盘是可以挂载在上边的,

使用如下代码:

from google.colab import drive
drive.mount('/content/gdrive')

点击运行

点击链接进入,进行账号验证,

给所有权限,然后就会给验证码,

复制到代码中,回车执行即可

可以看到挂载成功

由上图可以看出,完全已经挂载上了,那么而且还有一个好的地方,虽然个人谷歌网盘只有15G,但是我们可以使用别人分享的团队盘,至于团队盘如何获得,大家可以自己百度一下。

然后给大家一个实例。

就需要设置为自己的文件夹了,可以在自己的网盘设置一个文件夹爱,专门用于使用colab。比如Colab Notebooks

然后我又新建一个文件夹data,用于为大家展示,随便上传了一个文件。

大家准备好路径

/content/gdrive/My Drive/Colab Notebooks/data

前边是固定的,后边是设置的文件夹。

使用如下命令

import os
os.chdir("/content/gdrive/My Drive/Colab Notebooks/data")

这样可以切换工作目录为设置的目录,这样的话你存储的文件都默认放置在你的文件夹了。

测试一下

测试了下载一个图片,可以看出来没问题的,还可以使用如下命令看文件夹的文件

这样基本上就讲完了。

当然最推荐的方式,是本地写完代码,上传到你将要使用的文件夹,使用关联的colab打开,然后使用上述命令挂载,就可以愉快的使用了。

也可以点击此按钮进行挂载

4.导入自定义模块

首先确保挂载好了Google云盘。然后,使用 sys 将目录附加到python路径:

import sys
sys.path.append('/content/gdrive/yourdirectory')

这里只是示例,如果你需要可以参考查看文件的方法,看看是否导入成功。

四、总结

1.Colab 的使用量限额

Colab 之所以能够免费提供资源,部分原因在于它的使用量限额是时有变化的动态限额,并且它不会保证资源供应或无限供应资源(单次最长12小时,自动断开连接)。也就是说,总体使用量限额、空闲超时时长、虚拟机最长生命周期、可用 GPU 类型以及其他因素都会不时变化。Colab 不会公布这些限额,原因之一是它们不仅可能、而且有时确实会快速变化。如果希望获得更高、更稳定的使用量限额,可以订阅 Colab Pro。

2.Colab 提供哪些类型的 GPU

为了保证计算资源的自动分配,Colab 中的可用 GPU 类型是动态变化的,通常包括 Nvidia K80、T4、P4 和 P100。

问题是无法手动选择在 Colab 中连接的 GPU 类型。与使用 Colab 长时间运行计算的用户相比,系统有时会向交互地使用 Colab 或最近资源用量较少的用户优先提供 GPU。因此,使用 Colab 长时间运行计算的用户,或最近资源用量较大的用户,更有可能遇到使用量限制,并导致他们暂时无法使用 GPU。计算需求较高的用户可以在使用 Colab 界面的同时,在自己的硬件上运行本地运行时。如果想要更稳定地使用 Colab 最快的 GPU,可以订阅 Colab Pro。

请注意,Colab绝对禁止使用 Colab 挖掘加密货币,情节严重者,封禁Google帐号在 Colab 中的使用权限。

3.Colab 可以运行多长时间

笔记本要连接到虚拟机才能运行,虚拟机的最长生命周期为 12 小时。笔记本如果处于空闲状态的时间过长,也会与虚拟机断开连接。虚拟机的最长生命周期和空闲超时行为可能会随时变化,也会根据您的使用情况调整。只有这样,Colab 才能免费提供计算资源。如果希望虚拟机的生命周期更长、对空闲超时行为的限制更宽松,并希望这两项随时间变化的幅度小一些,可以订阅 Colab Pro。

4.注意事项

  • 这个环境可以使用一些linux命令,比如ls等等,以及查看显卡的命令,但是前边需要加上! ,注意是英文!
  • 你的网络要尽量稳定,否则可能容易断开,导致训练失败
  • 总的来说国内还有点不是太稳定,不要用在重要的场合
  • 不要滥用,用在不合规的场合
  • 最好把你的代码先上传到谷歌网盘,然后从网盘打开,然后执行挂载操作
  • 默认环境是装好的,都是最新的,你可能需要根据自己的情况重新安装自己的环境
  • 虽然免费谷歌账号的空间只有15G,但是你可以使用团队盘,就是共享盘,这样就有近似的无限空间了,也可以找个gs教育账号。
  • 如果你有问题,欢迎评论或者加群,如果有新的问题,日后也会补充。

文章评论(0)