查看完整版本: 薅资本主义羊毛，用Google免费GPU[18P]

薅资本主义羊毛，用Google免费GPU[18P]

[font=&quot]
[/font]
[img]http://5b0988e595225.cdn.sohucs.com/images/20180127/016f0f7536f24832bade630d32318312.jpeg[/img]
英伟达Tesla K80 GPU，2599美元一块，还很难买到；搭载K80的AWS EC2 P2实例，用起来也很肉疼。
高大上的GPU，不花钱也能用上。Google的一项免费云端机器学习服务，最近也用上了Tesla K80。
这么好的羊毛，当然要薅起来啊！
这项资本主义社会的伟大创造，就是Google Colab，全名Colaboratory。你可以用它来提高Python技能，也可以用Keras、TensorFlow、PyTorch、OpenCV等等流行的深度学习库来练练手，开发深度学习应用。
地址在这里，Google还贴心地写了中文版简介：[url]https://colab.research.google.com/notebook[/url]
即便如此，据说还有人不会用？
号称喜欢训练深度神经网络的作者fuat，就详详细细的写了一份Google Colab免费GPU试用指南~
准备工作 在Google Drive上创建文件夹
[align=center][img]http://5b0988e595225.cdn.sohucs.com/images/20180127/759f64aae8b645c9b7e7418e77976bd0.jpeg[/img][/align]
Colab用的数据都存储在Google Drive云端硬盘上，所以，我们需要先指定要在Google Drive上用的文件夹。
比如说，可以在Google Drive上创建一个“app”文件夹，或者其他什么名字，也可以选择Colab笔记本默认的文件夹。
[align=center][img]http://5b0988e595225.cdn.sohucs.com/images/20180127/5e4b84a2d2b84e5ea9dc7823c1af04d6.png[/img][/align]
新建Colab笔记本
在刚刚创建的app文件夹里点击右键，选择“More”，然后从菜单里选择“Colaboratory”，这样就新建出了一个Colab笔记本。
[align=center][img]http://5b0988e595225.cdn.sohucs.com/images/20180127/d541672b459f45518c694b14000b4cd7.jpeg[/img][/align]
点击笔记本的名字，可以重命名。
[align=center][img]http://5b0988e595225.cdn.sohucs.com/images/20180127/3957baebfc294452ac9c07cf7e851868.png[/img][/align]
设置免费GPU
这一步，要改变笔记本所用的默认硬件。在笔记本里点Edit>Notebook settings（编辑>笔记本设置），或者Runtime>Change runtime type（运行时>改变运行时类型），然后在Hardware accelerator（硬件加速器）一栏选择GPU。
[align=center][img]http://5b0988e595225.cdn.sohucs.com/images/20180127/da0b11ad513f429994956bc637668110.png[/img][/align]
然后，Google Colab就可以用了。
用Colab运行基本Python代码
[align=center][img]http://5b0988e595225.cdn.sohucs.com/images/20180127/b8bb4b36626943af95ab1d6a619a529e.png[/img][/align]
我们来运行一些Python Numpy教程里的基本数据类型代码。
[align=center][img]http://5b0988e595225.cdn.sohucs.com/images/20180127/d2b60baa9be7464fb8eb09f3614af8be.png[/img][/align]
这些代码来自斯坦福大学卷积神经网络与视觉识别课程(CS231n)的Python Numpy教程，
地址：[url]http://cs231n.github.io/python-numpy-tutorial/[/url]
运行结果如你所料。
用Colab运行.py文件
先运行下面这些代码，来安装必要的库、执行授权。
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null!apt-get update -qq 2>&1 > /dev/null!apt-get -y install -qq google-drive-ocamlfuse fusefrom google.colab import authauth.authenticate_user()from oauth2client.client import GoogleCredentialscreds = GoogleCredentials.get_application_default()import getpass!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URLvcode = getpass.getpass()!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
运行的时候应该会看到下图所示的结果：
[align=center][img]http://5b0988e595225.cdn.sohucs.com/images/20180127/6e83e66195f04161b04b9bf257b077cf.jpeg[/img][/align]
看见那个链接之后，点击它，复制验证码并粘贴到文本框里。
授权完成后，就可以挂载Google Drive了：
!mkdir -p drive!google-drive-ocamlfuse drive
安装Keras：
!pip install -q keras
将mnist_cnn.py文件上传到位于Google云端硬盘上的应用文件夹：
[align=center][img]http://5b0988e595225.cdn.sohucs.com/images/20180127/342cf0dee76c43f7a11df696d362d91b.png[/img][/align]
运行下面的代码，用MNIST数据集训练一个简单的卷积神经网络：
!python3 drive/app/mnist_cnn.py
[align=center][img]http://5b0988e595225.cdn.sohucs.com/images/20180127/e5f32bf3bf994324b63050c0a302acd1.jpeg[/img][/align]
从结果中可以看到，每个epoch只需要11秒。
下载泰坦尼克数据集(.csv File)，显示前5行
想按照链接下载.csv文件到app文件夹，只需运行：
!wget [url]https://raw.githubusercontent.com/vincentarelbundock/Rdatasets/master/csv/datasets/Titanic.csv[/url] -P drive/app
也可以直接将.csv文件上传到app文件夹：
[align=center][img]http://5b0988e595225.cdn.sohucs.com/images/20180127/5e0e45bdb3a6474299c0d14bc8d1c920.jpeg[/img][/align]
然后读取app文件夹中的.csv文件，显示前5行：
import pandas as pdtitanic = pd.read_csv(“drive/app/Titanic.csv”)titanic.head(5)
[align=center][img]http://5b0988e595225.cdn.sohucs.com/images/20180127/6344c48c59eb4c50932377f5494b0871.jpeg[/img][/align]
Tips 1. 如何安装库？
安装Keras：
!pip install -q kerasimport keras
安装PyTorch：
!pip install -q [url]http://download.pytorch.org/whl/cu75/torch-0.2.0.post3-cp27-cp27mu-manylinux1_x86_64.whl[/url] torchvisionimport torch
安装OpenCV：
!apt-get -qq install -y libsm6 libxext6 && pip install -q -U opencv-pythonimport cv2
安装XGBoost：
!pip install -q xgboost==0.4a30import xgboost
安装GraphViz：
!apt-get -qq install -y graphviz && pip install -q pydotimport pydot
安装7zip Reader：
!apt-get -qq install -y libarchive-dev && pip install -q -U libarchiveimport libarchive
安装其他库：
用!pip install或者!apt-get install命令。
2. GPU在干活么？
要查看你在Colab里是不是真的在用GPU，可以运行以下代码来交叉检查：
import tensorflow as tftf.test.gpu_device_name()
[align=center][img]http://5b0988e595225.cdn.sohucs.com/images/20180127/2021cc0252de498aac232f2b91fc59e4.jpeg[/img][/align]
如果显示上图左侧的结果，就是在用CPU，显示右侧结果就是在用GPU。
3. 我在用哪个GPU？ from tensorflow.python.client import device_libdevice_lib.list_local_devices()
其实现在，Colab只提供Tesla K80，所以你会看到下图这样的结果：
[align=center][img]http://5b0988e595225.cdn.sohucs.com/images/20180127/6e8f541b6f4a42f5918470edc17773fc.png[/img][/align]
4. RAM有多大？ !cat /proc/meminfo
[align=center][img]http://5b0988e595225.cdn.sohucs.com/images/20180127/8c365d0ee59a4e49a18906350c6f2e65.png[/img][/align]
5. CPU呢？ !cat /proc/cpuinfo
[align=center][img]http://5b0988e595225.cdn.sohucs.com/images/20180127/09f76934431a4e30a8f0c33c22620cad.jpeg[/img][/align]
总结一下吧
好好学习，认真薅毛。
量子位温馨提示：自备梯子。

[[i] 本帖最后由 魔 于 2018-1-27 22:57 编辑 [/i]]

感觉太复杂了，我等屌丝还是膜拜一下就好了

可以用来提升Python技术这一点倒是挺不错

并看不懂是啥意思，只有专业人士能感觉到是福利