【GPU使用】Google免费GPU_Colaboratory 常用命令汇总

深度学习的小伙伴们,你们是否在为没有GPU,网络训练耗时而苦恼。众所周知,想要入门深度学习,首先要有一块或者N块显卡,这样才能享受开着法拉利在深度学习的道路上策马奔腾的感觉。普通意义上来讲,训练深度网络时,GPU比CPU快40倍左右,也就是说GPU一个小时内可以完成CPU训练两天的量。但是GPU不菲的价格让人望而却步,看完这篇文章就可以随心所欲的拥有自己的GPU。
因为,资本主义国家有个公司叫Google,其有一个工具称为Google Colab,Colaboratory 是一个 Google 研究项目,旨在帮助传播机器学习培训和研究成果。它是一个 Jupyter 笔记本环境,不需要进行任何设置就可以使用,并且完全在云端运行。Colaboratory 笔记本存储在 Google 云端硬盘中,并且可以共享,就如同使用 Google 文档或表格一样。Colaboratory 可免费使用,而且其后端有一个K80 GPU支持。一句话,就是给买不起GPU的小伙伴提供一个免费GPU训练平台。
    所以我对其GPU使用指令做了简单总结如下:
----------------------------------------------------------------------------------------------------------------------------
绑定Google Driver
1.授权,需要两次复制粘贴
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null!apt-get update -qq 2>&1 > /dev/null!apt-get -y install -qq google-drive-ocamlfuse fusefrom google.colab import authauth.authenticate_user()from oauth2client.client import GoogleCredentialscreds = GoogleCredentials.get_application_default()import getpass!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URLvcode = getpass.getpass()!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
2.授权完成后,创建目录
!mkdir -p drive!google-drive-ocamlfuse drive
----------------------------------------------------------------------------------------------------------------------------
文件操作
1.上传文件
from google.colab import files
uploaded = files.upload()
2.下载文件
from google.colab import files
file.download("path/to/file")
3.想按照链接下载.csv文件到/path文件夹
!wget https://raw.githubusercontent.com/vincentarelbundock/Rdatasets/master/csv/datasets/Titanic.csv -P /path
4.也可以直接将.csv文件上传到app文件夹:(见1)
5.读取app文件夹中的.csv文件,显示前5行:
import pandas as pdtitanic = pd.read_csv(“drive/app/Titanic.csv”)titanic.head(5)
----------------------------------------------------------------------------------------------------------------------------
安装库文件
1.安装Keras:
!pip install -q kerasimport keras
2.安装PyTorch:
!pip install -q http://download.pytorch.org/whl/cu75/torch-0.2.0.post3-cp27-cp27mu-manylinux1_x86_64.whl torchvisionimport torch
3.安装OpenCV:
!apt-get -qq install -y libsm6 libxext6 && pip install -q -U opencv-pythonimport cv2
4.安装XGBoost:
!pip install -q xgboost==0.4a30import xgboost
5.安装GraphViz:
!apt-get -qq install -y graphviz && pip install -q pydotimport pydot
6.安装7zip Reader:
!apt-get -qq install -y libarchive-dev && pip install -q -U libarchiveimport libarchive
7.安装其他库:
用!pip install或者!apt-get install命令。
----------------------------------------------------------------------------------------------------------------------------
GPU操作
查看使用中的GPU
import tensorflow as tftf.test.gpu_device_name()
如果显示GPU名字则说明在使用GPU训练
用哪个GPU
from tensorflow.python.client import device_libdevice_lib.list_local_devices()
其实现在,Colab只提供Tesla K80.
RAM内存
!cat /proc/meminfo
查看CPU
!cat /proc/cpuinfo


阅读更多

没有更多推荐了,返回首页