【GPU使用】Google免费GPU_Colaboratory 常用命令汇总

原创 2018年04月16日 11:25:32
深度学习的小伙伴们,你们是否在为没有GPU,网络训练耗时而苦恼。众所周知,想要入门深度学习,首先要有一块或者N块显卡,这样才能享受开着法拉利在深度学习的道路上策马奔腾的感觉。普通意义上来讲,训练深度网络时,GPU比CPU快40倍左右,也就是说GPU一个小时内可以完成CPU训练两天的量。但是GPU不菲的价格让人望而却步,看完这篇文章就可以随心所欲的拥有自己的GPU。
因为,资本主义国家有个公司叫Google,其有一个工具称为Google Colab,Colaboratory 是一个 Google 研究项目,旨在帮助传播机器学习培训和研究成果。它是一个 Jupyter 笔记本环境,不需要进行任何设置就可以使用,并且完全在云端运行。Colaboratory 笔记本存储在 Google 云端硬盘中,并且可以共享,就如同使用 Google 文档或表格一样。Colaboratory 可免费使用,而且其后端有一个K80 GPU支持。一句话,就是给买不起GPU的小伙伴提供一个免费GPU训练平台。
    所以我对其GPU使用指令做了简单总结如下:
----------------------------------------------------------------------------------------------------------------------------
绑定Google Driver
1.授权,需要两次复制粘贴
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null!apt-get update -qq 2>&1 > /dev/null!apt-get -y install -qq google-drive-ocamlfuse fusefrom google.colab import authauth.authenticate_user()from oauth2client.client import GoogleCredentialscreds = GoogleCredentials.get_application_default()import getpass!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URLvcode = getpass.getpass()!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
2.授权完成后,创建目录
!mkdir -p drive!google-drive-ocamlfuse drive
----------------------------------------------------------------------------------------------------------------------------
文件操作
1.上传文件
from google.colab import files
uploaded = files.upload()
2.下载文件
from google.colab import files
file.download("path/to/file")
3.想按照链接下载.csv文件到/path文件夹
!wget https://raw.githubusercontent.com/vincentarelbundock/Rdatasets/master/csv/datasets/Titanic.csv -P /path
4.也可以直接将.csv文件上传到app文件夹:(见1)
5.读取app文件夹中的.csv文件,显示前5行:
import pandas as pdtitanic = pd.read_csv(“drive/app/Titanic.csv”)titanic.head(5)
----------------------------------------------------------------------------------------------------------------------------
安装库文件
1.安装Keras:
!pip install -q kerasimport keras
2.安装PyTorch:
!pip install -q http://download.pytorch.org/whl/cu75/torch-0.2.0.post3-cp27-cp27mu-manylinux1_x86_64.whl torchvisionimport torch
3.安装OpenCV:
!apt-get -qq install -y libsm6 libxext6 && pip install -q -U opencv-pythonimport cv2
4.安装XGBoost:
!pip install -q xgboost==0.4a30import xgboost
5.安装GraphViz:
!apt-get -qq install -y graphviz && pip install -q pydotimport pydot
6.安装7zip Reader:
!apt-get -qq install -y libarchive-dev && pip install -q -U libarchiveimport libarchive
7.安装其他库:
用!pip install或者!apt-get install命令。
----------------------------------------------------------------------------------------------------------------------------
GPU操作
查看使用中的GPU
import tensorflow as tftf.test.gpu_device_name()
如果显示GPU名字则说明在使用GPU训练
用哪个GPU
from tensorflow.python.client import device_libdevice_lib.list_local_devices()
其实现在,Colab只提供Tesla K80.
RAM内存
!cat /proc/meminfo
查看CPU
!cat /proc/cpuinfo


Google Colab 免费GPU服务器使用教程

一、前言 二、Google Colab特征 三、开始使用 3.1在谷歌云盘上创建文件夹 3.2创建Colaboratory 3.3创建完成 四、设置GPU运行 五、运行.py文件 5...
  • cocoaqin
  • cocoaqin
  • 2018-01-28 02:00:03
  • 6182

免费的代理来了,使用百度浏览器可免费使用google搜索

并不是对手就是互相排斥,Google一直在想办法扩大它的中文搜索市场,按理说在Google搬离中国大陆后,百度可以暗暗的笑一下,终于少了一个强有里的对手,然而出乎意料,百度推出了“谷歌访问助手”,我们...
  • wolaiye320
  • wolaiye320
  • 2016-03-29 14:42:44
  • 3155

【免费】代替使用VPN访问google的方法

此方法免费,配置简单,且访问国外网站速度还不错,缺点是可能需要不定时更新hosts文件,更新方法按着以下流程重新走一遍就可以。1.找到hosts文件在 Mac 中,打开 Finder ->使用快捷键 ...
  • XieYupeng520
  • XieYupeng520
  • 2015-09-30 09:17:57
  • 33508

【GPU使用】Google免费GPU_Colaboratory 常用命令汇总

深度学习的小伙伴们,你们是否在为没有GPU,网络训练耗时而苦恼。众所周知,想要入门深度学习,首先要有一块或者N块显卡,这样才能享受开着法拉利在深度学习的道路上策马奔腾的感觉。普通意义上来讲,训练深度网...
  • zsWang9
  • zsWang9
  • 2018-04-16 11:25:32
  • 30

Google Colab Free GPU Tutorial实践教程

原文薅资本主义羊毛,用Google免费GPU前面的步骤参考第二个链接补充后面的6、改变工作目录通常当你运行这段代码时,你会看到因此,您必须在定义每个文件名之前添加drive/app,为了摆脱这个问题,...
  • owenfy
  • owenfy
  • 2018-04-01 11:23:35
  • 52

google colab 免费使用GPU

google colab 免费使用GPU 最近在做brain segmentation的调研,公司的显卡没到,一台笔记本只有3G的显存,跑一个3d的networks就资源耗尽。刚好听说了google...
  • linhai1028
  • linhai1028
  • 2018-02-07 02:19:22
  • 1303

将MongoDB导出成csv文件

来源:https://plus.google.com/+VicNgrail/posts/ebS9JUtFopw。   Mongodb可以存储非结构化数据,要将这些数据导出为标准的结构化数据会存在...
  • u012388497
  • u012388497
  • 2015-12-22 09:48:33
  • 1758

Google免费GPU使用攻略

google drive链接 在Google Drive上创建文件夹 Colab用的数据都存储在Google Drive云端硬盘上,所以,我们需要先指定要在Google Drive上用的文件夹...
  • hzh_0000
  • hzh_0000
  • 2018-02-02 11:17:15
  • 428

Google Colab 免费GPU 教程

Google Colab 免费GPU 教程 近日google的交互式工具Colaboratory推出GPU支持的版本,支持免费的Tesla K80,可以使用Keras、Tensorflow和Pyto...
  • u014636245
  • u014636245
  • 2018-02-13 16:58:21
  • 714

机器学习硬件设施差?免费使用谷歌的GPU云计算平台

开始机器学习的同学可能都知道:机器学习,特别是深度学习,在GPU上数据处理比在CPU上要快得多,少则几倍,多则几十上百倍的差距。以前有人会因为深度学习而购入高端的Nvidia显卡,现在好了,Googl...
  • mogoweb
  • mogoweb
  • 2018-03-12 21:09:57
  • 355
收藏助手
不良信息举报
您举报文章:【GPU使用】Google免费GPU_Colaboratory 常用命令汇总
举报原因:
原因补充:

(最多只允许输入30个字)