ubuntu18.04 装机(二)gitlab, CUDA, conda,pip, pytorch, pycharm Professional, vscode
1. gitlab
参考:配置ssh key
为什么Gitlub需要SSH Key呢?因为Gitlub需要识别出你推送的提交确实是你推送的,而不是别人冒充的,而Git支持SSH协议,所以,Gitlub只要知道了你的公钥,就可以确认只有你自己才能推送。
1.1 创建ssh key
ssh-keygen -t rsa -C "your_email@example.com"
一直回车,完成后在~/.ssh/
会生成2个文件id_rsa
和 id_rsa.pub
。这两个就是SSH Key的秘钥对,id_rsa是私钥,不能泄露出去,id_rsa.pub是公钥,可以放心地告诉任何人。
1.2 git配置ssh key
将它粘帖到github帐号管理中的添加SSH key界面中。
步骤如下:
- 登录gitlub
- Settings => SSH Keys => Add SSH key
- 在出现的界面中填写SSH key的名称,填一个你自己喜欢的名称即可,然后将的
~/.ssh/id_rsa.pub
文件内容粘帖到key一栏,点击“add key”按钮就可以了。
1.3 配置Git个人信息
现在你已经可以通过 SSH 链接到 Gitlub 了,还有一些个人信息需要完善的。Git 会根据用户的名字和邮箱来记录提交。Gitlub 也是用这些信息来做权限的处理,输入下面的代码进行个人信息的设置,把名称和邮箱替换成你自己的
配置git信息
git config --global user.name "username"
git config --global user.email "email"
查看git设置信息
git config --list
git config user.name
1.4 git常用指令
克隆
git clone git@github.com::GitHub账户名/myProject.git # 克隆master分支
git clone -b <远程指定分支> <远程仓库地址> <本地文件夹名> # 克隆指定分支,并重命名
git status # 查看仓库当前的状态(是否有需要提交的内容)
git diff xxx.xx # 查看文件做了什么修改 (即当前工作区的文件和版本库中的该文件的最新版本的区别)
git log -pretty=oneline # 显示从最近到最远的提交日志
本地分支管理
git branch # 查看分支,加上 -a 参数查看所有分支
git branch <name> # 创建分支
git branch -d <name> # 删除本地分支
git checkout <name> # 切换分支, 或者 git switch <name>
git checkout -b <name> # 创建+切换分支, 或者 git switch -c <name>
git merge <name> # 合并某分支到当前分支
远程分支管理
git remote -v # 查看远程库信息
git push origin --delete <name> # 删除远程分支
推送本地分支到远程分支
# 情景 1. 远程先开好分支然后拉到本地
git checkout -b dev origin/dev #检出远程的dev分支到本地
# 情景 2. 本地先开好分支然后推送到远程
git checkout -b dev # 创建并切换到分支dev
git push origin dev:dev # 推送本地的dev (冒号前面的)分支到远程origin的dev (冒号后面的)分支(没有会自动创建)。注意冒号两边没有空格。
2. CUDA
cuda 简介
CUDA 是由 Nvidia 公司开发的并行计算平台和应用程序接口,软件开发者可以利用支持 CUDA 软件的 GPU 进行通用计算。CUDA 可以直接链接到 GPU 的虚拟指令集和并行计算单元,从而在 GPU 中完成内核函数的计算。
CUDA 提供 C/C++/Fortran 接口,也有许多高性能计算或深度学习库提供包装后的 Python 接口。开发者们可根据实际需要 (高性能计算, 深度学习, 神经网络等) 选择适当的编程语言。
lspci | grep -i nvidia # 查看当前系统的 GPU 型号
sudo dpkg --list | grep nvidia-* # 查看驱动版本
查看显卡驱动是否已经安装
sudo apt-get install mesa-utils # 安装 mesa-utils
glxinfo | grep rendering # 如果结果是“yes”,证明显卡 驱动已经成功安装。
安装 CUDA Toolkit
传统上,安装 NVIDIA Driver 和 CUDA Toolkit 的步骤是分开的,但实际上我们可以直接安装 CUDA Toolkit,系统将自动安装与其版本匹配的 NVIDIA Driver。下面我们讲述安装 CUDA Toolkit 的方法。
在 CUDA Toolkit 的下载页面选择系统版本和安装方式,下载并运行 runfile
sudo apt update # 更新 apt
# 下载安装包
wget https://developer.download.nvidia.com/compute/cuda/11.1.0/local_installers/cuda_11.1.0_455.23.05_linux.run
#安装
sudo sh cuda_11.1.0_455.23.05_linux.run
如果出现:
Existing package manager installation of the driver found. It is strongly recommended that you remove this before continuing.
Abort
Continue
选 continue。(也可以根据建议退出,先将旧驱动删除:sudo apt-get --purge remove nvidia*
)
输入 accept。
如果已经安装过驱动了,把Driver前的×去掉,不装。然后选择 install 回车。
安装完成后,gedit ~/.bashrc
,在末尾添加
# add nvcc compiler to path
export PATH=$PATH:/usr/local/cuda-11.1/bin
# add cuBLAS, cuSPARSE, cuRAND, cuSOLVER, cuFFT to path
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-11.1/lib64:/usr/lib/x86_64-linux-gnu
重启电脑。检查是否安装成功: nvcc -V
附:如何安装显卡驱动
如果要自己安装显卡驱动,请先卸载旧驱动
sudo apt-get --purge remove nvidia*
sudo apt autoremove
# To remove CUDA Toolkit:
$ sudo apt-get --purge remove "*cublas*" "cuda*"
# To remove NVIDIA Drivers:
$ sudo apt-get --purge remove "*nvidia*"
安装显卡驱动
ubuntu-drivers devices # 查看显卡型号
sudo ubuntu-drivers autoinstall # 自动安装推荐版本的显卡驱动
附:
sudo apt install nvidia-cuda-toolkit --fix-missing # 此命令通常装的不是最新版的cuda,不建议采用。
3. pip
换源
国内镜像源比较快,如 pip 清华源。
临时使用
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package # 注意,simple 不能少, 是 https 而不是 http
设为默认
升级 pip 到最新的版本 (>=10.0.0) 后进行配置:
pip install pip -U
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple #清华源
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/ # 或 阿里源
或gedit ~/.pip/pip.conf
(macos 为gedit ~/.config/pip/pip.conf
)添加:
[global]
timeout = 6000
index-url = http://pypi.douban.com/simple/
[install]
use-mirrors = true
mirrors = http://pypi.douban.com/simple/
trusted-host = pypi.douban.com
如果 pip 默认源的网络连接较差,临时使用本镜像站来升级 pip:
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pip -U
pip常用指令
pip install Package # 安装Package
pip install -r requirements.txt
pip install xxxx -U # 更新已经安装的包
4. conda
快速进入conda虚拟环境的方法
每次进入虚拟环境都要conda activate envName
,比较费劲。可以用alias
定义自己的指令:
gedit ~/.bashrc # 打开.bashrc 文件
# 找到 conda.sh 的路径,如"/home/name/miniconda3/etc/profile.d/conda.sh"
# 在文件末尾添加一行指令:
alias envName='. "/home/name/miniconda3/etc/profile.d/conda.sh" && conda activate envName'
以后就可以在终端直接输入envName
进入该环境了。
conda 复制环境/导出环境/导入环境/导出base环境
在本机克隆环境的方法:
conda create --name newEnvName --clone oldEnvName
将本机环境配置移至另一台计算机的方法:
conda env export > environment.yaml # 将当前环境配置导出至environment.yaml 文件
scp 命令将文件复制到目标计算机上,在目标机上cd至environment.yaml文件所在目录
conda env create -f environment.yaml # 安装环境
conda 可能会漏掉一部分pip安装的包。因此还要用pip导出:
pip freeze > environment_pip.txt
复制到目标机后,
pip install -r environment_pip.txt
5. 配置深度学习环境
配置好 conda 和 pip 安装源后,用 conda 创建新环境,然后在新环境中安装 pytorch等。有些包
pytorch
安装时最好指定版本, 官网可以找到最佳匹配版本。
conda install pytorch=1.8.1 torchvision cudatoolkit=11.1 # 注意指定 cudatoolkit 的版本
附卸载方法。如果安装不上或卸载不掉,很有可能是网的问题,换个稳定的网重试。
conda uninstall --force pytorch # 强制卸载 pytorch
conda update pytorch # 升级pytorch
opencv-python
pip install opencv-python # 推荐方法
conda install --channel https://conda.anaconda.org/menpo opencv3
6. pycharm Professional
1. 激活
从 ubuntu 软件商店 安装IDE.
专业版不可告人的链接, 关注公众号有永久pojie方法。
方法:
- 下载完成后,将zip插件拖入IDE界面。如无法拖动安装,可以在
settings/preferences... -> Plugins -> install plugin from disk...
手动安装。 注意zip包无需解压,存放位置不要移动,不要删除! Help -> Eval Reset
点击reset
,重启IDE即可重置30天免费试用。勾选Auto reset before per restart
则每次重启IDE时都会自动重置试用信息。- 查看剩余试用期:
help -> register
.
2. 使用本地conda环境python解释器调试
File - Settings - Project - Python Interperter - 星号 - Add - Conda Environment - Existing environment
选择 /home/name/Anaconda3/env/yourEnvName/bin/python
3. 使用远程解释器调试
pycharm 专业版能够在本地用远程服务器python 解释器调试代码,并且在本地编写、修改代码能够轻松同步到远程服务器。
远程代码同步
Tools-> Deployment -> Configuration… -> + -> SFTP
设置好 Connection 和 Mappings
之后就可以 Tools-> Deployment -> upload to 上传代码了。
远程解释器
File - Settings - Project - Python Interperter - 星号 - Add - SSH Interpreter - Existing Server configuration
选择配置好的 ssh -> Next,
配置好Interpreter 和Sync Folders。
4. git
安装gitlab插件:
设置——plugins–下方 browse repositories–搜索 gitlab projects 安装,重启IDE;
配置gtlab settings:
gitlab server Url:粘贴自己公司的gitlab地址;
点击token page,通过访问公司gitlab网址,进入user-settings; 生成私有访问token
讲token粘贴至pycharm token栏目里
5. Linux下PyCharm 用搜狗中文输入法备选框跟随问题(未解决)
暂时解决方案,pycharm显示框不占满整个屏幕,输入法备选框就会显示在左下角。
6. pycharm 修改快捷键
file - settings - kemap, 然后搜索你想修改的快捷键,
个人觉得,将 Go to Declaration or Usages
和Back
的快捷键分别改成F12
和Instert/Print Screen
是最舒服,且对其他快捷键操作影响最小的。
为保持习惯一致,vscode也采用了相同的快捷键。
7. vscode
安装
在应用商店安装即可,或者下载vscode .deb安装包,双击,Install。
在新标签页打开文件
VSCode 有一个默认设定,单击一个右侧侧边栏的文件是预览模式(预览模式下标题栏的文件名称是斜体)。在预览模式下打开一个新文件,第二个就会占用第一个窗口。
如何关闭预览模式?在设置文件里设置 workbench.editor.enablePreview
为 false
即可,这是全局设置的,每次都是打开新 tab。
不过还有个简单的方式:
双击新文件就是不以预览模式打开。
如果已经打开,那么双击标题栏的文件名称或者ctrl+s也可以。
修改字体大小
Ctrl + Shitf + p,输入 settings,选择打开那个JSON的系统配置文件,选择 “Perferences:Open Settings(JSON)”,配置如下
{
"editor.fontSize": 14,
"editor.accessibilityPageSize": 14,
"debug.console.fontSize": 14,
"window.zoomLevel": 2
}
汉化
安装Chinese (Simplified) Language Pack for Visual Studio Code扩展
Remote-ssh
ubuntu 本地平台 vscode remote-ssh 连接远程服务器 免密登录
安装python扩展
git
GitLens 扩展
python interperter
ctrl + shift + p
输入 python:selsect interperter
选择需要的环境。
8.jupyter notebook
pip3 install jupyter # 安装
jupyter notebook # 启动
9. 性能监控工具
htop
netdata
上面两个工具都不能监控GPU。Netdata有监控GPU的配置教程,但是我没有配置成功。
快速查看 gpu的方法:
在~/.bashrc
添加快捷指令语句:
alias gpu="watch -n 1 nvidia-smi"
以后在终端输入 gpu
就等效于输入 watch -n 1 nvidia-smi
。
10 远程连接工具 FinalShell
一键安装脚本
rm -f finalshell_install_linux.sh ;
wget www.hostbuf.com/downloads/finalshell_install_linux.sh;
chmod +x finalshell_install_linux.sh;
./finalshell_install_linux.sh;
安装路径: /usr/lib/FinalShell/
配置文件路径: /home/$USER/.finalshell/
卸载:删除安装目录/usr/lib/FinalShell/
创建新的ssh连接:
界面的左边部分可以查看机器对应的CPU、内存等的使用情况信息,而下方则展示出了系统的目录和文件信息,可以在下方使用右键功能对目录和文件进行相应的操作,比如上传、下载、删除、重命名等,如果是普通的文本文件,甚至可以直接双击查看或修改文件的内容,非常方便。
下面的没啥用,折腾半天,记录一下。
zsh 终端
Ubuntu 18.04 安装配置Oh My Zsh 主题设置
https://www.sysgeek.cn/install-zsh-shell-ubuntu-18-04/
https://segmentfault.com/a/1190000015283092
sudo apt install zsh # 安装zsh
cat /etc/shells # 查看你安装的shells
显示
/bin/sh
/bin/bash
/bin/rbash
/bin/dash
/bin/zsh
/usr/bin/zsh
将zsh设置为默认shell
chsh -s /bin/zsh
或
chsh -s `which zsh`
echo $SHELL # 查看当前所用的shell
当你不愿意把zsh当成默认shell,而又想使用它,可通过zsh进入,exit退出。
oh-my-zsh
github
官方方法下载失败。
git clone https://github.com/robbyrussell/oh-my-zsh
通常zsh配置起来非常麻烦,且相当的复杂,所以oh-my-zsh是为了简化zsh的配置而开发的,因此oh-my-zsh算是zsh的配置。
安装了oh-my-zsh之后的环境变量入口就会从./bashrc变成./zshrc,这点在配置环境变量的时候要特别小心
卸载oh-my-zsh
cd .oh-my-zsh/tools
chmod +x uninstall.sh
./uninstall.sh
rm -rif .zshrc
远程桌面 Remmina
参考
1 首先需要打开远程服务器的 desktop sharing
2. 本地打开 remmina
3. 加号创建新的远程链接,
4. 协议选择: VNC-虚拟网络链接
5. 点击服务器框后面的…,选择远程桌面,确定-连接 (此步也可以直接输入服务器IP)
VNC密码就是前面远程服务器设置的密码。