服务器细碎知识点记录

服务器代码完成后自动关机

a) 终端运行方式

# 假设程序原执行命令为
python train.py

# 那么可以在您的程序后跟上shutdown命令
python train.py; shutdown    # 用;拼接意味着前边的指令不管执行成功与否,都会执行shutdown命令
python train.py && shutdown  # 用&&拼接表示前边的命令执行成功后才会执行shutdown。请根据自己的需要选择

b) python代码中执行shutdown指令

import os

if __name__ == "__main__":
    # xxxxxx
    os.system("shutdown")

Linux基础

查看GPU信息

# 查看一次当前GPU信息
命令:nvidia-smi
# 如果需要不停的输出GPU占用信息,
那么使用:
nvidia-smi -l 1    #每隔1秒输出一次,
或使用
watch -n 1 nvidia-smi  #也是同样的效果

重定向日志

命令: >

user@seeta:/tmp$ python train.py    # 一般情况下日志会输出到stdout/stderr中
Epoch.1 Iter 20
Epoch.1 Iter 40
Epoch.1 Iter 50
...

user@seeta:/tmp$ python train.py > ./train.log 2>&1  # 把stdout/stderr中的日志重定向到train.log文件中,最后的2>&1中,2代表stderr, 1代表stdout,&1可以理解成像c语言中的求地址

user@seeta:/tmp$ cat ./train.log    # 将train.log文件中的内容打印在stdout。cat(Concatenate FILE(s) to standard output.)
Epoch.1 Iter 20
Epoch.1 Iter 40
Epoch.1 Iter 50
...

user@seeta:/tmp$ python train.py > ./train.log 2>&1 &   # 如果最后再加一个&的效果是后台运行,还可以参考nohup的配合使用

设置环境变量

命令: export

以常见的两个环境变量:PATH和LD_LIBRARY_PATH为例
1. PATH
如果你有自己安装的命令,希望暴露出来直接使用。比如miniconda中的python,如果不加环境变量一般需要写完整的路径:/x/x/x/miniconda3/bin/python,如果希望直接写python就能用到调用conda中的python指令,那么可以:
export PATH=/x/x/x/miniconda3/bin:$PATH
先解释上述命令的格式,右侧的路径可以写多个,以:分隔,$PATH表示求PATH变量的值,因为PATH环境变量以前可能已经有值,需要保留那些值不影响其他命令的使用,其次当输入了python命令时,会从PATH变量的路径下去找python可执行文件,先找到哪个就用哪个,因此:前后路径的先后顺序也很重要。
2. LD_LIBRARY_PATH
和PATH路径一样,只不过LD_LIBRARY_PATH是设置动态链接库的搜索路径。比如安装了CUDA以后,一般需要设置:
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

如果要查看是否设置成功可以使用命令:env | grep PATH 进行确认

最后以上设置的环境变量只在当前terminal的上下文中有效,如果希望全局有效,那么将export命令写入文件: ~/.bashrc,然后执行:source ~/.bashrc 生效或新打开终端

删除文件

命令:rm (remove)
参数: -rf (-r代表递归, -f代表强制)

user@seeta:/tmp/test_directory$ ls
a.txt  folder
user@seeta:/tmp/test_directory$ rm -rf folder   
user@seeta:/tmp/test_directory$ rm -rf folder/*   # *是通配符号,这样代表folder文件夹下所有文件/文件夹```

列出文件、文件夹

命令:ls(list)

user@seeta:/tmp/test_dir$ ls    # 列出当前目录下的文件和文件夹
a.txt  b
user@seeta:/tmp/test_dir$ ls -l  # 列出文件和文件夹的详细信息:权限,Owner,Group和创建/更新时间
total 4
-rw-rw-r-- 1 root root    0 119 10:50 a.txt
drwxrwxr-x 2 root root 4096 119 10:50 b

新建/切换路径

新建命令: mkdir (make directory)
切换命令: cd (change working directory)

user@seeta:/tmp$ mkdir test_dir   # 新建一个叫test_dir的路径
user@seeta:/tmp$ cd test_dir/     # 进入 test_dir 路径
user@seeta:/tmp/test_dir$

场景

场景1
场景:发现程序停止了,但是显存还在占用

一般这种情况是进程假死,看上去停止了但是实际还在。可以通过ps -ef查看进程是否还存在,如果存在则用kill命令杀死进程,最后用nvidia-smi检查显存是否已经释放。

场景2
场景:想把实例中的模型/数据保存在网盘中一份,方便其他实例使用

user@seeta:~$ pwd
/root/
user@seeta:~$ ls
train.py  autodl-tmp  autodl-nas
user@seeta:~$ cp -r train.py autodl-nas/   # 把 train.py 文件存入网盘中

场景3
场景:发现进程内存会使用超过限制,导致进程被Killed

可以使用Top命令查看进程的占用内存情况,确认内存是不是会停留在一个值而不会一直增长,如果一直增长说明程序对内存的释放有漏洞,可以分析Python代码变量的引用来进行优化。

场景4
场景:使用JupyerLab的终端挂守护进程跑训练,担心关闭网页期间的日志看不到了

可以使用重定向日志功能,把日志写入文件

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值