- 博客(23)
- 收藏
- 关注
RSS订阅
原创 【Docker】使用docker配置深度学习开发环境
1、run一个cuda环境： docker run --runtime=nvidia -v /home:/home -w /home/jay -it --entrypoint bash -d --name pytorch1.3-lzc -h pytorch1.3 --shm-size 32G nvidia/cuda:10.1-cudnn7-devel-ubuntu16.04 2、进入容器之后，“啥都没有！！！”，先换apt源：可先解决上网问题，然后直接使用阿里云的源，不使用内网服
2020-07-23 17:42:55
586
原创 windows/linux 免密远程登录Linux
本地Linux：https://jingyan.baidu.com/article/c275f6ba08267ae33c756758.html本地windows：win10 ssh 上传密钥过程，出现 无法将“ssh-copy-id”项识别_Defiler_Lee的博客-CSDN博客 function ssh-copy-id([string]$userAtMachine, $args){ $publicKey = "$ENV:USERPROFILE" + "/.ssh/id_rsa
2022-02-08 09:34:31
314
原创 语义分割数据标注、格式转换
1. 数据准备1.1 labelme标注数据labelme标注完之后会生成json格式标注文件，与图像在同一文件夹下面，如图1.2 labelme标注格式转换（json转voc格式）labelme官方提供了标注格式转换脚本，https://github.com/wkentaro/labelme/tree/main/examples，其中包含了检测、分类、分割等标注任务的格式转换脚本，其中，语义分割的转换脚本位于https://github.com/wkentaro/labelme/tre
2022-01-14 15:56:35
4889
1
原创 nvcc --version找不到命令
添加环境变量：export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64export PATH=$PATH:/usr/local/cuda/binexport CUDA_HOME=$CUDA_HOME:/usr/local/cuda查看cudnn版本：cat /usr/local/cuda/include/cudnn_version.h| grep CUDNN_MAJOR -A 2...
2021-10-29 13:21:11
1516
原创 python虚拟环境virtualenv、Virtualenvwrapper
安装：pip install virtualenvpip install --user virtualenvwrapper添加环境变量：# Python Virtualenv Settingsexport WORKON_HOME=~/.virtualenvsexport VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3# 指定virtualenv的路径export VIRTUALENVWRAPPER_VIRTUALENV=~/.local/b
2021-10-29 11:49:27
216
原创 【Tensorboard】远程访问Tensorboard
12.24 更新：同时使用多个端口，运行多个tensorboard，可视化不同的训练：1、首先建立多个ssh隧道，设置不同的端口，例如：# 建立远程服务器6006端口到本地16006端口的转发ssh -fgN -L 16006:127.0.0.1:6006 jay@192.168.202.10# 建立远程服务器8008端口到本地16007端口的转发ssh -fgN -L 16007:127.0.0.1:8008 jay@192.168.202.102、在运行tensorboa
2021-09-01 14:44:46
1870
原创 【目标检测】实际项目中数据问题总结
1、收集最符合模型实际使用场景的数据2、标注最明显的特征，比如在交通事故检测中，只标注车损部位和碰撞部位，如果连同整个车身全部标注，在测试时将正常车辆误检（fp）的情况会很多，只标注车损部位该问题得以改善。3、数据量大时，先标注2000张图片训练测试一下，会发现标注上的一些问题，纠正问题后再标注剩下的部分4、标注规则要统一，标注规则的制定是很重要的，也是难点，而且标注规则也是慢慢完善的，先在小数据上找问题，定规则，再进行大规模标注。...
2021-02-07 11:57:18
556
原创 【目标检测】YOLO系列Anchor标签分配、边框回归（坐标预测）方式、LOSS计算方式
1、YOLOv1标签分配：GT的中心落在哪个grid，那个grid对应的两个bbox中与GT的IOU最大的bbox为正样本，其余为负样本，（由于是回归模型，不是分类模型，其解决类别不平衡的方式为各项loss采取不同的权重），即虽然一个grid分配两个bbox，但是只有一个bbox负责预测一个目标（边框和类别），这样导致YOLOv1最终只能预测7*7=49个目标。边框回归方式：直接预测(x, y, w, h)，不是像rcnn系列那样的偏移量的概念，虽然其中心点的预测是相对gird左上角的位置，但是其没
2021-02-05 19:54:50
13883
9
转载 【linux】分卷压缩
linux 分卷压缩命令1.使用tar分卷压缩格式：tar cvzf - filedir | split -d -b 50m - filename样例：tar cvzf - ./picture | split -d -b 10m - picture将./picture打包，并切割为 10m 的包输出的文件为 filename00、filename01、filename02 …假设不加filename，则输出文件为 x00、x01、x02 …假设不加參数 -d。则输出aa、ab、ac …
2020-12-22 20:00:29
5866
原创 【目标检测】IOU、NMS、mAP@0.5
mAP值计算在NMS之后进行的在测试的时候，通过置信度阈值和NMS操作中的IOU阈值的双重过滤来得到最终的检测结果；将这些检测结果与GT计算来得到metric指标，在计算metric的时候又涉及到一个IOU阈值，也就是mAP@0.5中的0.5。一个IOU阈值是为了NMS去重，一个IOU阈值是为了衡量模型的定位性能；在做测试的时候，需要设置两个阈值，分别是置信度阈值和IOU阈值（NMS去重）。AP值计算有3种方式：（1）在VOC2010以前，只需要选取当Recall >= 0, 0.1, 0
2020-12-17 23:06:30
3383
1
原创 【linux】 查看文件夹下的文件个数
查看文件夹下的文件个数(当前目录的文件数，不包含文件夾) ls -l | grep "^-" | wc -l 说明:ls -l 长列表输出该目录下文件信息(注意这里的文件，不同于一般的文件，可能是目录、链接、设备文件等)；grep ^-这里将长列表输出信息过滤一部分，只保留一般文件，如果只保留目录就是^d；wc -l统计输出信息的行数，因为已经过滤得只剩一般文件了，所以统计结果就是一般文件信息的行数，又由于一行信息对应一个文件，所以也就是文件的个数。查看文件夹下的文件个数(当前目.
2020-12-03 16:52:52
465
原创 【opencv】获取视频属性
cap = cv2.VideoCapture(video_name)# 帧率fps = int(round(cap.get(cv2.CAP_PROP_FPS)))# 分辨率-宽度width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))# 分辨率-高度height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))# 总帧数frame_counter = int(cap.get(cv2.CAP_PROP_FRAME_COUNT
2020-12-03 09:18:53
634
转载 【Git】fatal: The remote end hung up unexpectedly
问题描述：Git在推送项目时报错：fatal: The remote end hung up unexpectedly。问题原因：推送的文件太大。解决方法：修改设置git config文件的postBuffer的大小。（设置为500MB）git config --local http.postBuffer 524288000注：--local选项指定这个设置只对当前仓库生效。git config --global http.postBuffer 524288000注：--glob
2020-12-01 17:46:10
141
原创 【deepin】添加永久路由
https://bbs.deepin.org/post/154286#mod=viewthread&tid=154286
2020-12-01 15:29:39
2973
原创 【linux】 同时运行多个命令
使用场景：设置不同的参数来同时运行一个命令，比如，使用预训练模型采集数据，改变不同的input，同时将多个输入源的inference结果保存下来。# -*- coding: utf-8 -*-import osimport subprocessrtsp = './rtsp.txt'cmd = ''with open(rtsp) as f: for line in list(f.readlines())[:6]: source = line.strip() .
2020-12-01 15:13:43
373
原创 【爬虫】谷歌、必应、百度图片爬取用于深度学习
推荐一个很好用的开源项目，用于爬取工程项目中用的图片数据：https://github.com/sczhengyabin/Image-Downloader该项目存在一个问题，有时为了更多的获取工程项目所需的图片数据，需要更换不同的关键词来爬取，但是这样爬下来的数据存在很多重复图片，因此，需要采取一个去重的策略。在此，提供一个去重的方法，就是记录已经爬过的图片的URL，已经爬过的URL直接跳过。修改downloader.py中的download_images函数，记录爬过的URL：def downlo
2020-11-17 19:07:39
506
原创 深度学习数据标注工具
常用的目标检测工具有很多，但是图像分类的标注工具不太常见，调研如下：https://github.com/lzx1413/LabelImgTool运行环境为python2，后续自行开发python3版本http://www.jinglingbiaozhu.com/精灵标注助手CVAT：https://github.com/openvinotoolkit/cvat使用较复杂https://github.com/mingx9527/Data_Label_Toolsgithub标注工具收集项目
2020-11-17 16:09:14
796
原创 【Linux】复制文件夹下的前n个文件
linux复制文件夹中前10个文件ls |head -n 10 |xargs -i cp -r {} /target或find . -maxdepth 1 -type f |head -1000|xargs cp -t "$destdir"linux移动文件夹中前10个文件ls |head -n 10 |xargs -i mv {} /target
2020-11-16 17:05:32
2382
1
转载 【Linux】批量修改文件名
有些文件的要求前缀或后缀要一样，或者批量的将文件重命名。添加前缀：for i in `ls`; do mv -f $i `echo "text_"$i`; done替换后缀：rename 's/\.txt/\.csv/' *实例如下：depuser@TSDEP61:/csdn$ ls1.txt 2.txt 3.txt 4.txt 5.txtdepuser@TSDEP61:/csdn$ for i in `ls`; do mv -f $i `echo "text_"$i`; don
2020-11-13 10:54:40
232
原创 获取图像的尺寸大小(size/shape)
两种不同的方式python 处理图像一般用pillow和opencv两种方式,两种方式返回的图像尺寸宽和高顺序略有不同OpenCVOpenCV返回的是H,W,Cimg = cv2.imread('./temp.jpg')h,w,c = img.shapePillowpillow返回的是W,Himg = Image.open('./temp.jpg')w,h = img.size参考:Get image size (width, height) with Pytho
2020-08-07 10:12:17
5345
原创 目标检测标签（坐标）转换
不同的标注格式目标检测的标签格式有XML，TXT，JSON等；目标检测的坐标格式有：（Xmin，Ymin，Xmax，Ymax），（X，Y，W，H），其中x,y,w,h为归一化后的数值坐标格式转换def convert(size, box): dw = 1./size[0] dh = 1./size[1] x = (box[0] + box[1])/2.0 y = (box[2] + box[3])/2.0 w = box[1] - box[0]
2020-08-07 09:46:25
3049
1
原创 【xrdp】解决远程开发环境不能显示的问题
下载xrdp镜像 启动容器： docker run --runtime=nvidia -v /home:/home -v /mnt/data:/mnt/data -w /home/jay -it -d --name xrdp-jay -h xrdp --shm-size 32G -p 3389:3389 xrdp:jay 注意：不能加–entrypoint参数，否则xrdp起不来 安装remmina客户端 remmina中远程连接：192.168.202.
2020-07-23 17:46:05
1147
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人