yolov3学习笔记-训练自己的单一数据集

yolov-GPU/CPU安装:https://mp.csdn.net/mdeditor/97410700#
labelImg标注工具安装:https://mp.csdn.net/mdeditor/97416966#

训练自己的单一数据集:

  1. 修改labelImg/data/predefined_class.txt文件

由于训练单一的数据集,只需将原文件修改成自己的类:

mark
  1. 使用labelImg进行图像标注
    用labelImg标注生成PASCAL VOC格式的xml标记文件;再将xml标记文件转换为yolo的txt文件:
    可以用python代码实现两种标记格式的转换:

    def convert(size, box):
    dw = 1./size[0]
    dh = 1./size[1]
    x = (box[0] + box[1])/2.0
    y = (box[2] + box[3])/2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)
    
  2. 建立目录格式
    使用PACSAL VOC目录格式:
    建立文件夹层次为 darknet / VOCdevkit / VOC2007 VOC2007
    下面建立两个文件夹:Annotations和JPEGImages
    JPEGImages放所有的训练和测试图片,Annotations放所有的xml标记文件;

  3. 生成训练和测试文件
    执行:python gen_files.py
    import xml.etree.ElementTree as ET
    import pickle
    import os
    from os import listdir, getcwd
    from os.path import join
    import random
    classes=[“ball”,“messi”]
    def clear_hidden_files(path):
    dir_list = os.listdir(path)
    for i in dir_list:
    abspath = os.path.join(os.path.abspath(path), i)
    if os.path.isfile(abspath):
    if i.startswith("._"):
    os.remove(abspath)
    else:
    clear_hidden_files(abspath)
    def convert(size, box):
    dw = 1./size[0]
    dh = 1./size[1]
    x = (box[0] + box[1])/2.0
    y = (box[2] + box[3])/2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = xdw
    w = w
    dw
    y = ydh
    h = h
    dh
    return (x,y,w,h)
    def convert_annotation(image_id):
    in_file = open(‘VOCdevkit/VOC2007/Annotations/%s.xml’ %image_id)
    out_file = open(‘VOCdevkit/VOC2007/labels/%s.txt’ %image_id, ‘w’)
    tree=ET.parse(in_file)
    root = tree.getroot()
    size = root.find(‘size’)
    w = int(size.find(‘width’).text)
    h = int(size.find(‘height’).text)

    	for obj in root.iter('object'):
        	difficult = obj.find('difficult').text
        	cls = obj.find('name').text
        	if cls not in classes or int(difficult) == 1:
           	 	continue
        	cls_id = classes.index(cls)
        	xmlbox = obj.find('bndbox')
        	b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
        	bb = convert((w,h), b)
        	out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
    	in_file.close()
    	out_file.close()
    wd = os.getcwd()
    wd = os.getcwd()
    work_sapce_dir = os.path.join(wd, "VOCdevkit/")
     if not os.path.isdir(work_sapce_dir):
    	os.mkdir(work_sapce_dir)
    work_sapce_dir = os.path.join(work_sapce_dir, "VOC2007/")
    if not os.path.isdir(work_sapce_dir):
    	os.mkdir(work_sapce_dir)
    annotation_dir = os.path.join(work_sapce_dir, "Annotations/")
    if not os.path.isdir(annotation_dir):
        os.mkdir(annotation_dir)
    clear_hidden_files(annotation_dir)
    image_dir = os.path.join(work_sapce_dir, "JPEGImages/")
    if not os.path.isdir(image_dir):
        os.mkdir(image_dir)
    clear_hidden_files(image_dir)
    VOC_file_dir = os.path.join(work_sapce_dir, "ImageSets/")
    if not os.path.isdir(VOC_file_dir):
        os.mkdir(VOC_file_dir)
    VOC_file_dir = os.path.join(VOC_file_dir, "Main/")
     if not os.path.isdir(VOC_file_dir):
        os.mkdir(VOC_file_dir)
    
    train_file = open(os.path.join(wd, "2007_train.txt"), 'w')
    test_file = open(os.path.join(wd, "2007_test.txt"), 'w')
    train_file.close()
    test_file.close()
    VOC_train_file = open(os.path.join(work_sapce_dir,"ImageSets/Main/train.txt"), 'w')
    VOC_test_file = open(os.path.join(work_sapce_dir,"ImageSets/Main/test.txt"), 'w')
    VOC_train_file.close()
    VOC_test_file.close()
    if not os.path.exists('VOCdevkit/VOC2007/labels'):
    	os.makedirs('VOCdevkit/VOC2007/labels')
    train_file = open(os.path.join(wd, "2007_train.txt"), 'a')
    test_file = open(os.path.join(wd, "2007_test.txt"), 'a')
    VOC_train_file = open(os.path.join(work_sapce_dir,"ImageSets/Main/train.txt"), 'a')
    VOC_test_file = open(os.path.join(work_sapce_dir,"ImageSets/Main/test.txt"), 'a')
    list = os.listdir(image_dir) # list image files
    probo = random.randint(1, 100)
    print("Probobility: %d" % probo)
    for i in range(0,len(list)):
    	path = os.path.join(image_dir,list[i])
    		if os.path.isfile(path):
       			image_path = image_dir + list[i]
        		voc_path = list[i]
        		(nameWithoutExtention, extention) = os.path.splitext(os.path.basename(image_path))
        		(voc_nameWithoutExtention, voc_extention) = os.path.splitext(os.path.basename(voc_path))
        		annotation_name = nameWithoutExtention + '.xml'
        		annotation_path = os.path.join(annotation_dir, annotation_name)
    probo = random.randint(1, 100)
    print("Probobility: %d" % probo)
        if(probo < 75):
            if os.path.exists(annotation_path):
                train_file.write(image_path + '\n')
                VOC_train_file.write(voc_nameWithoutExtention + '\n')
                convert_annotation(nameWithoutExtention)
        else:
            if os.path.exists(annotation_path):
                test_file.write(image_path + '\n')
                VOC_test_file.write(voc_nameWithoutExtention + '\n')
                convert_annotation(nameWithoutExtention)
    train_file.close()
    test_file.close()
    VOC_train_file.close()
    VOC_test_file.close()
    

(1)在VOCdevkit / VOC2007目录下可以看到生成了文件夹labels ,同时在darknet下生成了两个文件 2007_train.txt和2007_test.txt。2007_train.txt和2007_test.txt分别给出了训练图片文件和测试图片文 件的列表,含有每个图片的路径和文件名。另外,在VOCdevkit / VOC2007/ImageSets/Main目录下生 成了两个文件test.txt和train.txt,分别给出了训练图片文件和测试图片文件的列表,但只含有每个图片 的文件名(不含路径和扩展名)
(2)最终训练只需要:2007_train.txt,2007_test.txt,labels下的标注文件和 VOCdevkit / VOC2007/JPEGImages下的图像文件;

  1. 修改配置文件
    (1)新建data/voc.names文件 可以复制data/voc.names再根据自己情况的修改;
    (2)新建 cfg/voc.data文件 可以复制cfg/voc.data再根据自己情况的修改;
    (3)新建cfg/yolov3-voc.cfg
    在cfg/yolov3-voc.cfg文件中,三个yolo层和各自前面的conv层的参数需要修改: 三个yolo层都要改:yolo层中的class为类别数,每一个yolo层前的conv层中的filters =(类别+5)* 3
    我的修改为:

    yolo层 classes=1, conv层 filters=18
    
  2. 训练自己的数据集
    (1)在 darknet 目录下载权重文件:

     wget https://pjreddie.com/media/files/darknet53.conv.74 
    

这里的训练使用迁移学习,所以下载的yolo预训练的权重文件(不含全连接层)
(2)训练

	./darknet  detector train cfg/voc-ball.data cfg/yolov3-voc-ball.cfg
darknet53.conv.74

如需要存储训练日志,先在darknet下建立visualization目录,再执行

./darknet detector train cfg/voc-ball.data cfg/yolov3-voc-ball.cfg
darknet53.conv.74 2>1 | tee visualization/train_yolov3_ball.log

到这里为止已完成训练部分,训练需花费几小时(GPU);请耐心等待,我一般晚上走之前训练,第二天早上就训练好了,哈哈哈,可以大大节省时间。

  1. 测试训练出的网络模型

训练好后可以在backup看到权重文件 尝试test前要修改cfg文件,切换到test模式。 可以重新建立一个测试cfg文件, 如yolov3-voc-ball-test.cfg 测试图片:

./darknet detector test cfg/voc-ball.data cfg/yolov3-voc-ball-test.cfg
backup/yolov3-voc-ball_final.weights testfiles/img1.jpg

到此为止可以通过测试,来检测目标物识别的精准度,后期将对yolo模型原理+代码进行解析,敬请期待!

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Yolov5是一个目标检测算法,它采用了和Yolov4一样的Mosaic数据增强方式,该方式由Yolov5团队的成员提出。Mosaic数据增强使用了随机缩放、随机裁剪和随机排布的方式进行拼接,对于小目标的检测效果很不错。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [YOLOv5 学习笔记](https://blog.csdn.net/W1995S/article/details/118114221)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [YOLOv5学习笔记](https://blog.csdn.net/qq_54809548/article/details/125403163)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [YOLOv5 自学笔记(持续更新)](https://blog.csdn.net/Mr_wjjianyan/article/details/128475887)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值