图像分割和检测

🌞欢迎来到深度学习的世界 
🌈博客主页：卿云阁

💌欢迎关注🎉点赞👍收藏⭐️留言📝

🙏作者水平很有限，如果发现错误，请留言轰炸哦！万分感谢！

---

目标检测和图像分割

 

图像分割可以分成两种

1. 语义分割
2. 实例分割

 

 

 

---

数据集的介绍

训练集和测试集中分别有mask标注文件via_region_data.json

balloon数据集：
地址：https://github.com/matterport/Mask_RCNN/releases/download/v2.1/balloon_dataset.zip

# 查看数据集文件夹树状结构
!tree balloon/

balloon/
├── train
│   ├── 10464445726_6f1e3bbe6a_k.jpg
│   ├── 12037308314_e16fb3a0f7_k.jpg
│   ├── 120853323_d4788431b9_b.jpg
.........................
│   ├── 8758393087_76fcd56bd3_k.jpg
│   ├── 9210739293_2b0e0d991e_k.jpg
│   ├── 9330497995_4cf0438cb6_k.jpg
│   ├── train.json
│   └── via_region_data.json
└── val
    ├── 14898532020_ba6199dd22_k.jpg
    ├── 16335852991_f55de7958d_k.jpg
    ├── 24631331976_defa3bb61f_k.jpg
.........................
    ├── 5603212091_2dfe16ea72_b.jpg
    ├── 6810773040_3d81036d05_k.jpg
    ├── 8053085540_a72bd21a64_k.jpg
    ├── val.json
    └── via_region_data.json

2 directories, 78 files

via_region_data.json中标注格式如下：

标注文件时是 JSON 格式的，其中所有键（key）组成了一张图片的所有标注。

{'base64_img_data': '',
 'file_attributes': {},
 'filename': '34020010494_e5cb88e1c4_k.jpg',
 'fileref': '',
 'regions': {'0': {'region_attributes': {},
   'shape_attributes': {'all_points_x': [1020,
     1000,
     994,
     1003,
    ...
     1104,
     1061,
     1032,
     1020],
    'all_points_y': [963,
     899,
     841,
     787,
    ...
     1084,
     1037,
     989,
     963],
    'name': 'polygon'}}},
 'size': 1115004}

---

视频转图片

 

import cv2
import os

# 定义需要处理的视频文件路径
video_path = './video.mp4'

# 定义输出图片的文件夹路径
output_folder = './output/folder'

# 创建输出文件夹
if not os.path.exists(output_folder):
    os.makedirs(output_folder)

# 读取视频文件
cap = cv2.VideoCapture(video_path)

# 定义计数器
count = 0

# 循环读取视频帧
while(cap.isOpened()):
    # 读取视频帧
    ret, frame = cap.read()
    # 判断是否读取成功
    if ret == True:
        # 定义输出文件名
        output_filename = os.path.join(output_folder, '{:04d}.jpg'.format(count))
        # 保存视频帧为图片
        cv2.imwrite(output_filename, frame)
        # 计数器加1
        count += 1
    else:
        break

# 释放资源
cap.release()

print('Total frames extracted: {}'.format(count))

数据清洗（手动删除不符合要求的图片）

 数据增强（可以只对图像进行大小变换）

import os
from PIL import Image

# 定义输入文件夹和输出文件夹路径,bianda,bianxiao,zong
input_folder = "./output/folder"
output_folder_zoomin = "./output1/zong"
output_folder_zoomout = "./output1/zong"

# 创建输出文件夹
os.makedirs(output_folder_zoomin, exist_ok=True)
os.makedirs(output_folder_zoomout, exist_ok=True)

# 遍历输入文件夹中所有图片文件
for filename in os.listdir(input_folder):
    if not filename.endswith(".jpg"):
        continue  # 如果不是图片文件，则跳过

    # 打开图片文件
    filepath = os.path.join(input_folder, filename)
    with Image.open(filepath) as im:

        # 对图片进行放大和缩小的图像几何变换
        zoomin_im = im.resize((im.width * 2, im.height * 2))
        zoomout_im = im.resize((im.width // 2, im.height // 2))

        # 将处理后的图片保存到不同的输出文件夹中
        zoomin_filepath = os.path.join(output_folder_zoomin, filename)
        zoomout_filepath = os.path.join(output_folder_zoomout, filename)
        zoomin_im.save(zoomin_filepath)
        zoomout_im.save(zoomout_filepath)

 之后把原图和放大缩小后的图放到总文件里

import os
import shutil

# 定义原始文件夹列表和目标文件夹
source_folders = ['./output/folder', './output1/bianda', './output1/bianxiao']
destination_folder = './output1/zong'

# 如果目标文件夹不存在，则创建目标文件夹
if not os.path.exists(destination_folder):
    os.makedirs(destination_folder)

# 遍历原始文件夹列表，将所有图片复制到目标文件夹中
for folder in source_folders:
    for filename in os.listdir(folder):
        if filename.endswith('.jpg') or filename.endswith('.png'): # 只复制图片文件
            src = os.path.join(folder, filename)
            dst = os.path.join(destination_folder, filename)
            shutil.copy(src, dst)

统一变换为要求的像素、格式

#假设把png格式变成jpg格式
from PIL import Image
import os

# 输入和输出文件夹路径
input_dir = './output1/zong'
output_dir = './output1/zong1'

# 确保输出文件夹存在
if not os.path.exists(output_dir):
    os.makedirs(output_dir)

# 遍历输入文件夹中的所有图片
for file_name in os.listdir(input_dir):
    # 确保文件是PNG格式
    if file_name.endswith('.jpg'):
        # 构造输入和输出文件的完整路径
        input_path = os.path.join(input_dir, file_name)
        output_path = os.path.join(output_dir, os.path.splitext(file_name)[0] + '.jpg')

        # 打开图片，调整像素和格式，并保存到输出文件夹
        with Image.open(input_path) as im:
            im = im.convert('RGB')  # 转换为RGB格式
            im = im.resize((128, 128))  # 调整大小
            im.save(output_path, 'JPEG')

重新命名

import os
import shutil

source_dir = './output1/zong1'
dest_dir = './output1/zong3'
count = 1

# 获取所有文件名
files = os.listdir(source_dir)

for file in files:
    # 分离文件名和扩展名
    filename, ext = os.path.splitext(file)
    # 格式化文件名
    new_filename = '{:04d}{}'.format(count, ext)
    # 复制文件并重命名
    shutil.copy(os.path.join(source_dir, file), os.path.join(dest_dir, new_filename))
    count += 1

打标签

 labelImg下载

pip install labelme==3.16.2

  安装完成后，在虚拟环境中输入如下命令启动labelme

 

 点击左侧的“Open Dir”按钮，打开装有需要标注的图像的文件夹，如下图中右下角所示

关于如何标注，读者可在软件中自行体验使用。需要注意的是，每标注完一张切片，建议读者将生成的json文件保存到和原始图像同一文件夹下，如下图所示。自动保存如果我们需要快速标注数据集，可以在view/atuo save mode选择自动保存，这样按下一张就不会跳出是否保存的选择框了。 

 

 

将json数据转换成图像数据

首先创建两个文件夹，一个名为“json”,用来存放上一步生成的json文件；一个名为“label_json”,用来存放生成的图像数据。将原图像文件夹下的json文件全部移动到json文件夹下。（这一步必须做，否则后面可能会失败。）

 

 

#将该路径下（D:\data\fenge\images）的所有json文件全部移动到D:\data\fenge\data\json文件夹下（python）
import os
import shutil

# 源路径
source_path = r"D:\data\fenge\images"

# 目标路径
destination_path = r"D:\data\fenge\data\json"

# 获取源路径下所有扩展名为json的文件名
json_files = [f for f in os.listdir(source_path) if f.endswith('.json')]

# 遍历所有json文件并将它们移动到目标路径下的json文件夹中
for file_name in json_files:
    source_file = os.path.join(source_path, file_name)
    destination_file = os.path.join(destination_path, file_name)
    shutil.move(source_file, destination_file)

将原有的json_to_dataset.py文件中代码替换为以下内容（或者重新建立该文件）：

，将labelme_json_to_dataset.exe这一可执行文件复制到刚才新建的label_json文件夹下。

 

第一步、先看看labelme_json_to_dataset.py被我改成了什么样子（注意，注意，注意，将labelme_json_to_dataset.py原始的备份一下，防止你改嗝屁了）直接上代码，（你需要做的，复制，粘贴到你的labelme_json_to_dataset.py文件里边，哈哈哈，方便把）

'''
修改后的json_to_dataset文件，直接复制替换你自己原始的json_to_dataset
'''
import argparse
import base64
import json
import os
import os.path as osp
 
import imgviz
import PIL.Image
 
from labelme.logger import logger
from labelme import utils
 
 
def main():
    logger.warning(
        "This script is aimed to demonstrate how to convert the "
        "JSON file to a single image dataset."
    )
    logger.warning(
        "It won't handle multiple JSON files to generate a "
        "real-use dataset."
    )
 
    parser = argparse.ArgumentParser()
    parser.add_argument("json_file")
    parser.add_argument("-o", "--out", default=None)
    args = parser.parse_args()
 
    json_file = args.json_file
    print(osp.dirname(json_file))
 
    if osp.isdir(osp.join(osp.dirname(json_file),'json_data')) is False:
        os.mkdir(osp.join(osp.dirname(json_file),'json_data'))
    else:
        print("文件已存在")
    if args.out is None:
        out_dir = osp.basename(json_file).replace(".", "_")
        out_dir1 = osp.join(osp.dirname(json_file), 'json_data')
        out_dir = osp.join(out_dir1, out_dir)
        print(out_dir)
        print("#"*10)
    else:
        out_dir = args.out
    if not osp.exists(out_dir):
        os.mkdir(out_dir)
 
    data = json.load(open(json_file))
    imageData = data.get("imageData")
 
    if not imageData:
        imagePath = os.path.join(os.path.dirname(json_file), data["imagePath"])
        with open(imagePath, "rb") as f:
            imageData = f.read()
            imageData = base64.b64encode(imageData).decode("utf-8")
    img = utils.img_b64_to_arr(imageData)
 
    label_name_to_value = {"_background_": 0}
    for shape in sorted(data["shapes"], key=lambda x: x["label"]):
        label_name = shape["label"]
        if label_name in label_name_to_value:
            label_value = label_name_to_value[label_name]
        else:
            label_value = len(label_name_to_value)
            label_name_to_value[label_name] = label_value
    lbl, _ = utils.shapes_to_label(
        img.shape, data["shapes"], label_name_to_value
    )
 
    label_names = [None] * (max(label_name_to_value.values()) + 1)
    for name, value in label_name_to_value.items():
        label_names[value] = name
 
    lbl_viz = imgviz.label2rgb(
        lbl, imgviz.asgray(img), label_names=label_names, loc="rb"
    )
 
    PIL.Image.fromarray(img).save(osp.join(out_dir, "img.png"))
    utils.lblsave(osp.join(out_dir, "label.png"), lbl)
    PIL.Image.fromarray(lbl_viz).save(osp.join(out_dir, "label_viz.png"))
 
    with open(osp.join(out_dir, "label_names.txt"), "w") as f:
        for lbl_name in label_names:
            f.write(lbl_name + "\n")
 
    logger.info("Saved to: {}".format(out_dir))
 
 
if __name__ == "__main__":
    main()

嗯·····接下来自己建一个python工程，把下便代码复制进去，接下来你需要做就是把这个路径改成你的路径

'''
将label中标注的json文件，转化为可用于分割训练的标签二值化黑白png图片
'''
import os
import cv2
import numpy as np
import shutil
import glob
 
# def json_png():  第一次转换用到
path_json = r'E:\pic3\json'  # 这里是指.json文件所在文件夹的路径
                             # 批量转换，修改此路径
                             # 此路径为，json文件所在路径
# def extract_png():  第二次转换用到
path_json_to_data = os.path.join(path_json,"json_data")  # json文件夹所在位置
path_save_png = os.path.join(path_json,"json_png")  # 将标签图从json文件中批量取出后指定保存的文件目录
path_save_png_binary = os.path.join(path_json,"json_png_binary")       #二至图像最终保存的路径
def pre_treatment():
    '''
    创建三个文件夹用于存储
    json_data用于存储json转换img.png     label.png    label_names.txt   label_viz.png的文件夹
    json_png用于存储从json_data提取出来的label。png（最终存储名字与json文件对应）
    json_png_binary 用于存储最终转换后的8位的单通道黑白图像
    :return:
    '''
    if os.path.isdir(os.path.join(path_json,"json_data")) is False:
        os.mkdir(os.path.join(path_json,"json_data"))
    else:
        print('文件已存在')
    if os.path.isdir(os.path.join(path_json,"json_png")) is False:
        os.mkdir(os.path.join(path_json,"json_png"))
    else:
        print('文件已存在')
    if os.path.isdir(os.path.join(path_json,"json_png_binary")) is False:
        os.mkdir(os.path.join(path_json,"json_png_binary"))
    else:
        print('文件已存在')
 
def json_png():
    '''
    批量将json转换为img.png     label.png    label_names.txt   label_viz.png
    并存储至当前文件夹下的json_date文件夹中
    :return: 无
    '''
    json_file = glob.glob(os.path.join(path_json, "*.json"))
    os.system("activate labelme")     #激活labelme环境（根据自己设置的修改）
    for file in json_file:
        os.system("labelme_json_to_dataset.exe %s" % (file))  #调用labelme，自带的程序进行批量转换
                                                              #labelme中\.conda\envs\labelme\Lib\site-packages\labelme\cli中的json_to_dataset.py被修改过
                                                            # 具体修改见json_to_dataset.py
def extract_png():
    '''
    将标签图从json文件中批量取出
    :return:
    '''
    for eachfile in os.listdir(path_json_to_data):
        path1 = os.path.join(path_json_to_data, eachfile)  # 获取单个json文件夹的目录
        if os.path.isdir(path1):                           #判断path1路径是否存在
            if os.path.exists(path1 + '/label.png'):       #判断path1路径下label.png是否存在
                path1 = os.path.join(path1, 'label.png')  # 获取PNG所在的路径，准备等待复制
                path2 = os.path.join(path_save_png, (eachfile.split('_')[0] + '.png'))  # 将png复制到path2路径下的文件夹中去
                shutil.copy(path1, path2)                 #将path1文件复制到path2
                print(eachfile + ' successfully moved')
 
def png_to_binary():
    '''
    由于数据集是做二分类分割，所以，需要将ground_truth转换为8位的单通道黑白图像，才能作为训练时的label使用。
    将提取出来的png转换为8位的单通道黑白图像
    '''
    for im in os.listdir(path_save_png):
        img = cv2.imread(os.path.join(path_save_png, im))
        b, g, r = cv2.split(img)
        r[np.where(r != 0)] = 255
        cv2.imwrite(os.path.join(path_save_png_binary, im), r)
 
def process():
    pre_treatment()    #预处理，创建存储所需的相应文件夹
    json_png()         #调用labelme的json转换png程序
    extract_png()      #从转换的数据中提取png图像
    png_to_binary()    #将png转换为8位的单通道黑白图像，用于分割训练
 
 
if __name__ == "__main__":
    process()

 

---

UNet网络进行训练