【YOLOv3/YOLOv5/YOLOv6/YOLOv7/YOLOv8】使用shuffle帮助一键自动划分数据集【训练集、验证集（、测试集）】可指定比例、数量

已于 2024-01-17 22:00:15 修改
阅读量720 收藏 14
点赞数 12
文章标签： YOLO python 目标检测
于 2024-01-17 19:09:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyt_820/article/details/135654076
版权
文章详细描述了如何使用Python自动将数据集按比例划分为训练、验证和测试部分，以适应YOLO模型需求。
摘要由CSDN通过智能技术生成

当你兴致勃勃想做目标检测，并且已经使用各种软件（labelme、labelimg等）标好了数据集，现在需要对数据集进行划分，使其满足YOLO模型的要求

你的数据集是这样：

📂 你的数据集
  ├── 📂 images
  │   ├── 📄 image1.jpg
  │   ├── 📄 image2.jpg
  │   └── ...
  ├── 📂 labels
  │   ├── 📄 label1.txt
  │   ├── 📄 label2.txt
  │   └── ...
  └── ...

你想把它随机划分变成这样： 

📂 数据集
  ├── 📂 images
  │   ├── 📂 train
  │   │   ├── 📄 train_image1.jpg
  │   │   ├── 📄 train_image2.jpg
  │   │   └── ...
  │   ├── 📂 val
  │   │   ├── 📄 val_image1.jpg
  │   │   ├── 📄 val_image2.jpg
  │   │   └── ...
  │   └── 📂 test
  │       ├── 📄 test_image1.jpg
  │       ├── 📄 test_image2.jpg
  │       └── ...
  └── 📂 labels
      ├── 📂 train
      │   ├── 📄 train_label1.txt
      │   ├── 📄 train_label2.txt
      │   └── ...
      ├── 📂 val
      │   ├── 📄 val_label1.txt
      │   ├── 📄 val_label2.txt
      │   └── ...
      └── 📂 test
          ├── 📄 test_label1.txt
          ├── 📄 test_label2.txt
          └── ...

就可以尝试使用，我的同学们说很鸡肋，但我觉得很方便的，以下python代码自动实现划分啦！

"/path/to/your/images" 你的数据集中存放图像的路径

"/path/to/your/labels" 你的数据集中存放标签的路径

"/path/to/your/output/folder" 最后输出的文件夹的名称，自定义

①随机划分6:2:2  训练集6、验证集2、测试集2-----6:2:2

将 "/path/to/your/images", "/path/to/your/labels", 和 "/path/to/your/output/folder" 替换为实际的文件夹路径。

import os
import shutil
import random

def split_dataset(input_image_folder, input_annotation_folder, output_folder, validation_ratio=0.2, test_ratio=0.2):
    # 获取所有图像文件
    images = [file for file in os.listdir(input_image_folder) if file.endswith(('.jpg', '.JPG'))]

    # 随机划分数据集
    random.shuffle(images)
    total_images = len(images)
    validation_count = int(validation_ratio * total_images)
    test_count = int(test_ratio * total_images)

    val_images = images[:validation_count]
    test_images = images[validation_count: validation_count + test_count]
    train_images = images[validation_count + test_count:]

    # 创建输出文件夹
    os.makedirs(os.path.join(output_folder, 'images', 'train'), exist_ok=True)
    os.makedirs(os.path.join(output_folder, 'images', 'val'), exist_ok=True)
    os.makedirs(os.path.join(output_folder, 'images', 'test'), exist_ok=True)
    os.makedirs(os.path.join(output_folder, 'labels', 'train'), exist_ok=True)
    os.makedirs(os.path.join(output_folder, 'labels', 'val'), exist_ok=True)
    os.makedirs(os.path.join(output_folder, 'labels', 'test'), exist_ok=True)

    # 移动图像和标注文件到相应的文件夹
    for img in train_images:
        image_path = os.path.join(input_image_folder, img)
        shutil.copy(image_path, os.path.join(output_folder, 'images', 'train', img))
        shutil.copy(os.path.join(input_annotation_folder, os.path.splitext(img)[0] + '.txt'),
        os.path.join(output_folder, 'labels', 'train', os.path.splitext(img)[0] + '.txt'))

    for img in val_images:
        image_path = os.path.join(input_image_folder, img)
        shutil.copy(image_path, os.path.join(output_folder, 'images', 'val', img))
        shutil.copy(os.path.join(input_annotation_folder, os.path.splitext(img)[0] + '.txt'),
        os.path.join(output_folder, 'labels', 'val', os.path.splitext(img)[0] + '.txt'))

    for img in test_images:
        image_path = os.path.join(input_image_folder, img)
        shutil.copy(image_path, os.path.join(output_folder, 'images', 'test', img))
        shutil.copy(os.path.join(input_annotation_folder, os.path.splitext(img)[0] + '.txt'),
        os.path.join(output_folder, 'labels', 'test', os.path.splitext(img)[0] + '.txt'))

# 指定包含原始图像的文件夹路径
input_image_folder = "/path/to/your/images"

# 指定包含原始标注的文件夹路径
input_annotation_folder = "/path/to/your/labels"

# 指定用于存储划分后数据集的文件夹路径
output_dataset_folder = "/path/to/your/output/folder"

# 指定验证集比例（默认为0.2，即20%的数据用于验证）
validation_ratio = 0.2

# 指定测试集比例（默认为0.2，即20%的数据用于测试）
test_ratio = 0.2

# 调用划分数据集的函数
split_dataset(input_image_folder, input_annotation_folder, output_dataset_folder, validation_ratio, test_ratio)

 如果想要改变数据比例，如8:1:1，只需将以下两个参数修改即可：validation_ratio = 0.1，test_ratio = 0.1

②随机划分8:2 训练集8、验证集2-----8:2

将 "/path/to/your/images", "/path/to/your/labels", 和 "/path/to/your/output/folder" 替换为实际的文件夹路径。

import os
import shutil
import random

def split_dataset(input_image_folder, input_annotation_folder, output_folder, validation_ratio=0.2):
    # 获取所有图像文件
    images = [file for file in os.listdir(input_image_folder) if file.endswith(('.jpg', '.JPG'))]

    # 随机划分数据集
    random.shuffle(images)
    total_images = len(images)
    validation_count = int(validation_ratio * total_images)

    val_images = images[:validation_count]
    train_images = images[validation_count:]

    # 创建输出文件夹
    os.makedirs(os.path.join(output_folder, 'images', 'train'), exist_ok=True)
    os.makedirs(os.path.join(output_folder, 'images', 'val'), exist_ok=True)
    os.makedirs(os.path.join(output_folder, 'labels', 'train'), exist_ok=True)
    os.makedirs(os.path.join(output_folder, 'labels', 'val'), exist_ok=True)

    # 移动图像和标注文件到相应的文件夹
    for img in train_images:
        image_path = os.path.join(input_image_folder, img)
        shutil.copy(image_path, os.path.join(output_folder, 'images', 'train', img))
        shutil.copy(os.path.join(input_annotation_folder, os.path.splitext(img)[0] + '.txt'),
        os.path.join(output_folder, 'labels', 'train', os.path.splitext(img)[0] + '.txt'))

    for img in val_images:
        image_path = os.path.join(input_image_folder, img)
        shutil.copy(image_path, os.path.join(output_folder, 'images', 'val', img))
        shutil.copy(os.path.join(input_annotation_folder, os.path.splitext(img)[0] + '.txt'),
        os.path.join(output_folder, 'labels', 'val', os.path.splitext(img)[0] + '.txt'))

# 指定包含原始图像的文件夹路径
input_image_folder = "/path/to/your/images"

# 指定包含原始标注的文件夹路径
input_annotation_folder = "/path/to/your/labels"

# 指定用于存储划分后数据集的文件夹路径
output_dataset_folder = "/path/to/your/output/folder"

# 指定验证集比例（默认为0.2，即20%的数据用于验证）
validation_ratio = 0.2

# 调用划分数据集的函数
split_dataset(input_image_folder, input_annotation_folder, output_dataset_folder, validation_ratio)

③随机抽取指定数据量的训练集和验证集，剩下均为测试集

这里用600和200为训练集和验证集，剩下的全部进入测试集为例，记得将 "/path/to/your/images", "/path/to/your/labels", 和 "/path/to/your/output/folder" 替换为实际的文件夹路径。 

import os
import shutil
import random

def split_dataset(input_image_folder, input_annotation_folder, output_folder, train_size=1600, validation_size=400):
    # 获取所有图像文件
    images = [file for file in os.listdir(input_image_folder) if file.endswith(('.jpg', '.JPG'))]

    # 随机划分数据集
    random.shuffle(images)

    # 确保训练集和验证集的大小不超过总数
    train_size = min(train_size, len(images) - validation_size)
    validation_count = min(validation_size, len(images) - train_size)

    # 划分数据集
    train_images = images[:train_size]
    validation_images = images[train_size: train_size + validation_count]
    test_images = images[train_size + validation_count:]

    # 创建输出文件夹
    os.makedirs(os.path.join(output_folder, 'images', 'train'), exist_ok=True)
    os.makedirs(os.path.join(output_folder, 'images', 'val'), exist_ok=True)
    os.makedirs(os.path.join(output_folder, 'images', 'test'), exist_ok=True)
    os.makedirs(os.path.join(output_folder, 'labels', 'train'), exist_ok=True)
    os.makedirs(os.path.join(output_folder, 'labels', 'val'), exist_ok=True)
    os.makedirs(os.path.join(output_folder, 'labels', 'test'), exist_ok=True)

    # 移动图像和标注文件到相应的文件夹
    for img in train_images:
        image_path = os.path.join(input_image_folder, img)
        shutil.copy(image_path, os.path.join(output_folder, 'images', 'train', img))
        shutil.copy(os.path.join(input_annotation_folder, os.path.splitext(img)[0] + '.txt'),
        os.path.join(output_folder, 'labels', 'train', os.path.splitext(img)[0] + '.txt'))

    for img in validation_images:
        image_path = os.path.join(input_image_folder, img)
        shutil.copy(image_path, os.path.join(output_folder, 'images', 'val', img))
        shutil.copy(os.path.join(input_annotation_folder, os.path.splitext(img)[0] + '.txt'),
        os.path.join(output_folder, 'labels', 'val', os.path.splitext(img)[0] + '.txt'))

    for img in test_images:
        image_path = os.path.join(input_image_folder, img)
        shutil.copy(image_path, os.path.join(output_folder, 'images', 'test', img))
        shutil.copy(os.path.join(input_annotation_folder, os.path.splitext(img)[0] + '.txt'),
        os.path.join(output_folder, 'labels', 'test', os.path.splitext(img)[0] + '.txt'))

# 指定包含原始图像的文件夹路径
input_image_folder = "/path/to/your/images"

# 指定包含原始标注的文件夹路径
input_annotation_folder = "/path/to/your/labels"

# 指定用于存储划分后数据集的文件夹路径
output_dataset_folder = "/path/to/your/output/folder"

# 指定训练集大小和验证集大小
train_size = 600
validation_size = 200

# 调用划分数据集的函数
split_dataset(input_image_folder, input_annotation_folder, output_dataset_folder, train_size, validation_size)

最后输出的新文件夹“/path/to/your/output/folder” 就是符合YOLO分类需要的形式了~

记得将其放在不同yolo模型指定的目录下~

zyt_820
关注
手把手带你 YOLOv5/v7 添加注意力机制（并附上30多种顶会Attention原理图）2024/2/5更新
YOLOv8项目贡献者
04-27 18万+
YOLOv5/v7 添加注意力机制教程 2023/6/15更新🍀🍀🍀
【YOLOv10】使用yolov10训练自己的数据集/验证 /推理 /导出模型/ONNX模型的使用
静谧、淡雅
05-29 2224
使用yolov10训练自己的数据集/验证 /推理 /导出模型/ONNX模型的使用
深度学习自动划分数据集.zip
12-10
在PyCharm上自动划分深度学习训练的数据集（将你的原目录的数据集图片等 分成train和val集，并复制到你创建的目标文件夹）。只需要创建一个目标文件夹，程序会自动按照你设置的train和val的比例进行划分（会自动创建train和val文件夹）。
sklearn自动划分数据集
weixin_41529093的博客
09-03 192
仅作为记录，大佬请跳过。 文章目录直接上代码展示参考 直接上代码 x = np.random.randint(1,100,20).reshape((10,2)) from sklearn.model_selection import train_test_split x_train,x_test = train_test_split(x,train_size=0.8) print(x_train,'\n\n',x_test) 展示 参考 感谢大佬博主文章：传送门 ...
YOLOv8 + SAM实现自动标注分割数据集【附完整源码+步骤详解】
最新发布
阿旭的博客
06-17 2019
YOLOv8 + SAM实现自动标注分割数据集【附完整源码+步骤详解】
数据集自动划分及格式转换
图灵追幕者博客录
06-10 789
目标检测数据集标签转换。
如何迅速划分数据集（python实现）
flerken1217的博客
10-21 659
这些天在做数据集的划分，想这除了自己人力随机挑选以外还有没有更便捷的方式，于是诞生了这篇文章。 这篇文章的思路是： 1.随机在文件夹中挑选按照划分好的数量的比例的图片，将这些图片【移动】到新的文件夹中 2.比对新的文件夹中的图片的名称和旧文件夹中标签（yolov5的格式是txt）的名称，如果在新文件夹中的图片的名称与旧文件夹中txt的名称一致的话，就把txt移动到新的文件夹中 于是，会有两个文件的代码，先执行随机挑选，再执行移动标签 随机挑选的代码： import os import ra
YOLOv8数据集---如何划分数据集
qq_52928883的博客
02-15 1790
yolov8模型 -- 如何划分数据集
简单三步 用YOLOv5/v7快速训练自己的数据集（新增转换划分脚本）
热门推荐
YOLOv8项目贡献者
04-28 2万+
Yolov5训练自己的数据集教程
YOLOv8 全面解析：网络结构/环境搭建/数据集获取/训练/推理/验证/导出/部署
走向CTO的路上...
06-17 699
负责提取输入图像的特征，通常采用 CSPDarknet53 等结构。负责将主干网络提取的多尺度特征进行融合，通常采用 PANet 等结构。负责预测目标框和类别概率，通常采用三层预测结构。推荐使用 Ubuntu 或 Windows 系统。推荐使用 Python 3.7 或以上版本。推荐使用 PyTorch 1.8 或以上版本。推荐使用 NVIDIA GPU 和 CUDA Toolkit，以获得更好的性能。YOLOv8 训练使用 COCO 或 VOC 等数据集。
YOLOv8的训练、验证、预测及导出[目标检测实践篇]
ice
05-05 1万+
主要介绍如何使用YOLOv8训练自己的数据集，并进行验证、预测及导出，采用代码和指令的两种方式。
【yolov5】yolov5训练自己的数据集全流程----包含本人设计的快速数据处理脚本
sazass的博客
02-10 1480
labelImg自动生成的xml文件，需要转换成yolo格式的txt标签:labelImg自动生成的xml内容介绍：然后yolo的标签txt的格式：每一行描述一个检测框信息，总共5个数，由空格隔开。第一个数字代表检测目标的类别id第二个数字至第五个数字分别表示检测框的 x_center, y_center, width, height。
全流程打通！YOLOV5标注&训练&部署：Windows/Linux/Jetson Nano
CV_Autobot的博客
11-30 1万+
作者| msnh2012 编辑|极市平台点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群导读本文将分windows和linux, pc和jetson nx平台分别给大家讲解如何使用Msnhnet部署yolov5.准备工作和数据标注1. 安装配置Cuda, Cudnn, Pytorch该部分不进行详细介绍, 具体过程请百度.此...
YOLOv7——目标检测数据集划分篇
weixin_45819759的博客
06-14 4533
将所有数据集图片放入JPEGImages文件夹中，所有的图片对应的xml文件放入Annotations中，ImageSets文件夹中创建Main文件夹，暂时Main文件夹为空。datasets————Annotations # 存放图片对应的xml文件，与JPEGImages图片一一对应————Main # 存放train.txt和val.txt文件————JPEGImages # 存放所有图片split.pyMain。
YOLO系列之数据集划分
surpolo的博客
04-11 1493
YOLO系列之数据集划分（以YOLOv8为例）
YOLO数据集划分（测试集和验证集）
weixin_47520540的博客
03-08 1074
YOLO 数据集划分
YOLov5 分割数据集的制作+划分（详细过程+代码）
weixin_43608857的博客
09-29 2916
我们先将第一个数据集复制2275个，# 设置源文件和目标文件夹路径# 循环从2到2275# 创建目标文件名# 复制源文件到目标文件修改相应的路径就能生成下面的数据集打开生成的数据集可以发现：由于是直接复制第一张图片生成的json ,所以，其中的字典值imagePath 和imageData 需要做出相应的替换。
YOLO4源码理解（3）shuffle()函数的使用
justwaityou1314的博客
04-25 435
凯哥英语视频 shuffle()函数的使用–在代码第223行（代码在最底部） shuffle（）函数是打乱序列里面的元素，并随机排列的 import random a = [i for i in range(20)] print(a) random.shuffle(a) print(a) [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19] [6, 5, 3, 8, 2, 17, 15, 10, 1, 14, 4.
最新改进YOLOv8系列：YOLOv8改进ShuffleNetV2，有效涨点！
weixin_51692073的博客
09-04 6228
主干网络为ShuffleNetV2, 其主要结构Inverted_residual_unit的组成单元如下图 c、d所示:ShuffleNetV1结构的问题：如上图(a)(b)在ShuffleNetv1的模块中，大量使用了1x1组卷积，这违背了G2原则，另外v1采用了类似ResNet中的瓶颈层（bottleneck layer），输入和输出通道数不同，这违背了G1原则。同时使用过多的组，也违背了G3原则。短路连接中存在大量的元素级Add运算，这违背了G4原则。
yolov5划分数据集
08-17
对于YOLOv5，划分数据集的一种常见方法是按照一定比例将数据集分为训练集、验证集和测试集。以下是一个简单的示例代码，可以帮助你实现数据集的划分： ```python import os import random import shutil def split_dataset(dataset_dir, train_ratio=0.8, val_ratio=0.1, test_ratio=0.1): # 创建保存划分后数据集的目录 train_dir = os.path.join(dataset_dir, 'train') val_dir = os.path.join(dataset_dir, 'val') test_dir = os.path.join(dataset_dir, 'test') os.makedirs(train_dir, exist_ok=True) os.makedirs(val_dir, exist_ok=True) os.makedirs(test_dir, exist_ok=True) # 获取所有图像文件的路径 image_files = [] for root, dirs, files in os.walk(dataset_dir): for file in files: if file.endswith('.jpg') or file.endswith('.jpeg') or file.endswith('.png'): image_files.append(os.path.join(root, file)) # 随机打乱图像文件列表 random.shuffle(image_files) # 计算划分后的样本数量 total_samples = len(image_files) train_samples = int(total_samples * train_ratio) val_samples = int(total_samples * val_ratio) test_samples = total_samples - train_samples - val_samples # 划分数据集并移动文件到相应目录 for i, file in enumerate(image_files): if i < train_samples: shutil.copy(file, train_dir) elif i < train_samples + val_samples: shutil.copy(file, val_dir) else: shutil.copy(file, test_dir) print(f"Successfully split the dataset into {train_samples} train samples, {val_samples} validation samples, and {test_samples} test samples.") # 调用划分数据集函数 dataset_dir = '/path/to/dataset' # 数据集所在目录 split_dataset(dataset_dir, train_ratio=0.8, val_ratio=0.1, test_ratio=0.1) ``` 在上述示例代码中，你需要将`dataset_dir`替换为你自己的数据集所在目录。可以根据需要调整训练集、验证集和测试集的比例。划分后的数据集将保存在相应的
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值