UNetMultiLane 多车道线、车道线类型识别【训练+部署】

已于 2024-07-04 14:38:02 修改
阅读量1.5k 收藏 12
点赞数 9
文章标签： python
于 2024-06-11 10:34:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangqian_1/article/details/139591990
版权

  基于UNet 分割模型增加了检测头来识别车道线的类型（单实线、双黄线等10种），同时可以识别出"所在车道"和"车道线类型"。

训练代码【训练练手代码】

1 数据说明

  基于开源数据集 VIL100。其中数据标注了所在的六个车道的车道线和车道线的类型。

  8条车道线（六个车道），对应的顺序是：7,5,3,1,2,4,6,8。其中1,2对应的自车所在的车道，从左往右标记。

  车道线的类别（10个类别）：单条白色实线、单条白色虚线、单条黄色实线、单条黄色虚线、双条白色实线、双条黄色实线、双条黄色虚线、双条白色实虚线、双条白色黄色实线、双条白色虚实线。

说明示例：

train.txt

/JPEGImages/0_Road001_Trim003_frames/00045.jpg /Annotations/0_Road001_Trim003_frames/00045.png 0 0 0 1 1 1 1 1 0 0 0 1 2 10 2 1


标签说明： 
/JPEGImages/0_Road001_Trim003_frames/00045.jpg 图片 

/Annotations/0_Road001_Trim003_frames/00045.png 分割标签（png的p模式存储的标签）

0 0 0 1 1 1 1 1 0 0 0 1 2 10 2 1 共十六个值，前8个是对应的车道（8条车道线，对应的顺序是7,5,3,1,2,4,6,8），后8个值是线的类别（10个类别）

0 0 0 1 1 1 1 1（共8条车道线，左起前三条000无车道线，11111有到车道）

0 0 0 1 2 10 2 1（每条车道线对应的类型，左起前三条000无车道线，1 2 10 2 1分别对应的车道线类型）

00045.jpg 图像
在这里插入图片描述
00045.png 分割标签
在这里插入图片描述

2 模型结构

  基于UNet 分割模型增加了检测头来识别车道线的类型（单实线、双黄线等10种），可以识别出"所在车道"和"车道线类型"。
在这里插入图片描述

  分割输出头9个通道，1(没有车道线)+8个条车道；车道线类型输出头8x11，8条车道是11种（1+10）的哪种线型。

3 分割效果

在这里插入图片描述
在这里插入图片描述

4 部署参考

onnx、tensorRT、RKNN、Horzion 部署

rk3588板端部署参考C++代码

RK3568笔记五十七：基于UNetMultiLane的多车道线等识别部署
08-26 249
若该文为原创文章，转载请注明原文出处。此篇记录在正点原子的ATK-DLRK3568上复现山水无移大佬的UNetMultiLane 多车道线、车道线类型识别。数据是基于开源数据集 VIL100。其中数据标注了所在的六个车道的车道线和车道线的类型。8条车道线（六个车道），对应的顺序是：7,5,3,1,2,4,6,8。其中1,2对应的自车所在的车道，从左往右标记。
【车道线检测论文阅读笔记——经典论文粗读汇总】
selami的博客
01-05 4886
自动驾驶领域（主要是车道线检测）的经典论文粗读和笔记整理
完成版LaneNet_LaneNet实现_车道线检测_车道线_segnet_
09-29
基于SegNet实现了车道线的识别。里面包含已经训练好的模型。
unet模型在车道线检测上的应用【代码+数据集+python环境+GUI系统】
最新发布
qz1992的专栏
03-12 874
实例级标注：对每帧中的所有车道线提供实例级标注，将每帧中所有车道线的中心点坐标存储在 json 文件中，每条车道线被存储为一组。相对位置标注：在每一帧中，标注了车道线与自身车辆的相对位置，用 2i 表示车辆右侧的第 i 条车道线，2i - 1 表示车辆左侧的第 i 条车道线，在该数据集中 i = 1, 2, 3, 4，即每一帧最多可标注 8 条车道线位置。在这个过程中，通过跳跃连接将编码器中的特征图与解码器中的特征图进行融合，使得模型能够同时利用低层次的细节信息和高层次的语义信息。
＜论文复现＞convlstm+uet车道线检测pytorch
qq_30558045的博客
04-16 4051
convlstm+uet车道线检测pytorch
基于U-Net的车道线检测模型（中国机器人及人工智能大赛城市道路识别赛项）
m0_69788330的博客
12-26 812
准备工作：1.安装Anaconda2.安装CUDA3.安装CUDnn4.安装PyTorch5.下载labelme检验环境：如果返回“True”，说明 PyTorch 安装成功且版本互相匹配。输入 exit() 退出 python。
从头搭建无人车车道线检测paddle2.4版解决方案
m0_63642362的博客
02-04 528
本项目为对AI Studio无人车车道线检测挑战赛的冠军解决方案的翻新，原版本为1.8.4版，现改为paddle2.4版本
TRT_Ultra_Fast_Lane_Detect：基于TensorRT的超快速车道检测部署教程
gitblog_00495的博客
09-12 381
TRT_Ultra_Fast_Lane_Detect：基于TensorRT的超快速车道检测部署教程 TRT_Ultra_Fast_Lane_Detect 项目地址: https://gitcode.com/gh_mirrors/...
基于 Unet++ 对自动驾驶车道线分割实战【包含数据集、完整代码、训练好的结果】
06-06
基于 UnetPlusPlus 网络自动驾驶车道线分割实战 代码均为手写，全网无重复，训练自己数据很简单，只需要摆放好数据即可,具体参考README文件，小白均可使用 代码详细介绍：https://blog.csdn.net/qq_44886601/article/details/138858574 数据集：自动驾驶车道线分割（2类别，约3200张数据和标注图像） 网络仅仅测试30个epoch，全局像素点的准确度达到0.995，精确度为0.907，召回率为0.908，dice为0.91，训练epoch加大的话，性能还会更加优越！ 代码介绍： 训练过程提供了多种优化器选择（Adam、SGD、RMSProp），损失函数采用BCE 逻辑损失，学习率的衰减提供了常规恒定lr、余弦退火算法、以及step学习率衰减。可以自行选择 【训练过程会生成最好和最后一个权重，以及数据预处理完的可视化效果图、dice、loss曲线、训练日志等等】
车道线数据集统计
m0_46416211的博客
12-05 2598
拍摄介绍：视频分别是从美国不同的地方收集的，涵盖了美国4个区的不同的天气状况，包含晴天、阴天和雨天以及在白天和夜天的不同时间。数据类型：包含白天（非雨天、雨天、大雨天）、夜晚的数据，同时包含了各种车道线类型，三周驾驶，以及其他不同类型的车道标识（左转箭头、直行箭头、斑马线等）。标签：总共有10个类别的车道线，（单白实心、单白虚线、单黄实心、单黄虚线、双白实心、双黄实心、双黄虚线、双白实心虚线、双白虚线实线、双实白黄。图片数量：10万张（训练：70000，验证：10000，测试：20000）。
UNet(UNet网络的三个实现：大同小异 全是pytorch实现)
09-07
UNet(UNet网络的三个实现：大同小异 全是pytorch实现)，其中UNet文件中包含了原始的分割数据集
使用unet模型结构在Tusimple数据集上训练得到预测车道线的效果。.zip
10-19
使用unet模型结构在Tusimple数据集上训练得到预测车道线的效果。.zip
SAM 提示框和 Unet的语义分割的融合：自动驾驶车道线分割
Henry的博客
08-31 2529
最近SAM 模型复现的多了，看了不少官方的源码，尝试下SAM和Unet的结合SAM的提示分割，其实就是在分割的时候，为数据增加一个提示信息，可以是框，点，或者文本等等。这样大模型网络就可以根据提示信息进行分割如下图，就是手动的给出提示框，然后网络分割出框里的内容需要注意的是，本文不对SAM的原理进行讲解，只是借鉴SAM的提示分割思想，将其和unet结合其实，思想很简单，一般的图像分割网络是的，因为图像都是的。而这里需要传入sam的，所以还要增加一个维度，也就是说最开始。
PyTorch项目实战---Unet实现道路裂纹缺陷检测
静静要努力
06-07 7106
Pytorch构建UNet实现道路裂纹检测
嵌入式（轻量级）车道线语义分割模型搭建
weixin_46327567的博客
08-01 2571
本次网络搭建的就是经典的U型语义分割网络Unet的魔改，使得其能够更加是使用在嵌入式设备能够进行实时检测，如Jetsonnano中。语义分割网络的核心构件就是编码器和解码器。语义分割详细介绍文章本模型是基于一片论文复现修改实现了，用pytorch框架实现，上代码本模型是为了实现车道线检测而搭建，最终得到的模型精度达到94%，模型大小为853kb，最终在JetsonNano的FPS达到25帧左右，已经基本满足实时的要求。...
【图像分割】Unet系列深度讲解（FCN、UNET、UNET++）
Danger的博客
03-20 8211
【图像分割】Unet系列深度讲解（FCN、UNET、UNET++）
图像分割必备知识点 | Unet详解 理论+ 代码
热门推荐
忽逢桃林的博客
11-26 4万+
文章转自：微信公众号【机器学习炼丹术】。文章转载或者交流联系作者微信：cyx645016617 Unet其实挺简单的，所以今天的文章并不会很长。 喜欢的话可以参与文中的讨论、在文章末尾点赞、在看点一下呗。 0 概述 语义分割(Semantic Segmentation)是图像处理和机器视觉一个重要分支。与分类任务不同，语义分割需要判断图像每个像素点的类别，进行精确分割。语义分割目前在自动驾驶、自动抠图、医疗影像等领域有着比较广泛的应用。 上图为自动驾驶中的移动分割任务的分割结果，可以从一张图片中有效的识别
更好、更快、更强的多任务全景感知YOLOPv2，目标检测、freespace、车道线检测
qq_41590635的博客
09-04 3900
YOLOPv2，推荐！
unet车道线分割代码
12-28
### UNet 车道线分割代码实现 UNet架构因其强大的性能，在车道线分割领域得到了广泛应用。下面提供了一个基于PyTorch框架的简化版UNet模型用于车道线分割的任务，该模型遵循编码器-解码器结构并加入了跳跃连接来增强特征提取能力[^5]。 ```python import torch import torch.nn as nn import torchvision.transforms.functional as TF class DoubleConv(nn.Module): """(convolution => [BN] => ReLU) * 2""" def __init__(self, in_channels, out_channels): super().__init__() self.double_conv = nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1), nn.BatchNorm2d(out_channels), nn.ReLU(inplace=True), nn.Conv2d(out_channels, out_channels, kernel_size=3, padding=1), nn.BatchNorm2d(out_channels), nn.ReLU(inplace=True) ) def forward(self, x): return self.double_conv(x) class UNet(nn.Module): def __init__(self, n_channels, n_classes): super(UNet, self).__init__() bilinear = True factor = 2 if bilinear else 1 self.inc = DoubleConv(n_channels, 64) self.down1 = Down(64, 128) self.down2 = Down(128, 256) self.down3 = Down(256, 512 // factor) self.up1 = Up(512, 256 // factor, bilinear) self.up2 = Up(256, 128 // factor, bilinear) self.up3 = Up(128, 64, bilinear) self.outc = OutConv(64, n_classes) def forward(self, x): x1 = self.inc(x) x2 = self.down1(x1) x3 = self.down2(x2) x4 = self.down3(x3) x = self.up1(x4, x3) x = self.up2(x, x2) x = self.up3(x, x1) logits = self.outc(x) return logits class Down(nn.Module): """Downscaling with maxpool then double conv""" def __init__(self, in_channels, out_channels): super().__init__() self.maxpool_conv = nn.Sequential( nn.MaxPool2d(2), DoubleConv(in_channels, out_channels) ) def forward(self, x): return self.maxpool_conv(x) class Up(nn.Module): """Upscaling then double conv""" def __init__(self, in_channels, out_channels, bilinear=True): super().__init__() # if bilinear, use the normal convolutions to reduce the number of channels if bilinear: self.up = nn.Upsample(scale_factor=2, mode='bilinear', align_corners=True) self.conv = DoubleConv(in_channels, out_channels, in_channels // 2) else: self.up = nn.ConvTranspose2d(in_channels , in_channels // 2, kernel_size=2, stride=2) self.conv = DoubleConv(in_channels, out_channels) def forward(self, x1, x2): x1 = self.up(x1) # input is CHW diffY = x2.size()[2] - x1.size()[2] diffX = x2.size()[3] - x1.size()[3] x1 = F.pad(x1, [diffX // 2, diffX - diffX // 2, diffY // 2, diffY - diffY // 2]) # if you have padding issues, see # https://github.com/HaiyongJiang/U-Net-Pytorch-Unstructured-Buggy/issues/2 # https://github.com/xiaopeng-liao/Pixel-Shuffle/issues/1 x = torch.cat([x2, x1], dim=1) return self.conv(x) class OutConv(nn.Module): def __init__(self, in_channels, out_channels): super(OutConv, self).__init__() self.conv = nn.Conv2d(in_channels, out_channels, kernel_size=1) def forward(self, x): return self.conv(x) ``` 此段代码定义了完整的UNet网络结构，其中包含了双层卷积模块`DoubleConv`, 下采样操作`Down`, 上采样操作`Up`以及最终输出转换层`OutConv`. 特别注意的是，对于车道线分割任务而言，最后一层输出通道数应当设置为目标类别数目加上背景类别的数量。例如，在处理具有白色线条和黄色线条两种类型的车道线时，则应将`n_classes`设为3 (即两个前景类别加一个背景)[^2]. 为了适应特定应用场景下的需求，比如多车道线识别或多类型车道线分类等问题，可以调整上述代码中的参数配置以匹配具体的数据集特性[^1]. 此外，考虑到实际应用环境可能存在的计算资源限制情况，还可以考虑引入轻量化设计思路优化现有模型结构，使其更适合于边缘设备上的实时推理任务[^4].
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值