Caffe训练自己的数据

最新推荐文章于 2021-09-23 22:18:52 发布
最新推荐文章于 2021-09-23 22:18:52 发布
阅读量7.9k 收藏 5
点赞数
分类专栏： 计算机视觉 文章标签： caffe 深度学习 数据 图片 训练
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zxc024000/article/details/52200665
版权

注意：一下所有配置，均为林多的电脑配置路径。如果，要在自己的电脑上run，请仔细改为自己电脑上相应的路径。
1、准备训练数据

首先为训练数据和测试数据，新建两个文件夹，名称任意，存放数据：
trian（存放训练数据）
val（存放测试数据）
在tiran和val中，放入统一尺寸的图片，如320x320。保证这些图像的名称，不包含奇怪的字符。最好是数字或字母组成的名称。

2、新建train.txt和val.txt两个文本。

在train.txt中，输入train文件下的图片名+分类。
trian.txt内容如（更正：标签建议从0开始）：
1.jpg 0
2.jpg 0
3.jpg 1
注意：1.jpg和1（类别）之间，只能有1个空格。
成千，上万的文件名，如何一下子输入到.txt中？
命令“dir/s/on/b>d:/train.txt”，可以将当前所在文件夹内的文件名(含路径，输入到tran.txt中），之后，只要利用记事本里的“查找—替换”功能，将路径名替换为空，将.jpg替换成（.jpg 1）。如存在多个分类，建立多个文件夹，将不同分类放入，重复上面步骤，最后将多个.txt内容整合到一个.txt中即可。

最后，将train.txt和val.txt放在与train和val文件夹同级的目录下。如D:/my文件夹内
注：在linux或windows下，跑caffe，其实差别不是很大，训练数据几乎是一样的，只是windows下多用leveldb格式，而linux下为默认的lmdb格式。至于配置文件，无非是指定路径的差别。

3、利用caffe自带例子中的imagenet来训练我们的数据。

windows下,将caffe安装目录下的examples\imagenet中的 create_imagenet.sh、make_ imagenet.sh、train_caffenet.sh。和models\bvlc_reference_caffenet中的solver.prototxt和train_val.prototxt。一共5个文件，拷入到D:/my文件夹中.
在windows下，安装Git，即可运行sh，十分方便。

4、生成leveldb和图像均值

修改create_imagenet.sh，内容如下:

#!/usr/bin/env sh
# Create the imagenet lmdb inputs
# N.B. set the path to the imagenet train + val data dirs
set -e
#对应自己的路径
DATA=D:/my
TOOLS=D:/caffe-master/Build/x64/Release
#对应自己的路径
TRAIN_DATA_ROOT=D:/my/train/
VAL_DATA_ROOT=D:/my/val/

# Set RESIZE=true to resize the images to 256x256. Leave as false if images have
# already been resized using another tool.
#改为true，让caffe为我们resize图片
RESIZE=true
if $RESIZE; then
  RESIZE_HEIGHT=256
  RESIZE_WIDTH=256
else
  RESIZE_HEIGHT=0
  RESIZE_WIDTH=0
fi

if [ ! -d "$TRAIN_DATA_ROOT" ]; then
  echo "Error: TRAIN_DATA_ROOT is not a path to a directory: $TRAIN_DATA_ROOT"
  echo "Set the TRAIN_DATA_ROOT variable in create_imagenet.sh to the path" \
       "where the ImageNet training data is stored."
  exit 1
fi

if [ ! -d "$VAL_DATA_ROOT" ]; then
  echo "Error: VAL_DATA_ROOT is not a path to a directory: $VAL_DATA_ROOT"
  echo "Set the VAL_DATA_ROOT variable in create_imagenet.sh to the path" \
       "where the ImageNet validation data is stored."
  exit 1
fi

echo "Creating train leveldb..."

GLOG_logtostderr=1 $TOOLS/convert_imageset \
    --resize_height=$RESIZE_HEIGHT \
    --resize_width=$RESIZE_WIDTH \
    #指定数据格式
	--backend=leveldb \
    --shuffle \
    $TRAIN_DATA_ROOT \
    #对应自己的路径
    $DATA/train.txt \
    $DATA/imagenet_train_leveldb 

echo "Creating val leveldb..."

GLOG_logtostderr=1 $TOOLS/convert_imageset \
    --resize_height=$RESIZE_HEIGHT \
    --resize_width=$RESIZE_WIDTH \
    #指定数据格式
	--backend=leveldb \
    --shuffle \
    $VAL_DATA_ROOT \
    #对应自己的路径
    $DATA/val.txt \
    $DATA/imagenet_val_leveldb 

echo "Done."

[图片]
运行后，生成imagenet_train_leveldb和imagenet_val_leveldb两个文件夹。
生成图像均值
修改make_imagenet_mean.sh，内容如下:

#!/usr/bin/env sh
# Compute the mean image from the imagenet training lmdb
# N.B. this is available in data/ilsvrc12
#对应自己的路径
DATA=D:/my
TOOLS=D:/caffe-master/Build/x64/Release
#对应自己的路径
$TOOLS/compute_image_mean.exe $DATA/imagenet_train_leveldb $DATA/imagenet_mean.binaryproto --backend=leveldb

echo "Done."

运行后，会生成imagenet_mean.binaryproto文件。

到此，数据阶段的所有内容，都已经准备好

5、配置，训练阶段需要的内容。
solver.prototxt内容：

#指定路径
net: "D:/my/train_val.prototxt"
test_iter: 1000
test_interval: 1000
base_lr: 0.01
lr_policy: "step"
gamma: 0.1
stepsize: 100000
display: 20
max_iter: 450000
momentum: 0.9
weight_decay: 0.0005
snapshot: 10000
#指定路径
snapshot_prefix: "D:/my/result"
#指定CPU训练
solver_mode: CPU

train_val.prototxt文件内容：

name: "CaffeNet"
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    mirror: true
    crop_size: 227
    #指定路径
    mean_file: "D:/my/imagenet_mean.binaryproto"
  }
# mean pixel / channel-wise mean instead of mean image
#  transform_param {
#    crop_size: 227
#    mean_value: 104
#    mean_value: 117
#    mean_value: 123
#    mirror: true
#  }
  data_param {
  #指定路径
    source: "D:/my/imagenet_train_leveldb"
    batch_size: 256
    #指定格式
	backend: LEVELDB
  }
}
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  transform_param {
    mirror: false
    crop_size: 227
    #指定路径
    mean_file: "D:/my/imagenet_mean.binaryproto"
  }
# mean pixel / channel-wise mean instead of mean image
#  transform_param {
#    crop_size: 227
#    mean_value: 104
#    mean_value: 117
#    mean_value: 123
#    mirror: false
#  }
  data_param {
  #指定路径
    source: "D:/my/imagene_val_leveldb"
    batch_size: 50
    #指定格式
    backend: LEVELDB
  }
}
layer {
  name: "conv1"
  type: "Convolution"
  bottom: "data"
  top: "conv1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 96
    kernel_size: 11
    stride: 4
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
}
layer {
  name: "relu1"
  type: "ReLU"
  bottom: "conv1"
  top: "conv1"
}
layer {
  name: "pool1"
  type: "Pooling"
  bottom: "conv1"
  top: "pool1"
  pooling_param {
    pool: MAX
    kernel_size: 3
    stride: 2
  }
}
layer {
  name: "norm1"
  type: "LRN"
  bottom: "pool1"
  top: "norm1"
  lrn_param {
    local_size: 5
    alpha: 0.0001
    beta: 0.75
  }
}
layer {
  name: "conv2"
  type: "Convolution"
  bottom: "norm1"
  top: "conv2"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 256
    pad: 2
    kernel_size: 5
    group: 2
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 1
    }
  }
}
layer {
  name: "relu2"
  type: "ReLU"
  bottom: "conv2"
  top: "conv2"
}
layer {
  name: "pool2"
  type: "Pooling"
  bottom: "conv2"
  top: "pool2"
  pooling_param {
    pool: MAX
    kernel_size: 3
    stride: 2
  }
}
layer {
  name: "norm2"
  type: "LRN"
  bottom: "pool2"
  top: "norm2"
  lrn_param {
    local_size: 5
    alpha: 0.0001
    beta: 0.75
  }
}
layer {
  name: "conv3"
  type: "Convolution"
  bottom: "norm2"
  top: "conv3"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 384
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
}
layer {
  name: "relu3"
  type: "ReLU"
  bottom: "conv3"
  top: "conv3"
}
layer {
  name: "conv4"
  type: "Convolution"
  bottom: "conv3"
  top: "conv4"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 384
    pad: 1
    kernel_size: 3
    group: 2
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 1
    }
  }
}
layer {
  name: "relu4"
  type: "ReLU"
  bottom: "conv4"
  top: "conv4"
}
layer {
  name: "conv5"
  type: "Convolution"
  bottom: "conv4"
  top: "conv5"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 256
    pad: 1
    kernel_size: 3
    group: 2
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 1
    }
  }
}
layer {
  name: "relu5"
  type: "ReLU"
  bottom: "conv5"
  top: "conv5"
}
layer {
  name: "pool5"
  type: "Pooling"
  bottom: "conv5"
  top: "pool5"
  pooling_param {
    pool: MAX
    kernel_size: 3
    stride: 2
  }
}
layer {
  name: "fc6"
  type: "InnerProduct"
  bottom: "pool5"
  top: "fc6"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  inner_product_param {
    num_output: 4096
    weight_filler {
      type: "gaussian"
      std: 0.005
    }
    bias_filler {
      type: "constant"
      value: 1
    }
  }
}
layer {
  name: "relu6"
  type: "ReLU"
  bottom: "fc6"
  top: "fc6"
}
layer {
  name: "drop6"
  type: "Dropout"
  bottom: "fc6"
  top: "fc6"
  dropout_param {
    dropout_ratio: 0.5
  }
}
layer {
  name: "fc7"
  type: "InnerProduct"
  bottom: "fc6"
  top: "fc7"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  inner_product_param {
    num_output: 4096
    weight_filler {
      type: "gaussian"
      std: 0.005
    }
    bias_filler {
      type: "constant"
      value: 1
    }
  }
}
layer {
  name: "relu7"
  type: "ReLU"
  bottom: "fc7"
  top: "fc7"
}
layer {
  name: "drop7"
  type: "Dropout"
  bottom: "fc7"
  top: "fc7"
  dropout_param {
    dropout_ratio: 0.5
  }
}
layer {
  name: "fc8"
  type: "InnerProduct"
  bottom: "fc7"
  top: "fc8"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  inner_product_param {
    num_output: “类别数”#注意，此处对应训练数据的标签数（如100个类别：100）
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
}
layer {
  name: "accuracy"
  type: "Accuracy"
  bottom: "fc8"
  bottom: "label"
  top: "accuracy"
  include {
    phase: TEST
  }
}
layer {
  name: "loss"
  type: "SoftmaxWithLoss"
  bottom: "fc8"
  bottom: "label"
  top: "loss"
}

将train_caffenet.sh，改为train_caffenet.bat，内容如下:

#!/usr/bin/env sh
set -e
#指定路径
D:/caffe-master/Build/x64/Release/caffe.exe train --solver=D:/my/solver.prototxt

到此，运行train_caffenet.bat，训练网络即可。。当然，你可以不把train_caffenet.sh改为.bat文件，只需要修改里面的路径后，在Git中，运行即可。

5、linux下

PS：博主某天重新看了下这段，有些乱。于是这段的仅供参考（-_-）
首选保证，你以及配置好caffe了。
在windows下，你也可以在linux下这么做。。将数据重新生成lmdb格式。。。就是在上面的步骤中，去掉 --backend=leveldb \，再将 $DATA/imagenet_train_leveldb 改为 $DATA/imagenet_train_lmdb (val的也要改)
这样会生成imagenet_train_lmdb和imagenet_val_lmdb两个文件夹。将生成的imagenet_train_lmdb和imagenet_val_lmdb两个文件夹中的内容，上传到linux服务器中。
首先，在~/caffe/examples/imagenet（以我安装caffe路径为例）文件夹下，利用mkdir命令新建两个文件夹
ilsvrc12_val_lmdb和ilsvrc12_train_lmdb。。将imagenet_train_leveldb和imagenet_val_leveldb中的内容，在SecureCRT中利用rz命令上传文件（将train文件夹中的图片，传入imagenet_train_leveldb。将val中的图片，传入imagenet_val_leveldb）

make_imagenet_mean.sh （无需修改）
create_imagenet.sh（无需修改）
train_caffenet.sh内容（无需修改）
solver.prototxt内容（无需修改默认）
train_val.prototxt内容：（无需修改，默认）

之后，切换到~/caffe目录下
按照windows下的流程，运行 make_imagenet_mean.sh，然后train_caffen.sh。
如果，出现如法运行的情况，请切换到caffe安装根目录（~/caffe)，在该目录下运行sh。

实际训练效果非常慢，大约1小时才回蹦出下一条提示。估计是Net的结构配置的不对，毕竟用了自己的数据，Net结构肯定要修改。但训练效果还是很好的。
下面是在linux服务器上跑的结果。
这里写图片描述
跑了大概两天，loss从最开始的7.65707，迭代到1280次时，降到0.000921745。训练出来的模型完全可以利用caffe+opencv做分类了~
这里写图片描述

这里提供了图片数据、标签分类文本、还是网络配置数据。在运行前，要生成自己的leveldb嗷~
Windows下caffe训练实例

林多
关注
专栏目录
Caffe下自己的数据训练和测试
qqlu_did的专栏
07-29 1万+
在caffe提供的例程当中，例如mnist与cifar10中，数据集的准备均是通过调用代码自己完成的，而对于ImageNet1000类的数据库，对于高校实验室而言，常常面临电脑内存不足的尴尬境地。而对于应用者而言，用适合于自己条件的的数据集在caffe下训练及测试才是更重要的。所以我们有必要自己做数据库以及在caffe上训练及测试。 1，数据准备 在data中新建文件夹myself，我们截取了I
Caffe 学习系列（12）：制作自己的 caffe 训练数据集
JACK_YOUNG007的博客
04-23 1180
引言 在学习和参加相关深度学习比赛的时候，一般情况下都是在准备好的情况下展开，而在实际的工作项目中。因为每一个公司的业务场景不同，需要我们自己去标记图片数据（参看深度学习标记工具汇总），并且在标记好的图片集中制作 caffe 框架的数据格式（lmdb文件），即本文所讲内容。 制作自己的 caffe 训练数据集的整个过程分为：1. 准备自己的数据集；2. 生成 .txt 文件； 3.转化为 db...
用caffe训练自己的数据集(一)
sst___的博客
04-08 5243
本文主要参考了：https://blog.csdn.net/heimu24/article/details/53581362 https://blog.csdn.net/gaohuazhao/article/details/69568267 准备工具linux系统，caffe框架，淘宝上获取的图片。 整个过程分为，三部分，一、是对数据进行处理，转化为c...
Caffe学习(3):训练自己的数据
小飞专刊
05-28 1365
为了完成毕业设计，还需要继续学习Caffe，并能够成功地训练自己的实验数据，这里整理Caffe整个训练过程。 使用Caffe训练卷积神经网络主要包括以下几个步骤：（1）预处理图像，一般是指将图像转化为具有同样大小的像素；（2）根据设计好的网络结构配置相应的网络结构文件和训练参数文件；（3）训练模型并测试结果；（4）可视化结果（如果需要）。
Caffe-用自己的数据做训练
zhaoxin的博客
05-18 791
1，数据集制作1.1数据集分为train和validate，分别写到train.txt和val.txt中。格式图片文件名+ 空格 + label 如图：1.2将准备好的两个txt， 放到caffe_root/data/myfile/ (caffe_root是caffe的根目录， myfile自己命名）。将训练街和验证集图片文件夹放到/img_full_dir1和/img_full_dir2（自己定
训练自己的数据集
04-10
本代码主要用于自己数据制作VOC2007数据集格式，用以进行目标检测网络的训练，如faster r-cnn等一类的目标检测网络
caffe-oneclick：只需单击一下即可使用caffe训练自己的数据
02-23
caffe一键式训练评估集成开发环境 最近更新2020.07.08 概述 本项目提供一个集成式开发环境，在配好咖啡环境的情况下，立即将准备好的图片放入数据目录下，便可以一键生成lmdb数据文件，均值文件，标注文件和测试评估...
caffe自己训练的数据样本
11-16
本话题将围绕使用Caffe训练自己的数据集，特别是涉及正样本和负样本的处理进行详细阐述。 首先，理解“正样本”和“负样本”的概念至关重要。在分类任务中，正样本是指属于我们想要识别或预测的类别的数据，而负...
caffe训练分类数据集的教程
12-03
caffe训练数据集的教程：非常详细，不会的可以提问哦～～～～
caffe训练数据打乱程序
01-14
"Caffe训练数据打乱程序"就是针对这一需求设计的工具，主要用于调整Caffe框架下的训练数据集，使得数据的顺序变得随机，以提高模型训练的效果。 Caffe是一款流行的开源深度学习框架，由加州大学伯克利分校的Yann ...
keras resnet 训练自己的数据
04-30
keras resnet 迁移训练数据 和 读取数据
caffe中用自己的数据训练网络之生成lmdb数据库
qq_28915885的博客
04-16 387
在编译好的caffe中，其tools/Release下有一个convert_imageset.exe的文件，其是用来将自己准备的图像数据集进行转化的。在convert_imageset.exe所在的文件夹下执行convert_imageset命令会发现有这样的结果： 由此可见，该命令的使用格式为： convert_imageset [FLAGS] rootfolder/ ...
Caffe上训练使用自己的数据
凌风探梅的专栏
03-09 2677
Caffe上训练使用自己的数据 from: http://www.wjxfpf.com/2015/10/824918.html 接着上篇，上篇讲解了怎么在ubuntu下安装Caffe，如果一切没问题的话应该是可以用了，下面自己测试一下。 测试mnist 首先切换到caffe-master的主目录，mnist是作为一个演示存在于caffe-master
【Tensorflow】训练自己的数据集（windows+CPU）
酸梅果茶的博客
04-20 4322
文章目录一、个人申明二、电脑配置三、构建数据集步骤1：准备数据集步骤2：labelimg标注图片步骤3：图片标签统计步骤4：将XML文件转化成CSV文件步骤5：将CSV文件转化成tfrecord文件四、配置训练文件步骤6：配置my_label_map.pbtxt文件步骤7：配置object_detection文件步骤8：配置ssdlite_mobilenet_v2_coco.config模型步骤9...
yolo 学习系列（二）：训练自己的数据集
la_fe_的博客
08-10 4112
yolo 学习系列（二）：训练自己的数据集 1、图片预处理 1.1 统一大小 import cv2 import os fullfilename=[] filepath = "F:/PycharmProjects/image" # 不能包含中文路径 filepa
YOLOv5训练自己的数据集(超详细)
热门推荐
qq_40716944的博客
09-23 14万+
一、准备深度学习环境 本人的笔记本电脑系统是：Windows10 首先进入YOLOv5开源网址，手动下载zip或是git clone 远程仓库，本人下载的是YOLOv5的5.0版本代码，代码文件夹中会有requirements.txt文件，里面描述了所需要的安装包。 本文最终安装的pytorch版本是1.8.1，torchvision版本是0.9.1，python是3.7.10，其他的依赖库按照requirements.txt文件安装即可。 ...
Caffe9:训练和测试自己的图片
weixin_41774576的博客
07-29 400
在深度学习的实际应用中，我们经常用到的原始数据是图片文件，如jpg,jpeg,png,tif等格式的，而且有可能图片的大小还不一致。而在caffe中经常使用的数据类型是lmdb或leveldb，因此就产生了这样的一个问题：如何从原始图片文件转换成caffe中能够运行的db（leveldb/lmdb)...
caffe训练自己的数据
u012803093的博客
11-21 222
参考博客： https://www.cnblogs.com/love6tao/p/5743030.html https://www.cnblogs.com/alexcai/p/5469436.html 第一步：准备数据，收集你想要分类的数据，比如你想要识别猫和狗，那就收集尽量多的数据吧！ 第二步：新建文件夹my_data，里面在建两个文件夹train和test。 clear all;
基于FCN训练-测试自己的数据集
随便记记
05-15 1332
这里写自定义目录标题前言简化网络样本制作训练测试 前言 都9102年了，语义分割网络层出不穷，不过作为鼻祖，FCN还是有必要了解下，这里就不在记录其原理，直接基于原始FCN-32s精简网络，对工业缺陷数据进行训练和测试。 简化网络 相对于工业缺陷数据，sift-flow，pascal数据算是及其复杂的数据，直接用原始的FCN网络进行训练，先不说效果，效率上就过不去，因此需要对网络进行简化，原始网络...
caffe yolov4训练自己的数据集
最新发布
07-12
要使用Caffe和YOLOv4来训练自己的数据集，你需要按照以下步骤进行操作： 1. 数据集准备：收集和标注你自己的数据集。确保每个图像都有相应的边界框标注，指示目标的位置和类别。 2. 数据集转换：将数据集转换为...
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

林多

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值