Multi-column deep neural network for traffic sign classification

1. DNN

分别由卷积层、最大池化层交替形成，激活函数选取tanh，分类层使用softmax分类器，权重初始化为[-0.05,0.05]的均匀分布随机数。训练过程为：

1. 训练前数据集预处理：是对整个数据集非随机的处理

原始数据集中的包含交通指示部分的区域大小变化很大，不在图像的中心且不是正方形的，我们只处理交通指示边界内的图像。在保证所有图片大小一致的情况下，我们使用在不同坐标上不同的缩放尺度将交通指示区域变成正方形的。
我们使用了4种将图片对比度标准化的操作，不在RGB空间做，而是在包含图像强度分量的空间里做，然后返回到RGB空间：

1. Image adjustment：mapping pixel intensities to new values such that 1% of the data is saturated at low and high intensities
2. Histogram equalization：transforming pixel intensities such that the output image histogram is roughly uniform
3. Adaptive histogram equalization：operates on tiles rather than the entire image: the image is tiled in 8 nonoverlapping regions of 6 × 6
   pixels each. Every tile’s contrast is enhanced such that its histogram
   becomes roughly uniform
4. Contrast normalization：enhances edges through filtering the input image by a difference of Gaussians. We use a filter size of 5 × 5 pixels

2. 训练中对数据集变形：是对每一张原始图片或者预处理后的图片随机的处理

在每一轮epoch之前都进行变形，取均匀分布的数值进行以下操作，最后使用双线性插值的方法获取固定大小的图片：

1. 平移：图像大小的$\pm$10%
2. 尺度：0.9～1.1倍数
3. 旋转：$\pm$5度

这样的变形使得DNN有了更多的自由参数避免了过拟合。

2. MCDNN

原始的训练集通过4种预处理方法得到4个生成训练集，加上原始训练集一共5个训练集，并对每个训练集使用5个DNN进行训练，一共有25个DNN参与训练，使用没有变形过的原始图片或者预处理后的图片作为验证集，训练直到验证集误差为0。最后的预测结果只是对所有的DNN的结果进行平均。