关于卷积神经网络的原理, 网上资料比较多, 这里不做介绍。
我基于tensorflow搭建了一个含有三层卷积层(包含池化层和dropout)和2层全连接层的卷积神经网络, 使用了L2正则化和AdamOptimizer。
结构较为简单,直接看代码就可以了, 非常适合新手上路。
如果使用cpu进行模型训练(比如我), 训练速度比较慢, 在我的电脑上大概需要20分钟左右,在测试集上进行Validation时还有可能会出现内存超出的问题, 可以把测试机分成小的batch进行验证最后计算平均值也可以直接忽略。
from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf
import os
mnist = input_data.read_data_sets(".", one_hot=True)
# 定义神经网络参数
learning_rate = 0.0055
training_epochs = 10
batch_size = 100
display_step = 1
n_input = 784
n_classes = 10
drop_out = 0.95 # drop_out需设置的比较接近1
regular_rate = 0.001
x = tf.placeholder(tf.float32, [None, n_input])
y = tf.placeholder(tf.float32, [None, n_classes])
keep_prob = tf.placeholder(tf.float32)
# 定义卷积层、池化层和LRN层, 但是并没有使用LRN层, 因为增加了训练时间的同时并没有带来