实现思路
"""
基础知识:
1、神经网络(neural networks)的基本组成包括输入层、隐藏层、输出层。而卷积神经网络的特点在于隐藏层分为卷积层和池化层(pooling layer,又叫下采样层)
2、卷积层:通过在原始图像上平移来提取特征,每一个特征就是一个特征映射
a)提取特征:定义一个过滤器(也称观察窗口,奇数大小,值为权重)大小,步长
b)移动越过图片:
1、VALID:不越过,直接停止观察(一般不用)
2、SAME:直接越过,则对图像零填充(padding过程)
影响因素:窗口大小,步长,零填充,窗口数目
矩阵大小公式计算:
输入体积大小:H1*W1*D1
四个超参数:Filter数量K、Filter大小F、步长S、零填充大小P
输出体积大小 H2*W2*D2
H2=(H1-F+2P)/S+1 #如果有小数,要注意
W2=(W1-F+2P)/S+1
D2=K
卷积API:tf.nn.conv2d(input, filter, strides=, padding=, name=None)计算给定4-D input和filter张量的2维卷积
input:给定的输入张量,具有[batch,heigth,width,channel],类型为float32,64 ,channel为图片的通道数,batch为图片的数量
filter:指定过滤器的大小,[filter_height, filter_width, in_channels, out_channels] ,其中,in_channels=channel ,out_channels为过滤器的数量
strides:strides = [1, stride, stride, 1],步长
padding:“SAME”, “VALID”,使用的填充算法的类型,使用“SAME”。其中”VALID”表示滑动超出部分舍弃,“SAME”表示填充,使得变化后height,width一样大
3、激活函数(Relu),增加激活函数相当于增加了网络的非线性分割能力
1、机器学习使用:sigmoid ,公式:f(x) = 1/1+e^(-x)
2、深度学习使用:Relu ,公式为:f(x) = max(0,x)
3、API:tf.nn.relu(features, name=None)
features:卷积后加上偏置的结果
return:结果
4、池化层:通过特征后稀疏参数来减少学习的参数,降低网络的复杂度,(最大池化和平均池化)
1、池化计算矩阵大小公式和卷积一样
2、API:tf.nn.max_pool(value, ksize=, strides=, padding=,name=None)输入上执行最大池数
value:4-D Tensor形状[batch, height, width, channels]
ksize:池化窗口大小,[1, ksize, ksize, 1]
strides:步长大小,[1,strides,strides,1]
padding:“SAME”, “VALID”,使用的填充算法的类型,使用“SAME”
5、dropout:防止过拟合,直接使一些数据失效,小型网络用不到
6、不采用sigmoid函数作为激活函数的原因?
第一、采用sigmoid等函数,反向传播求取误差梯度时,计算量相对大,而采用Relu激活函数,震哥哥过程的计算节省很多
第二、对于深层网络,sigmoid函数反向传播时,很容易就会出现梯度消失等情况
7、tf.one_hot(indices,depth)
indices:数据集标签
depth:类别数
卷积神经网络实现流程:
1、准备数据
2、建立模型
a)准备数据占位符
b)卷积、激活、池化操作
c)全连接层,建立矩阵表达式
3、计算交叉熵损失
4、梯度下降求出损失
5、计算准确率
6、初始化变量
7、开始训练
手写字网络结构设计:
输入数据:[None,784] [None.10]
一卷积层:
卷积:32个filer,5*5 ,strides=1,padding="SAME" ,输入:[None,28,28,1] 输出:[None,28,28,32]
激活:输出 [None,28,28,32]
池化:2*2,strides=2,padding="SAME" 输出 [None,14,14,32]
二卷积层:
卷积:64个filer,5*5 ,strides=1,padding="SAME" ,输入:[None,14,14,32] 输出:[None,14,14,64]
激活:输出 [None,14,14,64]
池化: 2*2,strides=2 ,输出:[None,7,7,64]
全连接层:
形状改变:[None,7,7,64] -->[None,7*7*64]
权重:[7*7*10]
偏置:[10]
输出:[None,10]
输出:[3,5,7] -->softmax转为概率[0.04,0.16,0.8] ---> 交叉熵计算损失值 (目标值和预测值的对数)
"""
具体代码如下
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
def weight_variables(shape):
w = tf.Variable(tf.random_normal(shape=shape,mean=0.0,stddev=1.0))
return w
def bais_variables(shape):
b = tf.Variable(tf.constant(0.0,shape=shape))
return b
def model():
"""
自定义卷积模型
:return:
"""
with tf.variable_scope("data"):
x = tf.placeholder(tf.float32,[None,784])
y_true = tf.placeholder(tf.int32,[None,10])
with tf.variable_scope("conv1"):
w_conv1 = weight_variables([5,5,1,32])
b_conv1 =bais_variables([32])
x_reshape= tf.reshape(x,[-1,28,28,1])
x_relu1 = tf.nn.relu(tf.nn.conv2d(x_reshape,w_conv1,strides=[1,1,1,1],padding="SAME")+b_conv1)
x_pool1 = tf.nn.max_pool(x_relu1,ksize=[1,2,2,1],strides=[1,2,2,1],padding="SAME")
with tf.variable_scope("conv2"):
w_conv2 = weight_variables([5, 5, 32, 64])
b_conv2 = bais_variables([64])
x_relu2 = tf.nn.relu(tf.nn.conv2d(x_pool1,w_conv2,strides=[1,1,1,1],padding="SAME")+b_conv2)
x_pool2 =tf.nn.max_pool(x_relu2,ksize=[1,2,2,1],strides=[1,2,2,1],padding="SAME")
with tf.variable_scope("conv2"):
w_fc = weight_variables([7*7*64, 10])
b_fc = bais_variables([10])
x_fc_reshape = tf.reshape(x_pool2,[-1,7*7*64])
y_predict = tf.matmul(x_fc_reshape,w_fc)+b_fc
tf.summary.histogram("w1",w_conv1)
tf.summary.histogram("b1",b_conv1)
tf.summary.histogram("w2",w_conv2)
tf.summary.histogram("b2",b_conv2)
tf.summary.histogram("wfc",w_conv1)
tf.summary.histogram("bfc",b_conv1)
merged =tf.summary.merge_all()
return x,y_true,y_predict,merged
def conv_fc():
minist = input_data.read_data_sets("./data/mnist/input_data/", one_hot=True)
x,y_true,y_predict,merged = model()
with tf.variable_scope("cross_entropy"):
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_true, logits=y_predict))
with tf.variable_scope("optimizer"):
train_op = tf.train.GradientDescentOptimizer(0.0001).minimize(loss)
with tf.variable_scope("accuracy"):
equal_list = tf.equal(tf.argmax(y_true, 1), tf.argmax(y_predict, 1))
accuracy = tf.reduce_mean(tf.cast(equal_list, tf.float32))
init_op = tf.global_variables_initializer()
tf.summary.scalar("losses",loss)
tf.summary.scalar("accuracy",accuracy)
merged1 = tf.summary.merge_all()
with tf.Session() as sess:
sess.run(init_op)
fileWriter = tf.summary.FileWriter("./event/",graph=sess.graph)
for i in range(1000):
mnist_x, mnist_y = minist.train.next_batch(50)
sess.run(train_op, feed_dict={x: mnist_x, y_true: mnist_y})
summary = sess.run(merged,feed_dict={x: mnist_x, y_true:mnist_y})
summary1 = sess.run(merged1, feed_dict={x: mnist_x, y_true: mnist_y})
fileWriter.add_summary(summary,i)
fileWriter.add_summary(summary1, i)
print("训练第%d步,准确率为:%f" % (i, sess.run(accuracy, feed_dict={x: mnist_x, y_true: mnist_y})))
return None
if __name__ == "__main__":
conv_fc()