tensorflow学习笔记一之tensorflow实现卷积部分常用函数

1. Z1=tf.nn.conv2d(X,W1, strides = [1,1,1,1], padding = 'SAME')

tf.nn.conv2d(input,filter,strides, padding, use_cudnn_on_gpu=None, name=None)

是TensorFlow里面实现卷积的函数。

第一个参数input：指需要做卷积的输入图像，它要求是一个Tensor，具有[batch, in_height, in_width,in_channels]这样的shape，具体含义是[训练时一个batch的图片数量, 图片高度, 图片宽度, 图像通道数]，注意这是一个4维的Tensor，要求类型为float32和float64其中之一

第二个参数filter：相当于CNN中的卷积核，它要求是一个Tensor，具有[filter_height, filter_width,in_channels,out_channels]这样的shape，具体含义是[卷积核的高度，卷积核的宽度，图像通道数，卷积核个数]，要求类型与参数input相同，有一个地方需要注意，第三维in_channels，就是参数input的第四维

第三个参数strides：卷积时在图像每一维的步长，这是一个一维的向量，长度4

第四个参数padding：string类型的量，只能是"SAME","VALID"其中之一，这个值决定了不同的卷积方式，Valid: 用过滤器在输入的矩阵中按步长移动时候，会把最后的不足部分的列和行抛弃；Same: 先在输入矩阵上下各加个值为0的行，在左右各加个个值为0的列，也就是用0把原先的矩阵包裹一层，然后在移动的时候如果输入矩阵的列或者行长度不够，就用0来补齐。

第五个参数：use_cudnn_on_gpu:bool类型，是否使用cudnn加速，默认为true

结果返回一个Tensor，这个输出，就是我们常说的feature map，shape仍然是[batch,height, width, channels]这种形式。

2. A1 = tf.nn.relu(Z1) 是tensorflow中的relu函数

3.   P1 =tf.nn.max_pool(A1, ksize = [1,8,8,1], strides = [1,8,8,1], padding = 'SAME')

max pooling是CNN当中的最大值池化操作.

第一个参数value：需要池化的输入，一般池化层接在卷积层后面，所以输入通常是feature map，依然是[batch, height, width, channels]这样的shape

第二个参数ksize：池化窗口的大小，取一个四维向量，一般是[1, height, width, 1]，因为我们不想在batch和channels上做池化，所以这两个维度设为了1

第三个参数strides：和卷积类似，窗口在每一个维度上滑动的步长，一般也是[1, stride,stride, 1]

第四个参数padding：和卷积类似，可以取'VALID' 或者'SAME'

返回一个Tensor，类型不变，shape仍然是[batch, height, width, channels]这种形式

 

4.   #CONV2D: filters W2, stride 1, padding 'SAME'
 Z2 = tf.nn.conv2d(P1,W2, strides = [1,1,1,1], padding = 'SAME')
 # RELU
 A2 = tf.nn.relu(Z2)
 # MAXPOOL: window 4x4, stride 4, padding 'SAME'
 P2 = tf.nn.max_pool(A2, ksize = [1,4,4,1], strides = [1,4,4,1], padding ='SAME')

5.    #FLATTEN
 P2 = tf.contrib.layers.flatten(P2)实现对张量P2的FLATTEN

6.    #FULLY-CONNECTED without non-linear activation function (not not call softmax).
 # 6 neurons in output layer. Hint: one of the arguments should be"activation_fn=None" 
 Z3 = tf.contrib.layers.fully_connected(inputs=P2,num_outputs=6,activation_fn=None)
 全连接层，每个输入输出存在连接。CNN最后一层常是全连接层。TensorFlow全连接层格式，tf.matmul(features,weight)+bias。输入张量与输出层每个神经元连接。其中inputs是输入张量，num_outputs是输出元素的个数，activation_fn是激活函数，可以选择tf.nn.relu等。

7.  tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits = Z3, labels =Y))

tf.nn.softmax 计算通过 softmax 层的向前传播。你使用它评估模型的过程中，当你计算模型输出的概率。tf.nn.softmax_cross_entropy_with_logits 计算 softmax 层的成本。它只用于训练。比数是规范化的日志概率输出模型 （输出 softmax 正常化应用于他们之前的值）。

第一个参数logits：就是神经网络最后一层的输出，如果有batch的话，它的大小就是[batchsize，num_classes]，单样本的话，大小就是num_classes

第二个参数labels：实际的标签，大小同上

具体的执行流程大概分为两步：

第一步是先对网络最后一层的输出做一个softmax，这一步通常是求取输出属于某一类的概率

第二步是softmax的输出向量[Y1，Y2,Y3...]和样本的实际标签做一个交叉熵

注：这个函数内部自动计算softmax，然后再计算交叉熵代价函数，也就是说logits必须是没有经过tf.nn.softmax函数处理的数据，否则导致训练结果有问题。建议编程序时使用这个函数，而不必自己编写交叉熵代价函数。

8.  nms_indices = tf.image.non_max_suppression(boxes,scores,max_boxes,iou_threshold= 0.5)

实现极大值抑制non max suppression，其中boxes是不同boxes的坐标，scores是不同boxes预测的分数，max_boxes是保留的最大box的个数。

iou_threshold是一个阈值，去掉大于这个阈值的所有boxes。