Tensorflow变量表示神经网络参数

参考书籍《Tensorflow实战Google深度学习框架》郑泽宇等

     上一部分我们讲到神经网络结构中每个神经元都有参数，那么这些神经网络参数该如何在Tensorflow中呈现呢？通常我们知道用变量可表示相应的参数，那么Tensorflow中变量(tf.Variable)与其它语言有何不同，它是如何实现神经网络参数的保存以及使用的呢？

     首先，与其它语言变量一样，Tensorflow中的变量也需要指定初值，对应于神经网络参数的初始化。而在神经网络参数初始化过程中，通常利用随机数进行初始化。Tensorflow中常用随机数生成函数如表1所示。 

表1 Tensorflow随机生成函数

函数名称	随机数分布	主要参数
tf.random_normal	正太分布	平均值、标准差、取值类型
tf.trucated_normal	正太分布，若生成的随机数偏离平均值超过2个标准差，重新产生随机数	平均值、标准差、取值类型
tf.random_uniform	平均分布	最小值、最大值、取值类型
tf.random_gamma	Gamma分布	形状参数α、尺度参数β、取值类型

Tensorflow中常数生成函数如表2所示。

表2  Tensorflow常数生成函数

函数名称	功能	示例
tf.zeros	产生全0的数组	tf.zeros([2,3],int32)->[[0,0,0],[0,0,0]]
tf.ones	产生全1的数组	tf.ones([2,3],int32)->[[1,1,1],[1,1,1]]
tf.fill	产生全部为给定数字的数组	tf.fill([2,3],5)->[[5,5,5],[5,5,5]]
tf.constant	产生一个给定值的常量	tf.constant([2,3,4])->[2,3,4]

import tensorflow as tf
#声明特征输入向量
x=tf.constant([[0.5,0.8]])
#声明w1和w2权重变量, 注意此时变量仅仅声明与初始化变量的方法，但还未初始化，需要在会话Session()中初始化变量
w1=tf.Variable(tf.random_normal([2,3],stddev=1))
w2=tf.Variable(tf.random_normal([3,1],stddev=1))
#利用上一部分讲的前向传播算法计算神经网络的输出
a=tf.matmul(x,w1)
y=tf.matmul(a,w2)
with tf.Session() as sess:
    #利用先前定义好的初始化方法初始化变量
    sess.run(w1.initializer)
    sess.run(w2.initializer)
    print(sess.run(y))

   上面这段代码实现了神经网络的前向传播过程。定义权值w1和w2、隐藏层输出a与输出y的过程实际上定义程序计算图中的所有计算，但定义好的计算并没有被真正执行；

   计算执行需要在会话session()中进行，并最终计算出结果。在计算执行之前，需要对所有变量进行初始化，w1与w2前面虽然定义了初始化的方法，实际上并未真正被执行，需要在会话中运行w1.initializer与w2.initializer来初始化。

   实际工程中，如果变量很多或变量之间存在依赖关系，在会话中一个一个对变量初始化变得很麻烦。对此，Tensorflow提供了tf.initialize_all_variables函数来对所有变量实现初始化。此函数不仅省去了一个一个去初始化变量，同时也会自动处理变量之间的依赖关系。