tensorflow学习笔记

• tensorflow是先建静态的图，然后再使用run让数据流动起来，就是运行一次
• 矩阵相乘 tf.matmul(matrix1,matrix2)
• 1.Variable和constant有什么区别，什么时候使用Variable什么时候使用constant?
• 在使用这个结构之前, 我们必须先初始化所有之前定义的Variable

# init = tf.initialize_all_variables() # tf 马上就要废弃这种写法
init = tf.global_variables_initializer()  # 替换成这样就好

还要运行一下这个init

sess = tf.Session()
sess.run(init)          # Very important

• sess.run()有点想运行的命令，因为tensorflow是静态的图，它是不运行的，只有执行sess.run()的命令后，数据才会流动一次，或者叫做运行一次 
• 只要程序中定义了变量，就要执行

init = tf.global_variables_initializer() # 替换成这样就好
sess.run(init)

• sess = tf.Session()后，result = sess.run()后，是需要sess.close()的，如果不想使用close，可以将代码写到with tf.Session() as sess:下面，注意缩进 
•  tf.placeholder是需要外界输入的时候才使用的变量，也就是再sess.run的时候需要外界输入，输入方法为feed_dict={}是一个字典
• tensorflow定义新的层和python定义新的函数是一样的，仿照即可

def add_layer(inputs, in_size, out_size, activation_function=None):

• 画图可以使用import matplotlib.pyplot as plt，动态的画图需要plt.ion()，且需要画之前需要擦除原来的图ax = fig.add_subplot(1,1,1)， ax.lines.remove(lines[0])
• tensorflow的可视化是使用tensorboard，相比于pytorch使用tensorboard，使用时会更复杂，需要一个变量一个变量的添加
• 交叉熵loss的写法cross_entropy = tf.reduce_mean(-tf.reduce_sum(ys * tf.log(prediction), reduction_indices=[1]))， ys是真值，prediction是预测值
• 改变数据xs的形状为28x28的图片，tf.reshape(xs,[-1,28,28,1])
• 保存会话，首先定义一个saver = tf.train.Saver()，然后save_path = saver.save(sess, "my_net/save_net.ckpt")，保存的是整个session，提取变量同样使用saver，然后saver.restore(sess, "my_net/save_net.ckpt")提取保存的会话，然后 sess.run(W)即可，所以需要提前定义保存的W一模一样尺寸的W,W = tf.Variable(np.arange(6).reshape((2, 3)), dtype=tf.float32, name="weights"
• 想可视化的显示网络，需要使用到tf.name_scope('layer')，它的作用就是把我们的变量或者操作变成一个图中的节点显示出来，例如图中显示的节点(一个框名字是叫inputs)就是inputs，注意不单单变量可以使用name_scope生成节点，操作，比如add操作也可以使用name_scope生成节点

  with tf.name_scope('inputs'):
      xs = tf.placeholder(tf.float32, [None, 1], name='x_input')
      ys = tf.placeholder(tf.float32, [None, 1], name='y_input')

  最后

  sess = tf.Session()
  writer = tf.train.SummaryWriter('logs/', sess.graph)

  将所有的节点生成图保存成文件，才能使用tensorboard查看，tf.variable_scope和tf.name_scope有类似的功能 

• tf.variable_scope()一般都是和创建变量函数tf.variable() 和tf.get_variable()搭配使用，tf.get_variable()会检查是否，如果有同名的变量就共享，没有再创建，而tf.variable()每次都创建新变量不共享.它的作用类似c++中的namespace，c++使用std::调用，tensorflow使用tf.variable_scope("",renuse=True)调用

• tf.variable_scope()和tf.name_scope()大部分情况下是相同的，除了tf.get_variable不受tf.name_scope的影响

• tensorflow保存网络模型的部分还是不太懂，搞得很复杂，需要再看看

• tf.identity就和赋值操作一样，即使两个变量不在同一个设备上，也可以操作，另外，tf.identity虽然和赋值=操作没有区别，其实它要有一个作用，就是它可以将赋值的变量加到整个图中