Tensorflow(1.x版本)
核心概念Graph和Session
Data Flow Graph [数据流图]
计算定义≠执行计算
计算的定义和执行,被很好地分离开了
模型跑起来,需要2步:
描绘整幅图(定义计算)
在session当中执行图中的运算
Tensorflow
Tensor + Flow
张量在图中通过运算(op)进行传递和变换
Tensor是什么?
在tensorflow里,可以将tensor[张量]理解成一个n维的矩阵:
0-d tensor | 1-d tensor | 2-d tensor |
---|---|---|
标量/数 scalar | 向量 vector | 矩阵 matrix |
Tensor
Numpy Vs Tensorflow
Numpy | Tensorflow |
---|---|
a = np.zeros( (2,2) );b = np.ones( (2,2) ) | a = tf.zeros( ( 2,2) );b = tf.ones( (2,2) ) |
np.sum(b,axis = 1) | tf.reduce_sum(a,reduction_indices = [1]) |
a.shape | a.get_shape() |
np.reshape(a,(1,4)) | tf.reshape(a,(1,4)) |
a*2+1 | a*2+1 |
np.dot(a,b) | tf.matmul(a,b) |
a[0,0],a[:,0],a[0,:] | a[0,0],a[:,0],a[0,:] |
在Tensorflow的计算图里看
import tensorflow as tf
a = tf.add(3,5)
TensorBoard的可视化结果
x,y是什么? -> Tensorflow在我们没有指定名称的时候会自动命名x = 3,y = 5
在“这幅图”里:
节点: operators, variables, and constants
边: tensors
如何取到结果?(print结果不是8)
import tensorflow as tf
a = tf.add(3,5)
print(a)
Tensor(“Add:0”,shape=(),dtype=int32)
Session
初始化session,完成操作
import tensorflow as tf
a = tf.add(3,5)
#sess = tf.Session()
with tf.Session() as sess:
print (sess.run(a))
#sess.close()
Session会在计算图里找到a的依赖,把依赖的节点都进行计算
Graph && Session
一个复杂一点点的例子:
x = 2
y = 3
op1 = tf.add(x,y)
op2 = tf.multiply(x,y)
with tf.Session() as sess:
op3 = sess.run(op3)
我们不需要的依赖,其实不会进行计算,比如下面的例子:
x = 2
y = 3
add_op = tf.add(x,y)
mul_op = tf.mul(x,y)
useless = tf.mul(x,add_op)
pow_op = tf.pow(add_op,mul_op)
with tf.Session() as sess:
z = sess.run(pow_op)
如果我需要运行几个运算节点,比如上例中的useless:
x = 2
y = 3
add_op = tf.add(x,y)
mul_op = tf.mul(x,y)
useless = tf.mul(x,add_op)
pow_op = tf.pow(add_op,mul_op)
with tf.Session() as sess:
z = sess.run([pow_op,useless])
更全的格式是下面这样,我们把所有需要的变量编成list放到fetches里:
x = 2
y = 3
# …
tf.Session.run(fetches,feed_dict=None,options=None,run_metadata=None)
指定GPU
指定CPU or GPU去完成session里的运算:
安装为CPU版本Tensorflow,无实际测试代码,不详述
wiht tf.device('/gpu:0') :
#...
为什么需要Graph
- 节省资源高效运算(我们只会计算你需要的结果依赖的子图)
- 把整个运算分解成子环节,方便自动求导
- 对分布式运算很友好,计算工作可以分给多个GPU或者多个CPU或者多个设备运算
- 很多机器学习的模型本身也非常适合组织成图格式
Tensorboard
了解图结构/可视化的利器
在定义完计算图 和 运行session之前使用summary writer
命令行解析日志,浏览器端可视化
在命令行端运行:
python [yourprogram].py
tensorboard --logdir = "./graphs" –port 7001
打开google浏览器访问:http://localhost:7001/
import tensorflow as tf
a = tf.constant(2)
b = tf.constant(3)
x = tf.add(a,b)
with tf.Session() as sess:
writer = tf.summary.FileWriter('./graphs,sess.graph) #写到日志文件里
print(sess.run(x))
writer.close() #关闭writer
自定义常量名称?建议自己指定
a = tf.constant(2,name="a")
关于constant 和numpy其实很像
tf.constant(value,dtype=None,shape=None,name=‘Const’,verify_shape=False)
operations
- tf.zeros
- tf.zeros_like
- tf.ones
- tf.ones_like
- tf.fill
- tf.constant
sequences
- tf.linspace
- tf.range
随机常量 & operations
现用现查 (实际是懒得整理了,没事了统一整理一下子,后面还有Tensorflow变量也是)