tensorflow基础之——将python函数转化为tensorflow图函数

最新推荐文章于 2022-04-17 19:02:44 发布

zhao_crystal

最新推荐文章于 2022-04-17 19:02:44 发布

阅读量1.5k

点赞数

本文链接：https://blog.csdn.net/zhao_crystal/article/details/122005635

版权

深度学习专栏收录该内容

30 篇文章 2 订阅

订阅专栏

1. 使用tf.function转化成tensorflow函数

2.使用装饰器将python函数转化为tensorflow中的函数

3. 展示tensorflow的函数结构

4.python函数中有变量的处理方法

5.对函数的输入类型作限定

5.1 为什么要对函数的入参做类型的限定？

5.2 使用tf.function中的input_signature对入参类型进行限定

5.3 使用get_concrete_function对入参类型进行限定，并将function转化为带有图定义的concreteFunction

6.查看图

6.1 查看有图定义的concrete function 的图

6.2 查看图的operations

6.2.1 查看某个operation的输入和输出

6.2.2 通过name查看图的某个operation

6.3 通过name查看tensor

6.4 查看图的定义

7. 总结:将python函数转化为tensorflow图函数的意义

在tensorflow库函数中，做了各种各样的优化，比如针对编译器等
通过某种方法将python函数变成tensorflow库函数是不是更好呢？

1. 使用tf.function转化成tensorflow函数

首先，编写python函数

# 编写python函数
def scaled_elu(z, scale=1.0, alpha=1.0):
    # z >= 0 ? scale * z: scale * alpha * tf.nn.elu(z) 三目运算符
    is_positive = tf.greater_equal(z, 0.0)
    # tf.where 表示三目运算符
    return scale * tf.where(is_positive, z, alpha * tf.nn.elu(z))

print(scaled_elu(-3.))
print(scaled_elu([-3., 0., 3]))

使用tf.function转化成tensorflow函数

scaled_elu_tf = tf.function(scaled_elu)
print(scaled_elu_tf(-3.))
print(scaled_elu_tf([-3., 0., 3]))

scaled_elu_tf 和 scaled_elu是什么关系呢？

print(scaled_elu_tf.python_function is scaled_elu)

上述的输出为True。即scaled_elu_tf 的 python function 为 scaled_elu

scaled_elu_tf 和 scaled_elu有什么不同，是否想我们之前预言的那样，会有性能的提升呢？

%timeit scaled_elu(tf.random.normal((10000, 10000)))
%timeit scaled_elu_tf(tf.random.normal((10000, 10000)))

输出结果为：

可见 scaled_elu_tf 比 scaled_elu运行的稍快一些。可以看出，tensorflow函数比python函数的时间性能上有所提升。

2.使用装饰器将python函数转化为tensorflow中的函数

@tf.function
def scaled_elu_tf_2(z, scale=1.0, alpha=1.0):
    # z >= 0 ? scale * z: scale * alpha * tf.nn.elu(z) 三目运算符
    is_positive = tf.greater_equal(z, 0.0)
    # tf.where 表示三目运算符
    return scale * tf.where(is_positive, z, alpha * tf.nn.elu(z))

print(scaled_elu_tf_2(-3.))
print(scaled_elu_tf_2([-3., 0., 3]))

测试时间性能的提升

scaled_elu_2 = scaled_elu_tf_2.python_function
%timeit scaled_elu_2(tf.random.normal((10000, 10000)))
%timeit scaled_elu_tf_2(tf.random.normal((10000, 10000)))

3. 展示tensorflow的函数结构

from IPython.display import display, Markdown

def display_tf_code(func):
    code = tf.autograph.to_code(func)
    display(Markdown('```python\n{}\n```'.format(code)))

display_tf_code(scaled_elu)

结构如下所示

4.python函数中有变量的处理方法

note: 变量必须在tf.function的外面进行初始化

var = tf.Variable(0.)

@tf.function
def add_21():
    return var.assign_add(21)

print(add_21())

Q: 如果把variable定义在里面呢？

A：会抛出异常

在定义神经网络的过程中，用的更多的是variable。
故定义神经网络的时候，在转成tensorflow函数之前，需要先对变量进行初始化。

5.对函数的输入类型作限定

# 如下是一个有入参的tensorflow图

@tf.function
def cube(z):
    return tf.pow(z, 3)

print(cube(tf.constant([1., 2., 3.]))) # 输入为float类型
print(cube(tf.constant([1, 2, 3]))) # 输入为int类型

如上所示，若不对函数的输入作限定，不管是传入float类型的数还是int类型的数都是可以的。

5.1 为什么要对函数的入参做类型的限定？

首先，对入参的类型作限定，会让输入的类型更加明确，
其次，由于python中没有类型信息，容易导致传惨错误。若对入参类型加以限定，就会减少传参错误的情况。

5.2 使用tf.function中的input_signature对入参类型进行限定

@tf.function(input_signature=[tf.TensorSpec([None], tf.int32, name='x')])
def cube(z):
    return tf.pow(z, 3)

try:
    print(cube(tf.constant([1., 2., 3.]))) # 输入为float类型
except ValueError as ex:
    print(ex)

print(cube)
print(cube(tf.constant([1, 2, 3]))) # 输入为int类型

如上述代码所示：对函数的入参做了类型限制，为int类型。故传入float类型的数据时，就会触发异常。

5.3 使用get_concrete_function对入参类型进行限定，并将function转化为带有图定义的concreteFunction

函数有了input_signature特性之后，才能使用save_model 保存模型。

在savedModel的过程中，也可以使用get_concrete_function 函数来把一个 tf.function标注的普通python函数转化为带有图定义的函数。

@tf.function py func ——> tf.graph
get_concrete_function ——> add input signature ——>savedModel

# @tf.function py func ——> tf.graph
# get_concrete_function ——> add input signature ——>savedModel

@tf.function()
def cube_2(z):
    return tf.pow(z, 3)

cube_2_func_int32 = cube_2.get_concrete_function(
    tf.TensorSpec([None], tf.int32))

print(cube_2_func_int32)
print(cube_2_func_int32(tf.constant([1, 2, 3]))) # 输入为int类型

除了使用类型，也可以使用具体的数值，对入参的类型进行限定。

cube_2_func_int32_2 = cube_2.get_concrete_function(
    tf.TensorSpec([5], tf.int32))

cube_2_func_int32_3 = cube_2.get_concrete_function(
    tf.constant([5]))

cube_2_func_int32_4 = cube_2.get_concrete_function(
    tf.constant([1, 2, 5]))

print(cube_2_func_int32_2)
print(cube_2_func_int32_2(tf.constant([1, 2, 3, 5, 6, 7]))) # 输入为int类型

print(cube_2_func_int32_3)
print(cube_2_func_int32_3(tf.constant([1, 2, 3, 5, 6, 7]))) # 输入为int类型

print(cube_2_func_int32_4)
print(cube_2_func_int32_4(tf.constant(10))) # 输入为int类型

note：这里只是对类型敏感，对shape不敏感

如下所示：

输出为：

定义入参的名字。

tf.function中的 input_signature中同样也是使用tf.TensorSpec，也可以定义入参的名字。

# tf.function中的 input_signature中同样也是使用tf.TensorSpec
cube_2_func_int32_name = cube_2.get_concrete_function(
    tf.TensorSpec([None], tf.int32, name='t'))

print(cube_2_func_int32_name)

6.查看图

note：虽然tf.function 中也可以对函数加input_signature。但是必须通过get_concrete_function才能将tf.function转化成带有图定义的对象。