tensorflow
zhouge000
这个作者很懒,什么都没留下…
展开
-
TensorFlow随笔记录 (7):对于BN 层及 Dropout 层使用的理解
参考链接:tensorflow中的batch_norm以及tf.control_dependencies和tf.GraphKeys.UPDATE_OPS的探究 1. Batch Normalization 解释:对卷积层来说,批量归一化发生在卷积计算之后、应用激活函数之前。训练阶段:如果卷积计算输出多个通道,我们需要对这些通道的输出分别做批量归一化,且每个通道都拥有独立的拉伸和偏移参数,并均为...原创 2020-01-06 06:56:04 · 791 阅读 · 0 评论 -
TensorFlow随笔记录 (5):对于优化器的理解
0. tf.train.Optimizer tensorflow里提供了丰富的优化器,这些优化器都继承与于Optimizer这个类。classOptimizer有一些方法,这里简单介绍下: 0.1.minimize minimize( loss, global_step=None, var_list=None, gate_gradients=GAT...原创 2019-12-31 06:53:13 · 382 阅读 · 0 评论 -
TensorFlow随笔记录 (4): 激活函数和初始化方式
ReLU 示例代码:tf.nn.relu import matplotlib.pyplot as plt import numpy as np def relu(z): return np.maximum(0, z) z = np.linspace(-5, 5, 200) plt.plot(z, relu(z), "r--", linewidth=2) props = d...原创 2019-12-23 06:51:41 · 440 阅读 · 0 评论 -
TensorFlow随笔记录 (3): 对设置Learning Rate Scheduling的理解
目录 tensorflow中常用学习率更新策略 指数衰减 tf.train.exponential_decay() 分段常数衰减 tf.train.piecewise_constant() 多项式衰减tf.train.polynomial_decay() 自然指数衰减tf.train.natural_exp_decay() 倒数衰减tf.train.inverse_time...原创 2019-12-20 06:51:46 · 820 阅读 · 0 评论 -
TensorFlow随笔记录 (2): 简单理解tf.nn.conv2d和tf.nn.max_pool方法的使用
方法定义:tf.nn.conv2d tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=True, data_format="NHWC", dilations=[1,1,1,1], name=None) 参数: input:输入的要做卷积的数据体,要求是一个`Tensor` filter:卷积核,要求也是一个`...原创 2019-12-18 06:22:28 · 154 阅读 · 0 评论 -
TensorFlow随笔记录 (1): 几个基本概念
目录 基本使用 综述 MNIST Numpy Tensor 常量constant 变量Variable 占位符placeholder 维度增加expand_dims reshape 类型转换 共享变量 变量初始化方式 基本使用 使用graph来表示计算任务 在被称之为Session的上下文中执行graph 使用tensor表示数据 通过Var...翻译 2019-12-18 06:18:14 · 169 阅读 · 0 评论