- 博客(9)
- 资源 (21)
- 收藏
- 关注
原创 深度学习核心技术与实战视频教程-赵建亭-专题视频课程
该深度学习算法培训课程会教大家使用5W1H(what、why、when、who、where、how)方式来分析深度学习算法相关基础、卷积神经网络核心技术、应用领域等相关知识。然后通过经典的卷积神经网络模型LeNet-5来进行实战教学,深入浅出。...
2018-06-22 13:10:43 359
原创 实战神经网络-赵建亭-专题视频课程
详细全面讲解神经网络的核心技术及编程实现,包括前向传播,反向传播,参数初始化,梯度下降,隐藏层解密等神经网络核心技术。
2018-06-21 15:18:21 219
原创 神经网络三之权重参数的初始化技巧
神经网络的结构是开发都自己定义的,主要包括神经网络的层数、每层的结点数、层与层之间的连接方式,神经网络的训练过程就是学习参数的过程,而刚开始训练时参数矩阵都是通过一定的方式生产的。下面分别介始常用的参数矩阵的生产方式基本原则 一般情况下较大的初始权重经过前向传播过程,到输出层的的输出信号也是较大的对一些激活函数如sigmod会过快的导致网络饱和,就会导致学习权重的能力下降,所以一...
2018-06-14 15:32:06 16589
原创 为什么损失函数多用交叉熵entropy来计算
我们知道对于回归问题一般采用均方差来计算损失,这是因为回归输出的是一个实数,这样来计算一个batch中预测值与实际的均方差是自然而然的选择的,而且导数非常简单(神经网络参数的更新依据就是梯度也就是偏导),这里不再推导均方差的偏导。 但对于分类问题,输出的是一个n维的向量,向量的每个值是对应分类的概率,概率最大的就是预测的分类结果。样本的标签值也是一个概率分布,表情衡量两个概率分布之间的距...
2018-06-13 16:35:25 17126
原创 神经网络二之神经网络反向传播原理与python编程实现
误差 样本数据的真实值与神经网络的输出值之间的差值称为误差,当然一般不会直接使用直接的差值,常用的有回归算法的均方差、分类的交叉熵,这方面不影响我们来讨论神经网络的反向传播原理与过程,所以不做过多讨论。梯度下降 目前的神经网络层数可达百层以上,激活函数又是非线性的,很难用一个数学表达式来表达整个神经网络的输出,即使能够找一个数学表达式也是非常复杂,如果能够找到一个数学表达式我们...
2018-06-07 11:00:35 21795 1
原创 tensorflow滑动平均模型ExponentialMovingAverage的使用
滑动平均模型可以在一定程度上提高最终模型在测试集或实际预测数据的准确性。神经网络中每层的参数矩阵W都建一个对应的影子变shade_w量,一般情况下每一批数据更新一次W,shade_w也会随着更新但更新的幅度小有W。影子变量更新值由下面的公式决定: shadow_w = decay * shadow_w + (1-decay) * w shadow_w的初始值就是w的初始值,decay...
2018-06-06 12:16:41 15872
原创 tensolrflow中get_variable和tf.Variable区别
先来看下二者的定义: Variable:必须给定的参数只有一个initial_value,如果名字没指定会自己生成一个Variable:0类似于此 def __init__(self, initial_value=None, trainable=True, collections=None...
2018-06-04 18:00:49 15410
原创 神经网络一之神经网络结构与原理以及python实战
本系列埔文由浅入深介绍神经网络相关知识,然后深入神经网络核心原理与技术,最后浅出python神经网络编程实战。通过本系列博文,您将彻底理解神经网络的原理以及如何通过python开发可用于生产环境的程序。本博文论讨神经网络的结构与原理 计算机所长: 了解计算机源理的人都知道计算机只适合做与之相匹配的任务(计算机只能执行0和1的二制机加法),如数学计算、绘制图表,目前的计算机每秒...
2018-06-04 13:05:29 19202 1
中文分词算法技术分享PPT
2017-07-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人