深度学习
KeeJee
机器学习,数据挖掘
展开
-
机器学习 - 激活函数
激活函数是用来加入非线性因素的,因为线性模型的表达能力不够。常用激活函数 激活函数的选择是构建神经网络过程中的重要环节,下面简要介绍常用的激活函数。(1) 线性函数 ( Liner Function ) (2) 斜面函数 ( Ramp Function ) (3) 阈值函数 ( Threshold Fun原创 2017-07-02 19:09:41 · 1280 阅读 · 0 评论 -
LSTM
LSTM的一些东西有点模糊。 理解LSTM在keras API中参数return_sequences和return_state https://www.cnblogs.com/zhangchaoyang/articles/6684906.html https://www.jianshu.com/p/9dc9f41f0b29 ...原创 2018-07-12 11:54:30 · 492 阅读 · 0 评论 -
自编码器
https://www.jianshu.com/p/f34842a3b19a原创 2018-07-12 10:42:20 · 350 阅读 · 0 评论 -
改进卷积神经网络,你需要这14种设计模式
作者:Mariya Yao机器之心编译参与:马亚雄、吴攀深度学习领域近来已经发展出大量的新架构,而如何选择使用这些新架构提升卷积神经网络的性能就显得越发重要了。机器之心之前报道过提交 ICLR 2017 的论文:也正是关注于此。而本文在描述14种设计模式之余更加注重于阐述构建和训练卷积网络的小技巧。自从 2011 年深度卷积神经网络(CNN)在图像分类任务中优于人类开始,它们就成为了计算机视觉任务...转载 2018-06-28 14:42:33 · 3859 阅读 · 0 评论 -
LSTM - 通过keras上实践理解LSTM
https://blog.csdn.net/ma416539432/article/details/53509607转载 2018-07-10 15:48:38 · 1318 阅读 · 0 评论 -
DeepFM
论文: https://arxiv.org/pdf/1606.07792.pdfdeepfm在kaggle竞赛中的应用: https://github.com/ChenglongChen/tensorflow-DeepFM/tree/master/examplehttps://www.jianshu.com/p/6f1c2643d31b原创 2018-06-25 16:28:23 · 1411 阅读 · 0 评论 -
深度学习 - ResNet
1. 深度网络的退化问题ResNet最初的想法在于: 在一个训练集上,深层网络不应该比浅层网络性能差,因为只需要将多出来的层全部优化为恒等映射,则深层网络等价于浅层网络。但论文中的试验又表明无论是在训练集还是在测试集上,50层的网络性能远差于20层的网络,这似乎是一个悖论。这一问题被称为深度网络的退化问题(degradation problem)。 2. ResNet基本网络结构原创 2017-07-07 14:12:46 · 3828 阅读 · 0 评论 -
深度学习 - 目标检测算法
1. 传统目标检测传统目标检测算法流程为:多尺度滑动窗口,对每个窗口进行特征提取,分类器分类。以adaboost人脸检测算法为例:1)多尺度滑动窗口提取很多不同尺度的窗口。2)对每个窗口进行特征提取,在人脸检测中常用的harr特征,如下图:分别对应的特征是:边缘特征,线性特征,方向特征。特征计算方式是白色区域像素之和 - 黑色区域像素之和。3)分类器分类,一般分为两类:原创 2017-07-10 13:53:48 · 6408 阅读 · 0 评论 -
深度学习 - 调参
1.样本要随机化,防止大数据淹没小数据2.样本要做归一化。关于归一化的好处请参考:为何需要归一化处理3.激活函数要视样本输入选择(多层神经网络一般使用relu)4.mini batch很重要,几百是比较合适的(很大数据量的情况下)5.学习速率(learning rate)很重要,比如一开始可以lr设置为0.01,然后运行到loss不怎么降的时候,学习速率除以10,接着训练6原创 2017-07-02 19:59:34 · 828 阅读 · 0 评论 -
VGG net
1. 简介VGGNet由牛津大学的视觉几何组(Visual Geometry Group)提出,是ILSVRC-2014中定位任务第一名和分类任务第二名。其突出贡献在于证明使用很小的卷积(3*3),增加网络深度可以有效提升模型的效果,而且VGGNet对其他数据集具有很好的泛化能力。如今,卷积神经网络已经成为计算机视觉领域的常用工具,所以有很多人尝试改善2012年提出的AlexNet转载 2017-07-07 09:41:00 · 5153 阅读 · 0 评论