deep learning
深度学习
KeeJee
机器学习,数据挖掘
展开
-
深度学习 - 目标检测算法
1. 传统目标检测传统目标检测算法流程为:多尺度滑动窗口,对每个窗口进行特征提取,分类器分类。以adaboost人脸检测算法为例:1)多尺度滑动窗口提取很多不同尺度的窗口。2)对每个窗口进行特征提取,在人脸检测中常用的harr特征,如下图:分别对应的特征是:边缘特征,线性特征,方向特征。特征计算方式是白色区域像素之和 - 黑色区域像素之和。3)分类器分类,一般分为两类:原创 2017-07-10 13:53:48 · 6408 阅读 · 0 评论 -
深度学习 - 调参
1.样本要随机化,防止大数据淹没小数据2.样本要做归一化。关于归一化的好处请参考:为何需要归一化处理3.激活函数要视样本输入选择(多层神经网络一般使用relu)4.mini batch很重要,几百是比较合适的(很大数据量的情况下)5.学习速率(learning rate)很重要,比如一开始可以lr设置为0.01,然后运行到loss不怎么降的时候,学习速率除以10,接着训练6原创 2017-07-02 19:59:34 · 828 阅读 · 0 评论 -
VGG net
1. 简介VGGNet由牛津大学的视觉几何组(Visual Geometry Group)提出,是ILSVRC-2014中定位任务第一名和分类任务第二名。其突出贡献在于证明使用很小的卷积(3*3),增加网络深度可以有效提升模型的效果,而且VGGNet对其他数据集具有很好的泛化能力。如今,卷积神经网络已经成为计算机视觉领域的常用工具,所以有很多人尝试改善2012年提出的AlexNet转载 2017-07-07 09:41:00 · 5153 阅读 · 0 评论 -
深度学习 - ResNet
1. 深度网络的退化问题ResNet最初的想法在于: 在一个训练集上,深层网络不应该比浅层网络性能差,因为只需要将多出来的层全部优化为恒等映射,则深层网络等价于浅层网络。但论文中的试验又表明无论是在训练集还是在测试集上,50层的网络性能远差于20层的网络,这似乎是一个悖论。这一问题被称为深度网络的退化问题(degradation problem)。 2. ResNet基本网络结构原创 2017-07-07 14:12:46 · 3828 阅读 · 0 评论 -
机器学习 - 激活函数
激活函数是用来加入非线性因素的,因为线性模型的表达能力不够。常用激活函数 激活函数的选择是构建神经网络过程中的重要环节,下面简要介绍常用的激活函数。(1) 线性函数 ( Liner Function ) (2) 斜面函数 ( Ramp Function ) (3) 阈值函数 ( Threshold Fun原创 2017-07-02 19:09:41 · 1280 阅读 · 0 评论