faithenXX-CSDN博客

原创剑指offer：数组中重复的数字

在一个长度为n的数组里的所有数字都在0到n-1的范围内。数组中某些数字是重复的，但不知道有几个数字是重复的。也不知道每个数字重复几次。请找出数组中任意一个重复的数字。例如，如果输入长度为7的数组{2,3,1,0,2,5,3}，那么对应的输出是第一个重复的数字2。不消耗额外内存的方法class Solution {public: // Parameters:

2017-09-09 14:31:20 376 1

转载 Focal loss

见链接 http://blog.csdn.net/u014380165/article/details/77019084

2017-08-16 21:17:41 696

转载 SSD 目标识别

转自 http://blog.csdn.net/smf0504/article/details/52745070一句话形容SSD：借鉴faster rcnn中anchor boxes的multi-scale版本的YOLOPreface这是今年 ECCV 2016 的一篇文章，是 UNC Chapel Hill（北卡罗来纳大学教堂山分校）的 Wei Liu 大神

2017-08-02 10:44:48 2450

转载 faster-RCNN

见链接： http://blog.csdn.net/zy1034092330/article/details/62044941

2017-08-01 20:12:01 368

转载 YOLO 论文笔记

Reference link: http://blog.csdn.NET/tangwei2014这是继RCNN，fast-RCNN 和 faster-RCNN之后，rbg（Ross Girshick）大神挂名的又一大作，起了一个很娱乐化的名字：YOLO。虽然目前版本还有一些硬伤，但是解决了目前基于DL检测中一个大痛点，就是速度问题。其增强版本GPU中能跑45fps，简化版本155fps

2017-08-01 15:34:16 426

原创 Caffe源码解读：防止梯度爆炸的措施-梯度裁剪

梯度裁剪是一种在非常深度的网络（通常是循环神经网络）中用于防止梯度爆炸（exploding gradient）的技术。执行梯度裁剪的方法有很多，但常见的一种是当参数矢量的 L2 范数（L2 norm）超过一个特定阈值时对参数矢量的梯度进行标准化，这个特定阈值根据函数：新梯度=梯度 * 阈值 / 梯度L2范数 new_gradients =

2017-05-12 16:02:34 6099

转载深度学习梯度下降的几种优化方式

转自：https://zhuanlan.zhihu.com/p/22252270前言（标题不能再中二了）本文仅对一些常见的优化方法进行直观介绍和简单的比较，各种优化方法的详细内容及公式只好去认真啃论文了，在此我就不赘述了。SGD此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochasti

2017-05-12 15:40:41 762

原创 Caffe源码解读：dropout_layer的正向传播和反向传播

原理：参数：1，神经元被drop out的概率p，被激活的概率为1-p 2，scale_train_标志位（train过程中被激活的神经元是否乘 1/1-p）train过程：前向传播过程中每个神经元以1-p的概率被激活被激活的神经元根据scale_train_标志来确定是否变大1/1-p倍test过程

2017-05-10 16:46:36 997

原创 Caffe源码解读：BatchNormLayer原理

template void BatchNormLayer::LayerSetUp(const vector*>& bottom, const vector*>& top) { //获取BatchNormParameter参数列表 BatchNormParameter param = this->layer_param_.batch_norm_param(); //得到m

2017-05-10 11:41:30 720

原创 Caffe中权值初始化方法

caffe中权值初始化方式有如下几种：template Filler* GetFiller(const FillerParameter& param) { const std::string& type = param.type(); if (type == "constant") { return new ConstantFiller(param); } else if

2017-05-09 20:28:03 1266

原创 Caffe源码解读：lrn_layer层原理

LRN全称为Local Response Normalization，即局部响应归一化层，具体实现在CAFFE_ROOT/src/caffe/layers/lrn_layer.cpp和同一目录下lrn_layer.cu中。该层需要参数有：norm_region：选择对相邻通道间归一化还是通道内空间区域归一化，默认为ACROSS_CHANNELS，即通道间归一化；

2017-05-09 19:50:00 805

原创 Caffe源码解读：pooling_layer的前向传播与反向传播

池化层分为最大池化和平均池化正向传播的原理就不说了。误差反向传播原理如下：　　假设第l(小写的l，不要看成数字’1’了)层为卷积层，第l+1层为pooling层，且pooling层的误差敏感项为： ,卷积层的误差敏感项为： , 则两者的关系表达式为：　　　　这里符号●表示的是矩阵的点积操作，即对应元素的乘积。卷积层和unsample()后的poo

2017-05-09 11:21:50 626

原创 Caffe源码解读：relu_layer前向传播和反向传播

relu_layer实际采用leaky_relu作为激活函数，普通relu优缺点如下：ReLU 的优点：Krizhevsky et al. 发现使用 ReLU 得到的SGD的收敛速度会比 sigmoid/tanh 快很多(看右图)。有人说这是因为它是linear，而且 non-saturating相比于 sigmoid/tanh，ReLU 只需要一个阈值就可以得到激

2017-05-08 20:17:36 1281

原创 Caffe源码解读：conv_layer的前向传播与反向传播

实现原理请见：https://zhuanlan.zhihu.com/p/22860936下面直接上conv_layer.cpp代码://前向传播template void ConvolutionLayer::Forward_cpu(const vector*>& bottom, const vector*>& top) { //blobs_[0]保存权值, blobs_

2017-05-08 19:44:49 745

转载 caffe常用的cblas函数

转自：http://www.cnblogs.com/huashiyiqike/p/3886670.htmlY=alpha * X +beta*Y template <>void caffe_cpu_axpbyfloat>(const int N, const float alpha, const float* X,

2017-05-08 11:43:12 631

原创 Caffe源码解读: Softmax_loss_Layer的前向与反向传播

1,前向传播分为两步：1，计算softmax概率prob_data，直接使用softmaxlayer的forward函数； 2，计算loss，采用交叉熵，即每个第i类数据的loss为-log(prob(i))。template void SoftmaxWithLossLayer::Forward_cpu( const vector*>& bo

2017-05-05 15:43:36 888

原创 Caffe源码解读: SoftmaxLayer的前向与反向传播

1.前向传播部分这部分直接参照softmax公式： template void SoftmaxLayer::Forward_cpu(const vector*>& bottom, const vector*>& top) { const Dtype* bottom_data = bottom[0]->cpu_data

2017-05-05 11:49:14 1254

转载交叉熵代价函数

转自：http://blog.csdn.net/u012162613/article/details/442399191.从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为：其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+b 】。

2017-05-05 10:52:29 280

原创剑指offer：把字符串转换成整数

题目描述将一个字符串转换成一个整数，要求不能使用字符串转换整数的库函数。数值为0或者字符串不是一个合法的数值则返回0 输入描述:输入一个字符串,包括数字字母符号,可以为空输出描述:如果是合法的数值表达则返回该数字，否则返回0输入例子:+2147483647 1a33输出例子:2147483647 0class Solut

2017-04-26 16:57:18 353

原创剑指offer：不用加减乘除做加法

题目描述写一个函数，求两个整数之和，要求在函数体内不得使用+、-、*、/四则运算符号。class Solution {public: int Add(int num1, int num2) { int diffOR,nextbit; do { diffOR = num1

2017-04-26 16:01:00 232

原创剑指offer：求1+2+3+...+n

题目描述求1+2+3+...+n，要求不能使用乘除法、for、while、if、else、switch、case等关键字及条件判断语句（A?B:C）。方法一：利用构造函数public: static int N; static int sum; Solution() { ++N; sum += N;

2017-04-26 15:47:47 323

原创剑指offer：孩子们的游戏(圆圈中最后剩下的数)

题目描述每年六一儿童节,牛客都会准备一些小礼物去看望孤儿院的小朋友,今年亦是如此。HF作为牛客的资深元老,自然也准备了一些小游戏。其中,有个游戏是这样的:首先,让小朋友们围成一个大圈。然后,他随机指定一个数m,让编号为0的小朋友开始报数。每次喊到m-1的那个小朋友要出列唱首歌,然后可以在礼品箱中任意的挑选礼物,并且不再回到圈中,从他的下一个小朋友开始,继续0...m-1报数....这样下去

2017-04-25 21:13:27 246

原创剑指offer：左旋转字符串

题目描述汇编语言中有一种移位指令叫做循环左移（ROL），现在有个简单的任务，就是用字符串模拟这个指令的运算结果。对于一个给定的字符序列S，请你把其循环左移K位后的序列输出。例如，字符序列S=”abcXYZdef”,要求输出循环左移3位后的结果，即“XYZdefabc”。是不是很简单？OK，搞定它！//字符串循环左移//二次翻转class Solution {public: st

2017-04-21 15:45:58 268

原创剑指offer：和为S的两个数字

题目描述输入一个递增排序的数组和一个数字S，在数组中查找两个数，使得他们的和正好是S，如果有多对数字的和等于S，输出两个数的乘积最小的。输出描述:对应每个测试案例，输出两个数，小的先输出。class Solution {public: vector FindNumbersWithSum(vector array, int sum) { vect

2017-04-21 15:04:30 317

原创剑指offer：和为S的连续正数序列

题目描述小明很喜欢数学,有一天他在做数学作业时,要求计算出9~16的和,他马上就写出了正确答案是100。但是他并不满足于此,他在想究竟有多少种连续的正数序列的和为100(至少包括两个数)。没多久,他就得到另一组连续正数和为100的序列:18,19,20,21,22。现在把问题交给你,你能不能也很快的找出所有和为S的连续正数序列? Good Luck! 输出描述:输出所有和为S的连续

2017-04-21 11:26:17 204

原创剑指offer：数组中只出现一次的数字

题目描述一个整型数组里除了两个数字之外，其他的数字都出现了两次。请写程序找出这两个只出现一次的数字。class Solution {public: //利用异或的特点 void FindNumsAppearOnce(vector data,int* num1,int *num2) { int size = data.size(); if(siz

2017-04-21 10:39:56 243

原创剑指offer：平衡二叉树

题目描述输入一棵二叉树，判断该二叉树是否是平衡二叉树。class Solution {public: bool IsBalanced_Solution(TreeNode* pRoot) { int depth = 0; return IsBalanced(pRoot, depth); } bool IsBalanced(TreeNod

2017-04-20 14:09:38 254

原创剑指offer：求二叉树的深度

题目描述输入一棵二叉树，求该树的深度。从根结点到叶结点依次经过的结点（含根、叶结点）形成树的一条路径，最长路径的长度为树的深度。/*struct TreeNode { int val; struct TreeNode *left; struct TreeNode *right; TreeNode(int x) : val(x), left(NULL), right(NU

2017-04-20 11:07:10 218

原创剑指offer：数字在排序数组中出现的次数

题目描述统计一个数字在排序数组中出现的次数。class Solution {public: //这个方法实际复杂度为O（n） //应该采用二分搜索，找到第一个和最后一个k int GetNumberOfK(vector data ,int k) { int size = data.size(); if (size == 0) re

2017-04-20 10:44:59 296

原创剑指offer：两个链表的第一个公共结点

题目描述输入两个链表，找出它们的第一个公共结点。/*struct ListNode { int val; struct ListNode *next; ListNode(int x) : val(x), next(NULL) { }};*/class Solution {public: ListNode* FindFirstCommonNo

2017-04-20 10:03:55 234

原创剑指offer：丑数

题目描述把只包含素因子2、3和5的数称作丑数（Ugly Number）。例如6、8都是丑数，但14不是，因为它包含因子7。习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第N个丑数。class Solution {public: //思路：后面的丑数等于前面的丑数乘2或3或5 int GetUglyNumber_Solution(int inde

2017-04-18 15:49:21 242

原创剑指offer：把数组排成最小的数

题目描述输入一个正整数数组，把数组里所有数字拼接起来排成一个数，打印能拼接出的所有数字中最小的一个。例如输入数组{3，32，321}，则打印出这三个数字能排成的最小数字为321323。#includeusing namespace std;class Solution {public: string PrintMinNumber(vector numbe

2017-04-13 16:50:07 228

原创剑指offer：连续子数组的最大和

题目描述HZ偶尔会拿些专业问题来忽悠那些非计算机专业的同学。今天测试组开完会后,他又发话了:在古老的一维模式识别中,常常需要计算连续子向量的最大和,当向量全为正数的时候,问题很好解决。但是,如果向量中包含负数,是否应该包含某个负数,并期望旁边的正数会弥补它呢？例如:{6,-3,-2,7,-15,1,2,2},连续子向量的最大和为8(从第0个开始,到第3个为止)。你会不会被他忽悠住？(子向量

2017-04-10 21:43:39 250

原创剑指offer：最小的K个数

题目描述输入n个整数，找出其中最小的K个数。例如输入4,5,1,6,2,7,3,8这8个数字，则最小的4个数字是1,2,3,4,。//用partition的时间复杂度是O(n)//用set的时间复杂度是0(n*lgk),但是适合海量数据class Solution {public: vector GetLeastNumbers_Solution(vector input,

2017-04-07 16:40:40 215

原创剑指offer：数组中出现次数超过一半的数字

题目描述数组中有一个数字出现的次数超过数组长度的一半，请找出这个数字。例如输入一个长度为9的数组{1,2,3,2,2,2,5,4,2}。由于数字2在数组中出现了5次，超过数组长度的一半，因此输出2。如果不存在则输出0。//利用快排思想找到第middle大的数//还有更简单的办法：保存两个值，保存元素和次数//每次向后遍历若元素相同，次数加1，不相同减1//若次数为0，则设置下

2017-04-07 16:15:32 236

原创剑指offer：字符串的全排列

题目描述输入一个字符串,按字典序打印出该字符串中字符的所有排列。例如输入字符串abc,则打印出由字符a,b,c所能排列出来的所有字符串abc,acb,bac,bca,cab和cba。输入描述:输入一个字符串,长度不超过9(可能有字符重复),字符只包括大小写字母。class Solution {public: vector vs;

2017-04-06 21:52:36 544

原创剑指offer：二叉搜索树与双向链表

题目描述输入一棵二叉搜索树，将该二叉搜索树转换成一个排序的双向链表。要求不能创建任何新的结点，只能调整树中结点指针的指向。/*struct TreeNode { int val; struct TreeNode *left; struct TreeNode *right; TreeNode(int x) : val(x), left(NULL), rig

2017-04-06 19:57:12 206

原创剑指offer：复杂链表的复制

题目描述输入一个复杂链表（每个节点中有节点值，以及两个指针，一个指向下一个节点，另一个特殊指针指向任意一个节点），返回结果为复制后复杂链表的head。（注意，输出结果中请不要返回参数中的节点引用，否则判题程序会直接返回空）/*struct RandomListNode { int label; struct RandomListNode *next, *rando

2017-04-05 22:07:04 161

原创剑指offer：二叉树中和为某一值的路径

题目描述输入一颗二叉树和一个整数，打印出二叉树中结点值的和为输入整数的所有路径。路径定义为从树的根结点开始往下一直到叶结点所经过的结点形成一条路径。/*struct TreeNode { int val; struct TreeNode *left; struct TreeNode *right; TreeNode(int x) : val(x), le

2017-04-01 20:55:41 180

原创剑指offer：二叉搜索树的后序遍历序列

题目描述输入一个整数数组，判断该数组是不是某二叉搜索树的后序遍历的结果。如果是则输出Yes,否则输出No。假设输入的数组的任意两个数字都互不相同。class Solution {public: bool VerifySquenceOfBST(vector sequence) { int size = sequence.size();

2017-04-01 20:16:24 253

deep learning 的一些标志性文章 A Fast Learning Algorithm for Deep Belief Nets (2006) - 首次提出layerwise greedy pretraining的方法，开创deep learning方向。 layerwise pretraining的Restricted Boltzmann Machine (RBM)堆叠起来构成 Deep Belief Network (DBN)，其中训练最高层的RBM时加入了label。之后对整个DBN进行fine-tuning。在 MNIST数据集上测试没有严重过拟合，得到了比Neural Network (NN)更低的test error。 Reducing the Dimensionality of Data with Neural Networks (2006) - 提出deep autoencoder，作为数据降维方法发在Science上。Autoencoder是一类通过最小化函数集对训练集数据的重构误差，自适应地编解码训练数据的算法。Deep autoencoder模型用Contrastive Divergence (CD)算法逐层训练重构输入数据的RBM，堆叠在一起fine-tuning最小化重构误差。作为非线性降维方法在图像和文本降维实验中明显优于传统方法。 Learning Deep Architectures for AI (2009) - Bengio关于deep learning的tutorial，从研究背景到RBM和CD再到数种deep learning算法都有详细介绍。还有丰富的reference。于是也有个缺点就是太长了。 A Practical Guide to Training Restricted Boltzmann Machines (2010) - 如果想要自己实现deep learning算法，这篇是不得不看的。我曾经试过自己写但是效果很不好，后来看到它才知道算法实现中还有很多重要的细节。对照网上的代码看也能更好地理解代码。 Greedy Layer-Wise Training of Deep Networks (2007) - 对DBN的一些扩展，比如应用于实值输入等。根据实验提出了对deep learning的performance的一种解释。 Why Does Unsupervised Pre-training Help Deep Learning? (2010) - 总结了对deep learning的pretraining作用的两种解释：regularization和help optimization。设计实验验证两种因素的作用。 Autoencoders, Unsupervised Learning, and Deep Architectures (2011) - 从理论角度对不同的Autoencoders作了统一分析的尝试。 On the Quantitative Analysis of Deep Belief Networks (2008) - 用annealed importance sampling (AIS)给出一种估计RBM的partition function的方法，从而能够估算p(x)以及比较不同的DBN。 Training Restricted Boltzmann Machines using Approximations to the Likelihood Gradient (2008) - 提出用persistent contrastive divergence (PCD)算法逼近 maximum likelihood estimation的目标，从而可以得到更好的generative model。传统CD算法并不是以最大化 p(x)为目标的，另有paper证明CD算法不对应任何优化目标函数

2015-09-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

关于深度学习(DL)的9篇标志性文章

深度学习经典论文（A fast learning algorithm for deep belief nets）

MFC 色彩编辑器

很基础的串口程序

空空如也