深度学习
月半rai
这个作者很懒,什么都没留下…
展开
-
PyTorch中使用指定的GPU
转载自http://www.cnblogs.com/darkknightzh/p/6836568.htmlPyTorch默认使用从0开始的GPU,如果GPU0正在运行程序,需要指定其他GPU。有如下两种方法来指定需要使用的GPU。1. 类似tensorflow指定GPU的方式,使用CUDA_VISIBLE_DEVICES。1.1 直接终端中设定:CUDA_VISIB...转载 2019-04-28 20:49:09 · 561 阅读 · 0 评论 -
经典网络解读系列(四):mask rcnn
mask rcnn用于实现实例分割实例分割是物体检测+语义分割的综合体。相对物体检测的边界框,实例分割可精确到物体的边缘;相对语义分割,实例分割可以标注出图上同一物体的不同个体(羊1,羊2,羊3...)网络结构: 其中 黑色部分为原来的 Faster-RCNN,红色部分为在 Faster网络上的修改:1)将 Roi Pooling 层替换成了 RoiAlign;...原创 2018-06-19 20:32:57 · 565 阅读 · 0 评论 -
经典网络解读系列(三):faster rcnn
大部分博客内容来自:https://zhuanlan.zhihu.com/p/31426458 讲的非常详细,强烈推荐faster rcnn是fast rcnn的改进版本,主要贡献是改进了候选区域的选取方式,由原本的ss(select search)转换为RPN网络,这样所有的计算都在GPU上进行,和Fast R-CNN的卷积网络一起复用,大大缩短了计算时间。同时mAP又上了一个台阶。...原创 2018-06-19 16:24:03 · 738 阅读 · 0 评论 -
经典网络解读系列(二):fast rcnn
部分博客内容引用:https://alvinzhu.xyz/2017/10/10/fast-r-cnn/https://blog.csdn.net/shenxiaolu1984/article/details/51036677 首先讲一下前作rcnn的缺点,有关rcnn,可以参考博客https://blog.csdn.net/zlrai5895/article/details...原创 2018-06-19 10:43:02 · 254 阅读 · 0 评论 -
经典网络解读系列(一):RegionProposal+CNN (rcnn)
论文来自《Rich feature hierarchies for accurate object detection and semantic segmentation》目标:目标检测 模型结构:1、使用select search对每张图像产生1k-2k个候选区域(这一步和目标类别无关)2、对候选区域resize到统一尺寸。(227*227)这里resize的方法有三种:...原创 2018-06-18 16:38:16 · 2877 阅读 · 0 评论 -
非极大值抑制(Non-Maximum Suppression,NMS)
转自https://www.cnblogs.com/makefile/p/nms.html 概述非极大值抑制(Non-Maximum Suppression,NMS),顾名思义就是抑制不是极大值的元素,可以理解为局部最大搜索。这个局部代表的是一个邻域,邻域有两个参数可变,一是邻域的维数,二是邻域的大小。这里不讨论通用的NMS算法(参考论文《Efficient Non-Maximum ...转载 2018-06-18 10:57:18 · 976 阅读 · 0 评论 -
经典网络复现系列(二):SegNet
1、论文简要和FCN结构相似,只不过编码器使用了VGG16的13个卷积层,在池化过程中,保存了最大池化的索引。上采样到恢复到原本的位置,其他位置的元素为0,然后进行反卷积。这样做的好处在于1)改善边界描述2)减少end2end的训练参数(与FCN相比节约内存)3)这样的形式可用于多种encoder-decoder架构有工作将RNN、条件随机场(CRF)引入配合decoder做预测,有助...原创 2018-06-05 11:42:14 · 6135 阅读 · 9 评论 -
经典网络复现系列(三):GAN
1、简述最近读了Gnerative Adversarial Nets(GAN)的论文,有种无间道的感觉。其他话不说先放张图。训练网络的时候,需要大量的样本,样本数量的不足会导致网络训练的效果不好。那么我们可不可以自己生成一些样本?这时候GAN就派上了用场。GAN蕴含了两个网络博弈的思想。它由两个网络结构组成,即生成器(generator)和鉴定器(discriminator)。生成器负责产生...原创 2018-06-11 10:59:23 · 4439 阅读 · 0 评论 -
学习率的设定
1、一开始先设定一个很小的学习率,随着batch step 变大,当损失函数不再下降,而是开始波动的时候,拐点处的学习率设置为初始学习率。 2、设定完初始学习率以后,先训练一段时间,到一定epoch后,损失开始不再下降而是波动,此时开始衰减学习率。 ...原创 2018-10-21 18:06:38 · 4172 阅读 · 3 评论 -
python学习(六):python中赋值、浅拷贝、深拷贝的区别
存在赋值、浅拷贝、深拷贝问题的数据类型是对组合对象来说,所谓的组合对象就是包含了其它对象的对象,如列表,类实例。其他的单个对象则不存在这个问题。可变对象: list, dict.不可变对象有: int, string, float, tuple. 直接赋值:其实就是对象的引用(别名)。 浅拷贝(copy):拷贝父对象,不会拷贝对象的内部的子对象。 深拷贝...原创 2018-11-16 16:24:39 · 195 阅读 · 0 评论 -
LSTM反向传播算法
https://zybuluo.com/hanbingtao/note/581764转载 2019-03-30 17:26:32 · 1075 阅读 · 0 评论 -
循环神经网络RNN 梯度推导(BPTT)
https://zhuanlan.zhihu.com/p/32930648https://zhuanlan.zhihu.com/p/26892413转载 2019-03-29 22:31:58 · 1361 阅读 · 0 评论 -
batch_normalization和layer normalization的区别
直观的理解,batch vs layer normalization。batch是“竖”着来的,各个维度做归一化,所以与batch size有关系。layer是“横”着来的,对一个样本,不同的神经元neuron间做归一化。 给一个批次的数据[b,n,w,h] b是batch_size,n是特征图数目,w、h是宽和高。batch_normalization是针对所有的样本,对...原创 2018-12-31 12:48:05 · 3506 阅读 · 0 评论 -
独立同分布
在概率论与统计学中,独立同分布(英语:Independent and identically distributed,缩写为IID)是指一组随机变量中每个变量的概率分布都相同,且这些随机变量互相独立。...原创 2018-12-31 12:42:05 · 2739 阅读 · 0 评论 -
Batch Normalization
原文地址:http://blog.csdn.net/hjimce/article/details/50866313作者:hjimce一、背景意义本篇博文主要讲解2015年深度学习领域,非常值得学习的一篇文献:《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate S...转载 2018-12-31 12:36:58 · 181 阅读 · 0 评论 -
机器翻译的进化过程以及在image caption上的迁移
1、最早的时候,机器翻译使用基于lstm或者rnn的eq2seq模型。 整个模型分为解码和编码两个过程,将输入序列X进行编码得到向量C,然后对C进行解码得到输出序列Y。其中,X、Y均由各自的单词序列组成(X,Y是两种不同的语言):X = (x1,x2,...,xm)Y = (y1,y2,...,yn)Encoder:是将输入序列通过非线性变换编码成一个指定长...原创 2019-01-01 15:30:44 · 1230 阅读 · 3 评论 -
L1惩罚项和L2惩罚项
x即为参数。L2正则化参数从公式5可以看到,λλ越大,θjθj衰减得越快。另一个理解可以参考图2,λλ越大,L2圆的半径越小,最后求得代价函数最值时各参数也会变得很小。...原创 2018-12-10 22:48:56 · 12977 阅读 · 1 评论 -
word2vec
自从 Google 的 Tomas Mikolov 在《Efficient Estimation of Word Representation in Vector Space》提出 Word2Vec,就成为了深度学习在自然语言处理中的基础部件。Word2Vec 的基本思想是把自然语言中的每一个词,表示成一个统一意义统一维度的短向量。至于向量中的每个维度具体是什么意义,没人知道,也无需知道,也许对应...转载 2018-08-24 18:02:45 · 231 阅读 · 0 评论 -
条件随机场CRF
http://blog.csdn.net/xueyingxue001/article/details/51498968 声明: 1,本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结,不得用作商用,欢迎转载,但请注明出处(即:本帖地址)。 2,由于本人在学习初始时有很多数学知识都已忘记,所以为了弄懂其中的内容查阅了很多资料,所以里面应该会有引用其...转载 2017-12-16 19:37:27 · 445 阅读 · 0 评论 -
弱监督学习
通常来说,弱监督可以分为三类。第一类是不完全监督(incomplete supervision),即,只有训练集的一个(通常很小的)子集是有标签的,其他数据则没有标签。这种情况发生在各类任务中。例如,在图像分类任务中,真值标签由人类标注者给出的。从互联网上获取巨量图片很容易,然而考虑到标记的人工成本,只有一个小子集的图像能够被标注。第二类是不确切监督(inexact supervision)...转载 2018-12-13 21:51:43 · 2421 阅读 · 0 评论 -
多示例学习以及对应的神经网络算法
1、多示例学习的概念简单介绍下多示例学习。多示例学习实际是一种半监督算法。考虑这样一种训练数据:我们有很多个数据包(bag),每个数据包中有很多个示例(instance)。我们只有对bag的正负类标记,而没有对instance的正负例标记。当一个bag被标记为正时,这个包里一定有一个instance是正类,但也有可能其他instance是负类,当一个bag被标记为负类时,它里面的所有insta...原创 2018-12-13 17:42:56 · 4370 阅读 · 0 评论 -
scheduled sampling
当前image caption 存在的四个主要问题:1、指标的提升2、暴露偏差的累积。这个是指预测的时候,前面预测的结果是错的,后面的错得越来越离谱。3、损失函数和评级指标没有直接挂钩。4、只适用于配对的图像和文本。 这篇文章主要用于介绍针对第二个问题的一种解决方法。 序列生成任务的生成目标是在给定源输入的条件下,最大化目标序列的概率。训练时该模型将目标序列中的真实...原创 2018-12-03 10:03:20 · 4167 阅读 · 0 评论 -
常见的评价指标
一、分类1、精确率、精度(Precision)精确率(precision)定义为:它表示的是预测为正的样本中有多少是对的。2、召回率(Recall) R = TP/(TP+FN) 它表示的是样本中的正例有多少被预测正确了。3、混淆矩阵(又叫做误差矩阵) 4、kappa系数用于一致性检验,也可以用于衡量分类精度。越接近于1越好。 ...原创 2018-12-01 16:42:17 · 2531 阅读 · 0 评论 -
经典网络复现系列(一):FCN
1、FCN网络架构FCN的前半段与VGG19架构相同,直接使用了VGG19预训练好的权重。前半段的具体架构如下:layers = ( 'conv1_1', 'relu1_1', 'conv1_2', 'relu1_2', 'pool1', 'conv2_1', 'relu2_1', 'conv2_2', 'relu2_2', 'pool2', ...原创 2018-05-27 22:50:05 · 7779 阅读 · 2 评论 -
什么是迁移学习
假如我们有两个相似的数据域,source和target,source有标记,target无标记。我们希望可以节省标记的时间,利用在sorce上训练的模型训练出target上的模型。 因此,迁移学习的前提是source和target相似度足够高。 迁移学习主要分为四种:(1)基于样本的迁移学习 通过对源域中有标签样本的加权完成知识迁移(2...原创 2017-12-05 12:59:11 · 1370 阅读 · 0 评论 -
CNN中感受野的计算
感受野(receptive field)是怎样一个东西呢,从CNN可视化的角度来讲,就是输出featuremap某个节点的响应对应的输入图像的区域就是感受野。比如我们第一层是一个3*3的卷积核,那么我们经过这个卷积核得到的featuremap中的每个节点都源自这个3*3的卷积核与原图像中3*3的区域做卷积,那么我们就称这个featuremap的节点感受野大小为3*3如果再经过pooling转载 2017-12-01 22:43:23 · 338 阅读 · 0 评论 -
ubuntu16.04+cuda8.0+cudnn6+opencv3.1 搭建caffe与tensorflow
网上很多搭建caffe的教程都不适用,安装的过程中走了很多弯路,进了很多坑,所以做一个笔记。 一、ubuntu系统1.Ubuntu单系统的安装 参考http://blog.csdn.net/zuoyefeng1990/article/details/50255645。2.unbuntu系统安装过程中的分区 参考http://blog.csdn.net/arcs...原创 2017-11-21 16:24:27 · 743 阅读 · 0 评论