zlrai5895的博客

1、beam search 一方面可以提升指标，另一方面也可以解决生成的句子不通顺的问题。因此，不管是在训练测试的过程中都要开beamsearch ，对提高指标有帮助。还有就是，如果训练的时候 beam size设置为1，而只是在测试的时候使用beamsearch，原本好的模型可能会变得还不如原本差的模型。也就是，beam size=1下的好的模型 到了beam size=5下未必还能继续好。2...

转载自http://www.cnblogs.com/darkknightzh/p/6836568.htmlPyTorch默认使用从0开始的GPU，如果GPU0正在运行程序，需要指定其他GPU。有如下两种方法来指定需要使用的GPU。1. 类似tensorflow指定GPU的方式，使用CUDA_VISIBLE_DEVICES。1.1 直接终端中设定：CUDA_VISIB...

无监督的caption文章使用一个图像数据集（MSCOCO）和一个文本语料库（从Web上抓取的200多万个句子组成图像描述语料库） 来做无监督caption。没有任何配对集合。1、模型结构：提出的图像字幕模型由图像编码器（没有用VGG 和resnet，改用了Inception v4），句子生成器和句子鉴别器组成。训练目标包括了三部分：（1）使用语料库来训练一个CGAN网...

https://zybuluo.com/hanbingtao/note/581764

https://zhuanlan.zhihu.com/p/32930648https://zhuanlan.zhihu.com/p/26892413

• 关于RNN结构•关于RNN前向传播•关于RNN反向传播• 解决方法1. 关于RNN结构循环神经网络RNN（Recurrent Neural Network）是用于处理序列数据的一种神经网络，已经在自然语言处理中被广泛应用。下图为经典RNN结构：RNN结构2. 关于RNN前向传播RNN前向传导公式：其中: St : t 时刻...

　　　　在Bagging与随机森林算法原理小结中，我们对随机森林(Random Forest, 以下简称RF）的原理做了总结。本文就从实践的角度对RF做一个总结。重点讲述scikit-learn中RF的调参注意事项，以及和GBDT调参的异同点。1. scikit-learn随机森林类库概述　　　　在scikit-learn中，RF的分类类是RandomForestClassifier...

1、最早的时候，机器翻译使用基于lstm或者rnn的eq2seq模型。         整个模型分为解码和编码两个过程，将输入序列X进行编码得到向量C，然后对C进行解码得到输出序列Y。其中，X、Y均由各自的单词序列组成（X,Y是两种不同的语言）：X = (x1,x2,...,xm)Y = (y1,y2,...,yn)Encoder：是将输入序列通过非线性变换编码成一个指定长...

1、最早的时候，机器翻译使用基于lstm或者rnn的eq2seq模型。         整个模型分为解码和编码两个过程，将输入序列X进行编码得到向量C，然后对C进行解码得到输出序列Y。其中，X、Y均由各自的单词序列组成（X,Y是两种不同的语言）：X = (x1,x2,...,xm)Y = (y1,y2,...,yn)Encoder：是将输入序列通过非线性变换编码成一个指定长...

直观的理解，batch vs layer normalization。batch是“竖”着来的，各个维度做归一化，所以与batch size有关系。layer是“横”着来的，对一个样本，不同的神经元neuron间做归一化。 给一个批次的数据[b,n,w,h]   b是batch_size,n是特征图数目，w、h是宽和高。batch_normalization是针对所有的样本，对...

在概率论与统计学中，独立同分布（英语：Independent and identically distributed，缩写为IID）是指一组随机变量中每个变量的概率分布都相同，且这些随机变量互相独立。...

原文地址：http://blog.csdn.net/hjimce/article/details/50866313作者：hjimce一、背景意义本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by  Reducing Internal Covariate S...

 在类的继承中，如果重定义某个方法，该方法会覆盖父类的同名方法，但有时，我们希望能同时实现父类的功能，这时，我们就需要调用父类的方法了，可通过使用 super 来实现，比如：class Animal(object): def __init__(self, name): self.name = name def greet(self): pr...

 通常来说，弱监督可以分为三类。第一类是不完全监督（incomplete supervision），即，只有训练集的一个（通常很小的）子集是有标签的，其他数据则没有标签。这种情况发生在各类任务中。例如，在图像分类任务中，真值标签由人类标注者给出的。从互联网上获取巨量图片很容易，然而考虑到标记的人工成本，只有一个小子集的图像能够被标注。第二类是不确切监督（inexact supervision）...

出处： http://blog.csdn.net/u013074302/article/details/76422551导语在NLP领域，语义相似度的计算一直是个难题：搜索场景下query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。本文通过介绍DSSM、CNN-DSSM、LSTM-DSSM等深度学习模型在计算语义相似度上的应...

1、多示例学习的概念简单介绍下多示例学习。多示例学习实际是一种半监督算法。考虑这样一种训练数据：我们有很多个数据包(bag)，每个数据包中有很多个示例(instance)。我们只有对bag的正负类标记，而没有对instance的正负例标记。当一个bag被标记为正时，这个包里一定有一个instance是正类，但也有可能其他instance是负类，当一个bag被标记为负类时，它里面的所有insta...

1、多示例学习的概念简单介绍下多示例学习。多示例学习实际是一种半监督算法。考虑这样一种训练数据：我们有很多个数据包(bag)，每个数据包中有很多个示例(instance)。我们只有对bag的正负类标记，而没有对instance的正负例标记。当一个bag被标记为正时，这个包里一定有一个instance是正类，但也有可能其他instance是负类，当一个bag被标记为负类时，它里面的所有insta...

转载自：https://zhuanlan.zhihu.com/p/29393415COCO的 全称是Common Objects in COntext，是微软团队提供的一个可以用来进行图像识别的数据集。MS COCO数据集中的图像分为训练、验证和测试集。COCO通过在Flickr上搜索80个对象类别和各种场景类型来收集图像，其使用了亚马逊的Mechanical Turk（AMT）。比如...

采用cv读图-->画框-->存图import cv2img1=cv2.imread('./555_F0ed5ee7e728f4b94a22fe30e93b1009a.JPG')img2=cv2.rectangle(img1,(52,52),(200,200),(0,255,0),3) 首先介绍下cv2.boundingRect(img)这个函数这个函数很...

采用cv读图-->画框-->存图import cv2img1=cv2.imread('./555_F0ed5ee7e728f4b94a22fe30e93b1009a.JPG')img2=cv2.rectangle(img1,(52,52),(200,200),(0,255,0),3) 首先介绍下cv2.boundingRect(img)这个函数这个函数很...