- 博客(18)
- 收藏
- 关注
RSS订阅转载 各种attention的实现
base attentiondot attentionmlp attentionmultihead attentionno attentionpooling attentionhttps://github.com/pytorch/translate/tree/master/pytorch_translate/attentionattentionbilinear attention...
2019-12-03 14:28:16
827
原创 numpy repeat和torch repeat区别
x=[1,2,3,4]torch repeat 为[1,2,3,4,1,2,3,4]numpy repeat为[1,1,2,2,3,3,4,4,]
2019-11-11 11:19:55
199
原创 debug记录
masked_fill_ received a mask with dtype torch.uint8, this behavior is now deprecated,please use a mask with dtype torch.bool instead.将mask变成mask.bool()即可
2019-11-04 14:57:44
2793
1
原创 论文简读 Exemplar Encoder-Decoder for Neural Conversation Generation
检索和生成结合起来生成回复，文章写的不错。将检索到的对话历史和回复均编码到模型中。
2019-10-09 15:57:51
205
原创 论文简读 ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation
将多个对话历史送入到模型中，使用self-attention机制得到对话历史和回复的表示，再使用二者之间的attention解码输出
2019-10-09 15:15:14
522
原创 安装visio2016及激活
visio是很好的画图软件。安装visio时遇到和之前安装的office版本不一致的问题，删除之前office的注册表，即可安装成功。安装成功后还需激活软件，KMSpico无法激活，故选择批处理bat激活：执行即可：@echo off(cd /d "%~dp0")&&(NET FILE||(powershell start-process -FilePath '%...
2019-07-11 21:58:08
7709
1
转载 pip 安装包超时
问题：由于实验需要安装pytorch-pretrained-bert，包较大，用pip安装会报超时错误。解决方法：转自https://www.jianshu.com/p/8e042b7e91b6手动换源（推荐）手动指定源：在 pip 后面跟-i 来指定源，比如用豆瓣的源来安装 web.py 框架：pip install numpy -i https://pypi.douban...
2019-07-06 21:32:28
718
原创 python 排序 输出索引
index_data=[index for index,value in sorted(enumerate(data),key=lambda x: len(x[1][0]), reverse=True)]
2019-06-27 11:22:07
1623
转载 print在py2和py3的区别
print 在python2中是语句，在python3中是函数；>> 这个用法在python2.x版本是可以的去除print语句，加入print()函数实现相同的功能。同样的还有 exec语句，已经改为exec()函数例如：2.X: print "The answer is", 2*23.X: print("The answer is", 2*2)2.X: print x,...
2019-05-21 09:57:50
489
转载 回复生成：先生成关键词，再生成回复
2.基于关键词的回复生成2.1 Seq2BF（sequence to backward and forward sequences）模型Mou等提出了一种基于关键词的分阶段生成回复的Seq2BF模型（Mou et al., 2016）。他们将回复生成过程分成了两个阶段，首先根据用户消息在词表中选取和消息具有最大互信息的词作为关键词，并认为该关键词应该作为回复的一部分显式出现在...
2019-05-16 22:53:45
1308
转载 改写句子和减少对话生成通用回复
EMNLP 2018 | 从对话生成和文本风格转化看文本生成技术2018-10-25 12:40本文将介绍腾讯 AI Lab 发表于 EMNLP 2018 的两篇论文，论文关注的是文本到文本生成研究领域中的文本风格转化及对话生成任务。其中，在文本风格的论文中，作者提出了一个新的序列编辑模型旨在解决如何生成与给定数值相匹配的句子的研究问题。而关于对话生成的论文中，作者提出了一个新的对话模型...
2019-05-16 22:25:29
652
原创 pytorch KeyError: tensor(2, device='cuda:0')
出错代码：inps.data[len(new_hyps)].copy_(row2feats[tblidx])改成：inps.data[int(len(new_hyps))].copy_(row2feats[int(tblidx)])
2019-05-16 15:29:06
7997
1
原创 pytorch torch.load函数报错 UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 ...
错误原因：load的模型是py2的，现在运行环境为py3解决方法：在load函数前加如下几行函数from functools import partialimport picklepickle.load = partial(pickle.load, encoding="latin1")pickle.Unpickler = partial(pickle.Unpickler, enco...
2019-05-16 15:03:31
1231
1
检索式多轮对话系统论文：Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network 阅读笔记
此篇文献是百度发表于ACL2018对话系统中，由于在context和response中有两种匹配对：（1）表面文本相关（2）潜在依赖，即在语义和功能上相关。之前论文多关注表面相关，对潜在依赖关注较少，所以本文努力解决这个问题。且对话系统中多采用RNN结构，但用RNN捕捉多粒度的语义表示花费代价较大，所以文本全部采用基于注意力机制的结构。模型结构如上图所示。看起来很复杂，拆开来一点点看。...
2018-10-10 19:53:36
4273
原创 解决无法使用pip安装Jupyter Notebook的问题
在cmd输入pip install jupyter，报错：UnicodeEncodeError: 'utf-8' codec can't encode......将错误提示的那个文件中出错那行代码中的'utf-8'改为’gbk'，报错：UnicodeEncodeError: ‘gbk’ codec can’t encode ......将错误提示的那个文件中出错那行代码中的decode('...
2018-09-18 20:51:31
3130
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人