自然语言处理
文章平均质量分 72
Zjhao666
泰山不择细壤,故能成其大;江河不择细流,故能成其深。
展开
-
Transformers北大源
使用方法,加一个mirror='https://mirrors.pku.edu.cn/hugging-face-models/'的参数就好了。前言:听说清华和中科大的源都挂了?解决方案:用北大源。原创 2022-08-15 14:59:20 · 648 阅读 · 0 评论 -
SPARQL基础入门练习
知识图谱:Freebase,服务器:virtuosoSPARQL基本语法表一个SPARQL样例大致意思是在virtuoso服务器执行后,设置格式为html,结果如下。此外,值得注意的是,对于而言,若写为则返回满足后续(where子句里的)约束条件的(x1, x2, x3)组合。最简单的形式这表示,不加任何限制地,查询图谱内所有的三元组。返回结果自然就有很多:可以看到返回结果的顶上,还写上了查询语句里我们自己命名的e1,r,e2。加上一个三元组的约束即要求变量e1和r,满足三元组原创 2022-06-24 14:27:14 · 871 阅读 · 0 评论 -
cs224n自然语言处理的学习资料链接整理资料站
1 cs224n的学习视频、免费、中英文字幕cs224n学习视频2 码农场上的学习笔记(顺序为先从左往右,再从上往下)码农场cs224n笔记博客原地址笔记 研究热点 assignment CS224n笔记1 自然语言处理与深度学习简介 CS224n研究热点1 一个简单但很难超越的Sentence Embedding基线方法 CS224n笔记2 词...原创 2019-04-05 10:42:29 · 549 阅读 · 0 评论 -
用pytorch学习github写了个picture caption的AI项目的经验总结
目录1 整个项目的架构1.1 文件名和文件作用1.2 创建项目的整体思路2 各部分文件的经验总结2.1 主函数 main.py2.1.1 命令行参数argparse.ArgumentParser2.1.2 main.py文件的一般逻辑2.1.3可用的gpu环境部署2.1.4main函数承载主要逻辑2.1.5train函数训练2.1.6...原创 2019-06-22 15:39:40 · 4050 阅读 · 4 评论 -
Learning to Collocate Neural Modules for Image Captioning笔记
模型名称:Collocate Neural Module(CNM)与VQA不同的挑战:只能看见部分的已生成句子模型设计1个功能词模块和3个视觉内容词模块(名词、形容词、动词) 软模型混合+多步模块执行(使得部分可见的视觉推断更为鲁棒) 设计了一个linguistic loss,更好地贴合词性搭配(比如形容词在名词前面)效果:MSCOCO的karpathy划分上,CIDER-...原创 2019-08-24 17:15:56 · 960 阅读 · 0 评论 -
ABCNN Attention-Based Convolutional Neural Network for Modeling Sentence Pairs笔记
一、基本的BCNN1、输入两个(长度不一定相同的)句子 长度分别为s0,s1 s=max(s0,s1)每一个word都用词向量表示了,词向量维度为d0,默认300所以每个句子都是个d0*s的矩阵2、卷积层vi 句子中第i个word卷积部分为vi-w+1到vi,即长度为w,如果在原始范围之外则用0填充。使用卷积层权重,即利用卷积部分里的每一个word的词向量,0&...原创 2019-09-01 13:38:38 · 562 阅读 · 0 评论 -
Effective Approaches to Attention-based Neural Machine Translation笔记
一、概要时间步t1 首先使用最顶层堆叠LSTM的隐含层ht作为输入,以获得语境向量ct2 进而预测出目标单词ytglobal和local的区别仅在于语境向量ct的获取方式3 拼接隐含层ht和语境向量ct,以获得注意力隐含层状态4 接着注意力向量ht通过softmax层去生成预测分布二、global attention 关注全局思想:在生成语境向量ct时...原创 2019-08-31 11:53:35 · 287 阅读 · 0 评论 -
Neural-Machine-Translation-by-Jointly-Learning-to-Align-and-Translate笔记
时间步iyi 目标单词si RNN隐含层状态ci 上下文向量x 输入单词词向量最大化条件概率其中si由生成。hj 单词j的注释(词向量)a 前向神经网络上下文语境向量ci生成方式 时间步i单词j生成的概率 对eij进行softmax 上下文语境向量...原创 2019-08-31 10:40:11 · 217 阅读 · 0 评论 -
attention is all you need笔记
传统encoder输入:符号序列 x1,…,xn输出:连续表示z1,…,zndecoder输入:连续表示z1,…,zn输出:符号序列y1,….ym作者原创transformer使用堆叠的self-attention和point-wise,全连接层。(左encoder,右decoder) transformer结构图encoder由6个相同层堆叠...原创 2019-09-02 11:00:09 · 479 阅读 · 0 评论