- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【NLP】global attention与local attention原理详解
1. global attention1. local attentionIn concrete details, the model first generates an aligned position p_t for each target word at time t. The context vector ct is then derived as a wei...
2019-07-17 14:16:30
739
原创 【python】(?x)正则表达式的含义
正则表达式(?x) 表示宽松排列。例：pattern = r'''(?x) (e1|e2)\w*被\w*(e1|e2)\w*收购 | (e1|e2)\w*对\w*(e1|e2)\w*投资 | (e1|e2)\w*投资\w*：[、\w]*(e2|e1) ...
2019-07-16 16:51:07
1973
转载 【NLP】Transformer框架原理详解-2
从宏观的视角开始首先将这个模型看成是一个黑箱操作。在机器翻译中，就是输入一种语言，输出另一种语言。那么拆开这个黑箱，我们可以看到它是由编码组件、解码组件和它们之间的连接组成。编码组件部分由一堆编码器（encoder）构成（论文中是将6个编码器叠在一起——数字6没有什么神奇之处，你也可以尝试其他数字）。解码组件部分也是由相同数量（与编码器对应）的解码器（decoder）组成的。所有的...
2019-07-15 10:26:57
243
转载 【NLP】self-attention运行原理详解
self-attention是如何运行的？在原论文里，作者很霸气的丢出了一个公式，要直接去理解这个公式，对矩阵运算不是非常熟练的同学可能有点困难，因此，我们还是先拆分去考量一个单词向量的计算过程，再回过头来理解这个矩阵的运算。如下图，是进行运算的第一步，Figure 4.png对于每一个单词向量（Embedding后的），我们都会计算出3个不同的向量，名为query, ke...
2019-07-13 15:36:52
899
转载 【NLP】Transformer框架原理详解-1
主流序列转导模型基于复杂的循环神经网络或卷积神经网络，这些神经网络包含一个编码器和一个解码器。性能最好的模型还通过attention机制将编码器和解码器连接起来。我们提出一种新的简单的网络架构Transformer，仅基于attention机制并完全避免循环和卷积。对两个机器翻译任务的实验表明，这些模型在质量上更加优越、并行性更好并且需要的训练时间显著减少。我们的模型在WMT 2014英语...
2019-07-13 15:01:30
3498
原创 【python】python调用shell的方法
python调用shell的方法import ospython_file="./test.py"cmd="/home/spark/bin/spark-submit --master yarn --deploy-mode cluster "+python_fileos.system(cmd)
2019-07-10 10:25:08
142
转载 【pyspark】pyspark提交python代码至yarn运行
1.压缩工程文件sudo zip -r 项目.zip.gz ./*2.配置PYTHONPATH,指向该目录3.工程下创建配置文件conf.py文件AI_PLATFORM_SOURCE=r'/usr/项目.zip'2.代码引用外部模块#从conf引用模块路径from conf import 项目路径sys.path.append(项目路径)from settings i...
2019-07-10 10:23:26
5583
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人