pytorch
枫林扬
从事自然语言处理及机器学习研究工作,github:https://github.com/zhang2010hao,欢迎访问、star、交流
展开
-
短文本匹配模型-ESIM
论文来源:TACL 2017论文链接:http://tongtianta.site/paper/11096文本匹配是智能问答(社区问答)中的关键环节,用于判断两个句子的语义是否相似。机器智能问答FAQ中,输入新文本(语音转文本)后,和对话库内已有句子进行匹配,匹配完成后输出对应问题答案。而这里主要研究的就是两个句子如何计算它们之间语义相似度的问题。一、原理Enhanced LST...原创 2019-02-25 13:52:00 · 9402 阅读 · 14 评论 -
文本匹配模型-BiMPM
在上一篇博客中介绍了ESIM模型(https://blog.csdn.net/zhang2010hao/article/details/87913910),这里介绍一个新的文本匹配模型BiMPM,其在某些任务中的效果超过ESIM模型。论文链接:http://tongtianta.site/paper/1759现在去判断两个句子相似性的深度学校解决方案主要有两种,其一是Simaese net...原创 2019-02-27 09:27:17 · 7480 阅读 · 1 评论 -
深度学习过拟合解决方案(pytorch相关方案实现)
描述最近做项目出现过拟合的情况,具体表现为,使用简单模型的时候需要迭代十几个epoch之后才能达到一个理想的结果,并且之后loss趋于稳定,f1也趋于稳定;后来使用复杂的模型后,两三个epoch后能达到更好的结果但是之后随着loss下降f1值反而下降了。这是一个比较明显的的过拟合现象。解决方案对于深度学习网络的过拟合,一般的解决方案有:1.Early stop在模型训练过程中,...原创 2019-04-16 19:52:27 · 9453 阅读 · 5 评论 -
pytorch实现连续切片,类似于tf.strided_slice()
1.背景:一直使用torch进行开发,torch的友好为开发调试提供了很多方便,但是torch中有些函数没有内置,造成使用的时候必须自己实现,最近就遇到了一个连续切片的问题,问题可以想象我们往Bert中输入的是一个句子对,但是我们还需要第一个句子的表示,因此必须从句子对的表示中取出第一个或者第二个句子的表示,tensorflow中tf.strided_slice()函数有类似的功能,但是我在t...原创 2019-06-20 11:02:28 · 3310 阅读 · 0 评论