![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
技术分享
追一科技
这个作者很懒,什么都没留下…
展开
-
TFSEQ Part I: 分布式训练的方案和效率对比
TFSEQ Part I: 分布式训练的方案和效率对比本文作者:追一科技算法工程师 欧泽彬1. 前言TFSEQ 这个系列总结了笔者在使用 tensorflow 进行自然语言处理的一些经验和思考。计划写三篇文章:分布式训练的方案和效率对比序列模型的实现细节Batch size大小,优化和泛化此为第一篇。在增大数据集的同时增大模型参数量(Scaling)是提高准确率的一个有效方案,...原创 2019-05-30 10:41:31 · 528 阅读 · 0 评论 -
2019年NLP的高光时刻,会从NL2SQL开始么?
2019年NLP的高光时刻,会从NL2SQL开始么?作者:追一科技 算法研究员 Wayne自2015年新一轮人工智能浪潮涌起,先是视觉、语音各领风骚,小火慢炖的NLP从2018下半年开始,也走入了高光时刻:BERT、GPT-2.0等一系列里程碑意义的模型横空出世,创新应用场景次第打开。2019年,NLP又会给大家带来哪些惊喜呢?作为智能语义的领跑者,追一科技一直在...原创 2019-07-17 15:06:27 · 1925 阅读 · 0 评论 -
《拆解 XLNet 模型设计,回顾语言表征学习的思想演进》
深度解析 XLNet作者: 追一科技 AI Lab 研究员 Tony在预训练语言模型 BERT 对自然语言处理的冲击还未平息时,CMU 和 Google 的研究员又放出了一个猛料:在 20 多项任务上全线碾压 BERT 的 XLNet。本文将回顾 XLNet 背后语言表征学习的思想演进,并拆解 XLNet 模型设计的巧妙之处。1. 语言表征学习深度学习的基本单元是向量。我们将建模对象对应到...原创 2019-07-17 14:50:32 · 315 阅读 · 0 评论 -
NL2SQL:弱监督学习与有监督学习完成进阶之路
NL2SQL:弱监督学习与有监督学习完成进阶之路本文作者:追一科技算法工程师 WayneOutlineNL2SQL 任务和 WikiSQL 数据集介绍 弱监督学习下 NL2SQL 解决方案 有监督学习下 NL2SQL 解决方案 追一科技 NL2SQL 天池挑战赛NL2SQL任务和WikiSQL数据集介绍近年来,NLP 的突破,带来了一些创新型研究机会,NL2SQ...原创 2019-07-17 14:33:53 · 876 阅读 · 0 评论 -
《NLP新纪元?如何看待轰炸阅读理解顶级测试的BERT模型?》
《NLP新纪元?如何看待轰炸阅读理解顶级测试的BERT模型?》追一科技算法高级研究员 Nick最近谷歌研究人员通过新的BERT模型在11项NLP任务中夺得SOTA结果,这在自然语言处理学界以及工业界都引起了不小的热议。作者通过在33亿文本的语料上训练语言模型,再分别在不同的下游任务上微调,这样的模型在不同的任务均得到了目前为止最好的结果,并且有一些结果相比此前的最佳成绩得到了幅度不小...原创 2019-07-16 18:45:00 · 377 阅读 · 0 评论 -
TFSEQ PART III: Batch size大小,优化和泛化
TFSEQ PART III: Batch size大小,优化和泛化文章目录**TFSEQ** PART III: Batch size大小,优化和泛化前言TLDR:分布式训练的 Recipe1. 机器学习问题的简单拆解1.1 简单的概率论符号1.2 机器学习和泛化1.3 优化的限制1.4 误差的拆解[[Bottou et al, 2008]](https://papers.nips.cc/pa...原创 2019-07-16 18:26:49 · 774 阅读 · 0 评论 -
TFSEQ Part II: 序列模型的实现细节
TFSEQ Part II: 序列模型的实现细节本文作者:追一科技算法工程师 Tony1. 前言TFSEQ 这个系列总结了笔者在使用 tensorflow 进行自然语言处理的一些实践经验和思考。计划写三篇文章:分布式训练的方案和效率对比序列模型的实现细节Batch size大小,优化和泛化此为第二篇。序列模型组件如 RNN 和 Attention 在自然语言处理中有广泛的应用。...原创 2019-07-16 18:13:08 · 316 阅读 · 0 评论 -
bag of tricks for training GAN
训练GANs,你应该知道的二三事作者:追一科技AI Lab 研究员 Miracle写在前面的话笔者接触GANs也有一段时间了,从一开始的小白,到现在被GANs虐了千百遍但依然深爱着GANs的小白,被GANs的对抗思维所折服,被GANs能够生成万物的能力所惊叹。我觉得GANs在某种程度上有点类似于中国太极,‘太极生两仪,两仪生四象’,太极阐明了宇宙从无极而太极,以至万物化生的过程,太极也是讲究...原创 2019-05-30 13:04:16 · 524 阅读 · 0 评论 -
一文读懂文本处理中的对抗训练
一文读懂文本处理中的对抗训练本作作者:追一科技 算法研究员 Leo, 算法工程师 WenZe背景与研究意义深度学习技术的快速发展,大幅提升了众多自然语言处理任务(比如文本分类,机器翻译等)的效果,越来越多的深度学习模型被用于现实生活中。但是深度学习模型本质上的黑箱属性,也为实际应用带来了潜在的风险。早在 2014 年,Szegedy et al.[1]发现只要对深度...原创 2019-07-17 15:13:35 · 805 阅读 · 0 评论