关注
分享
追一科技
这个作者很懒，什么都没留下…
展开
-
TFSEQ Part I: 分布式训练的方案和效率对比
TFSEQ Part I: 分布式训练的方案和效率对比本文作者：追一科技算法工程师 欧泽彬1. 前言TFSEQ 这个系列总结了笔者在使用 tensorflow 进行自然语言处理的一些经验和思考。计划写三篇文章：分布式训练的方案和效率对比序列模型的实现细节Batch size大小，优化和泛化此为第一篇。在增大数据集的同时增大模型参数量(Scaling)是提高准确率的一个有效方案，...原创 2019-05-30 10:41:31 · 528 阅读 · 0 评论 -
2019年NLP的高光时刻，会从NL2SQL开始么？
2019年NLP的高光时刻，会从NL2SQL开始么？作者：追一科技 算法研究员 Wayne自2015年新一轮人工智能浪潮涌起，先是视觉、语音各领风骚，小火慢炖的NLP从2018下半年开始，也走入了高光时刻：BERT、GPT-2.0等一系列里程碑意义的模型横空出世，创新应用场景次第打开。2019年，NLP又会给大家带来哪些惊喜呢？作为智能语义的领跑者，追一科技一直在...原创 2019-07-17 15:06:27 · 1925 阅读 · 0 评论 -
《拆解 XLNet 模型设计，回顾语言表征学习的思想演进》
深度解析 XLNet作者: 追一科技 AI Lab 研究员 Tony在预训练语言模型 BERT 对自然语言处理的冲击还未平息时，CMU 和 Google 的研究员又放出了一个猛料：在 20 多项任务上全线碾压 BERT 的 XLNet。本文将回顾 XLNet 背后语言表征学习的思想演进，并拆解 XLNet 模型设计的巧妙之处。1. 语言表征学习深度学习的基本单元是向量。我们将建模对象对应到...原创 2019-07-17 14:50:32 · 315 阅读 · 0 评论 -
NL2SQL：弱监督学习与有监督学习完成进阶之路
NL2SQL：弱监督学习与有监督学习完成进阶之路本文作者：追一科技算法工程师 WayneOutlineNL2SQL 任务和 WikiSQL 数据集介绍 弱监督学习下 NL2SQL 解决方案 有监督学习下 NL2SQL 解决方案 追一科技 NL2SQL 天池挑战赛NL2SQL任务和WikiSQL数据集介绍近年来，NLP 的突破，带来了一些创新型研究机会，NL2SQ...原创 2019-07-17 14:33:53 · 876 阅读 · 0 评论 -
《NLP新纪元？如何看待轰炸阅读理解顶级测试的BERT模型？》
《NLP新纪元？如何看待轰炸阅读理解顶级测试的BERT模型？》追一科技算法高级研究员 Nick最近谷歌研究人员通过新的BERT模型在11项NLP任务中夺得SOTA结果，这在自然语言处理学界以及工业界都引起了不小的热议。作者通过在33亿文本的语料上训练语言模型，再分别在不同的下游任务上微调，这样的模型在不同的任务均得到了目前为止最好的结果，并且有一些结果相比此前的最佳成绩得到了幅度不小...原创 2019-07-16 18:45:00 · 377 阅读 · 0 评论 -
TFSEQ PART III: Batch size大小，优化和泛化
TFSEQ PART III: Batch size大小，优化和泛化文章目录**TFSEQ** PART III: Batch size大小，优化和泛化前言TLDR：分布式训练的 Recipe1. 机器学习问题的简单拆解1.1 简单的概率论符号1.2 机器学习和泛化1.3 优化的限制1.4 误差的拆解[[Bottou et al, 2008]](https://papers.nips.cc/pa...原创 2019-07-16 18:26:49 · 774 阅读 · 0 评论 -
TFSEQ Part II: 序列模型的实现细节
TFSEQ Part II: 序列模型的实现细节本文作者：追一科技算法工程师 Tony1. 前言TFSEQ 这个系列总结了笔者在使用 tensorflow 进行自然语言处理的一些实践经验和思考。计划写三篇文章：分布式训练的方案和效率对比序列模型的实现细节Batch size大小，优化和泛化此为第二篇。序列模型组件如 RNN 和 Attention 在自然语言处理中有广泛的应用。...原创 2019-07-16 18:13:08 · 316 阅读 · 0 评论 -
bag of tricks for training GAN
训练GANs，你应该知道的二三事作者：追一科技AI Lab 研究员 Miracle写在前面的话笔者接触GANs也有一段时间了，从一开始的小白，到现在被GANs虐了千百遍但依然深爱着GANs的小白，被GANs的对抗思维所折服，被GANs能够生成万物的能力所惊叹。我觉得GANs在某种程度上有点类似于中国太极，‘太极生两仪，两仪生四象’，太极阐明了宇宙从无极而太极，以至万物化生的过程，太极也是讲究...原创 2019-05-30 13:04:16 · 524 阅读 · 0 评论 -
一文读懂文本处理中的对抗训练
一文读懂文本处理中的对抗训练本作作者：追一科技 算法研究员 Leo, 算法工程师 WenZe背景与研究意义深度学习技术的快速发展，大幅提升了众多自然语言处理任务（比如文本分类，机器翻译等）的效果，越来越多的深度学习模型被用于现实生活中。但是深度学习模型本质上的黑箱属性，也为实际应用带来了潜在的风险。早在 2014 年，Szegedy et al.[1]发现只要对深度...原创 2019-07-17 15:13:35 · 805 阅读 · 0 评论