本文是腾讯2020暑期犀牛鸟研学营 第五课 李鹏老师分享的“自动问答技术的简介与展望”的笔记。
IBM DeepQA 2011年在Jeopardy击败两位最强人类选手。
复杂的系统。非深度学习方法。
深度学习成功的要素:
1、海量数据。
CNN/DailyMail数据集。
SQuAD数据集。关键词:1.人工标注 2. 规模大,有10k+个问题 3. 涉及多种推理
SQuAD 2.0数据集。
CoQA。
2、预训练模型:BERT(重要)。OpenAI GPT。ELMo。
挑战——多步推理(HotpotQA)
离散/符号推理(DROP)
常识推理(CommonsenseQA)
开放问答
计算效率(随着模型的扩大,计算变得难起来)
问答技术的发展离不开精巧设计的数据集
还有什么问题没有解决,数据集的设计是否足以反映相应的问题,预训练模型一定程度上可以成为试金石。