信息抽取研究综述

信息抽取研究综述ж
            李保利 陈玉忠 俞士汶
（北京大学计算机科学与技术系 计算语言学研究所 北京 100871）
摘要：信息抽取研究旨在为人们提供更有力的信息获取工具，以应对信息爆炸带来的严重挑战。与信息检索不同，信息抽取直接从自然语言文本中抽取事实信息。过去十多年来，信息抽取逐步发展成为自然语言处理领域的一个重要分支，其独特的发展轨迹——通过系统化、大规模地定量评测推动研究向前发展，以及某些成功启示，如部分分析技术的有效性、快速NLP系统开发的必要性，都极大地推动了自然语言处理研究的发展，促进了NLP研究与应用的紧密结合。回顾信息抽取研究的历史，总结信息抽取研究的现状，将有助于这方面研究工作向前发展。
关键词：自然语言处理；信息抽取；信息检索；命名实体识别
中图法分类号：TP391
RESEARCH ON INFORMATION EXTRACTION: A SURVEY
LI Bao-Li, CHEN Yu-Zhong, YU Shi-Wen
Department of Computer Science and Technology, Peking University, Beijing 100871
Abstract: The research on Information Extraction aims at providing more powerful information access tools to help people overcome the problem of information overloading. Unlike Information Retrieval, Information Extraction Systems extract factual information directly from natural language texts. In the last decade, Information Extraction has become an important sub-field of Natural Language Processing. Its unique development track, i.e. accelerating research via systematical and large scale evaluation, and some successful experience, such as the effectiveness of partial-parsing techniques and the importance of fast development cycles, have made it a great and most important impetus to the research of NLP in the last decade. Moreover, Information Extraction has built a more effective connection between NLP researchers and NLP system developers. It will be helpful to review the history and investigate the state of the art of Information Extraction.
Key words: Natural Language Processing; Information Extraction; Information Retrieval; Named Entity Recognization
1. 引言
随着计算机的普及以及互联网（WWW）的迅猛发展，大量的信息以电子文档的形式出现在人们面前。为了应对信息爆炸带来的严重挑战，迫切需要一些自动化的工具帮助人们在海量信息源中迅速找到真正需要的信息。信息抽取（Information Extraction）研究正是在这种背景下产生的。
信息抽取系统的主要功能是从文本中抽取出特定的事实信息（factual information）。比如，从新闻报道中抽取出恐怖事件的详细情况：时间、地点、作案者、受害者、袭击目标、使用的武器等；从经济新闻中抽取出公司发布新产品的情况：公司名、产品名、发布时间、产品性能等；从病人的医疗记录中抽取出症状、诊断记录、检验结果、处方等等。通常，被抽取出来的信息以结构化的形式描述，可以直接存入数据库中，供用户查询以及进一步分析利用。
与信息抽取密切相关的一项研究是信息检索，但信息抽取与信息检索存在差异，主要表现在三个方
ж本文得到国家自然科学基金项目（69973005）、国家973项目（G1998030507-4）和北大985项目支持。
作者李保利，男，1971年生，博士研究生，主要研究方向：中文信息处理。陈玉忠，男，1963年生，副教授，博士研究生，主要研究方向：中文信息处理、机器翻译等。俞士汶，男，1938年生，教授，博士生导师，主要研究方向：中文信息处理、计算语言学等。
面：
① 功能不同。信息检索系统主要是从大量的文档集合中找到与用户需求相关的文档列表；而信息抽取系统则旨在从文本中直接获得用户感兴趣的事实信息。
② 处理技术不同。信息检索系统通常利用统计及关键词匹配等技术，把文本看成词的集合（bags of words），不需要对文本进行深入分析理解；而信息抽取往往要借助自然语言处理技术，通过对文本中的句子以及篇章进行分析处理后才能完成。
③ 适用领域不同。由于采用的技术不同，信息检索系统通常是领域无关的，而信息抽取系统则是领域相关的，只能抽取系统预先设定好的有限种类的事实信息。
另一方面，信息检索与信息抽取又是互补的。为了处理海量文本，信息抽取系统通常以信息检索系统（如文本过滤）的输出作为输入；而信息抽取技术又可以用来提高信息检索系统的性能。二者的结合能够更好地服务于用户的信息处理需求。
信息抽取虽然需要对文本进行一定程度的理解，但与真正的文本理解（Text Understanding）还是不同的。在信息抽取中，用户一般只关心有限的感兴趣的事实信息，而不关心文本意义的细微差别以及作者的写作意图等深层理解问题[1]。因此，信息抽取只能算是一种浅层的或者说简化的文本理解技术。
一般来说，信息抽取系统的处理对象是自然语言文本尤其是非结构化文本。但广义上讲，除了电子文本以外，信息抽取系统的处理对象还可以是语音、图像、视频等其他媒体类型的数据。在这里，我们只讨论狭义上的信息抽取研究，即针对自然语言文本的信息抽取。
下面首先回顾了信息抽取研究发展的历史，然后介绍信息抽取系统的体系结构以及一些关键技术，最后对信息抽取研究未来的方向做了展望。
2. 信息抽取研究的发展历史
从自然语言文本中获取结构化信息的研究最早开始于20世纪60年代中期，这被看作是信息抽取技术的初始研究，它以两个长期的、研究性的自然语言处理项目为代表[2]。
美国纽约大学开展的Linguistic String项目[3]开始于60年代中期并一直延续到80年代。该项目的主要研究内容是建立一个大规模的英语计算语法，与之相关的应用是从医疗领域的X光报告和医院出院记录中抽取信息格式（Information Formats），这种信息格式实际上就是现在我们所说的模板1（Templates）。
另一个相关的长期项目是由耶鲁大学Roger Schank及其同事在20世纪70年代开展的有关故事理解的研究。