自然语言处理(NLP)是人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
在进行 NLP 开发的时候,NLP 工具包是不可缺少的一部分,其中包含的数据集和预训练模型可以较大的提升开发效率。
今天推荐的这个开源项目就是来自复旦大学的 NLP 团队,看看他们的 NLP 工具包有什么好玩的地方吧。
项目名称:fastNLP
项目作者:复旦大学自然语言处理(NLP)团队
项目地址:https://gitee.com/fastnlp/fastNLP
项目简介
fastNLP 是一款轻量级的自然语言处理(NLP)工具包,目标是快速实现 NLP 任务以及构建复杂模型。
项目特性
- 统一的 Tabular 式数据容器,简化数据预处理过程;
- 内置多种数据集的 Loader 和 Pipe,省去预处理代码;
- 各种方便的 NLP 工具,例如 Embedding 加载(包括 ELMo和BERT)、中间数据 cache 等;
- 部分数据集与预训练模型的自动下载;
- 提供多种神经网络组件以及复现模型(涵盖中文分词、命名实体识别、句法分析、文本分类、文本匹配、指代消解、摘要等