开源NLP（自然语言处理）库的功能对比

最新推荐文章于 2024-06-02 17:47:52 发布

OReillyData

最新推荐文章于 2024-06-02 17:47:52 发布

阅读量4.5k

点赞数 1

本文链接：https://blog.csdn.net/zkh880loLh3h21AJTH/article/details/90724875

版权

本文对比了几个流行的开源NLP库，如Spark NLP、spaCy、NLTK、OpenNLP和Stanford CoreNLP，关注它们的核心功能，如句子检测、词性标注和命名实体识别等。同时讨论了库的许可证、支持情况和预训练模型，强调了在选择NLP库时应考虑的编程语言、平台、许可和支持需求。

摘要由CSDN通过智能技术生成

AI Conference 北京站

AI Conference 2019 北京站6月18-21日即将开幕！

培训：大会推出「PyTorch 深度学习」两天培训课程，资深数据科学家主讲，限制人数，抢票从速！

编者注：文中超链接如果不能访问可以点击“阅读原文”访问本文原页面；查看2019年6月18日至21日在北京举行的人工智能大会上的相关议题。

开源NLP库

在开发和生产中，最受欢迎的NLP库列表如下：

显然，NLP领域还有更多的库。但是，这些库更通用，涵盖更多功能，而不只是专注于特定用例。例如，gensim是一个NLP库，一开始是为构建文本主题模型而创建的，不能用于完整的NLP管道。

在本文的分析中，我们只考虑提供如下核心功能集合的库：

以及，提供以下的部分或全部功能：

这里比较的所有五个库都有一些可以定义的NLP数据管线的概念 – 因为大多数NLP任务需要组合这些功能中的某些，来获得有用的结果。这些管线，可以是“传统”的管线，也可以是基于深度学习的管线。

640?wx_fmt=png

这是最受欢迎的NLP库的功能比较：

关注