导读:本文将带你了解自然语言处理的概念、应用,以及与机器学习、深度学习和人工智能之间的关系。
作者:卡蒂克·雷迪·博卡(Karthiek Reddy Bokka)、舒班吉·霍拉(Shubhangi Hora)、塔努吉·贾因(Tanuj Jain)、莫尼卡·瓦姆布吉(Monicah Wambugu)
来源:大数据DT(ID:hzdashuju)
01 自然语言处理的基础知识
为了便于理解,我们将这个术语分为两部分:
自然语言是一种有机且自然发展而来的书面和口头交流形式。
处理意味着使用计算机分析和理解输入数据。
如图1-1所示,自然语言处理是人类语言的机器处理,旨在教授机器如何处理和理解人类的语言,从而在人与机器之间建立一个简单的沟通渠道。
▲图1-1 自然语言处理
自然语言处理的应用很广泛,例如,在我们的手机和智能音箱中的个人语音助手,如Alexa和Siri。它们不仅能够理解我们的说话内容,而且能够根据我们说的话采取行动,并做出反馈。自然语言处理算法促进了这种与人类沟通的技术。
在上述自然语言处理定义中要考虑的关键是:沟通需要以人类的自然语言进行。几十年来,我们一直在与机器沟通:创建程序来执行某些任务并执行。
然而,这些程序是用非自然语言编写的,因为它们不是口头交流的形式,也不是自然或有机发展而来的。这些语言,例如Java、Python、C和C ++,都是在主要考虑机器的情况下创建的,并且始终考虑的是“机器能够轻松理解和处理的是什么?”
虽然Python是一种对用户更加友好的语言,且易于学习和编码,但与机器沟通,人类必须学习机器能够理解的语言。自然语言处理、机器学习、深度学习的关系如图1-2所示。
▲图1-2 自然语言处理的维恩图
自然语言处理的