本章解释了自然语言处理是什么,最常见的自然语言处理应用是哪些以及开发自然语言处理应用程序的基本方法是什么。
1. 理解自然语言处理
人类通过自然语言互动,自然语言包括了许多信息。例如说,通过选择不同的词语,语气和句子的上下文可以被用来揭露一个人的心情,意图和情感。
此外,诸如书籍,报纸和博客之类的文本文档中充满了可用于执行各种任务的信息。对于人类来说,理解并且从一个文档中提取有用的信息以及做出基于来自文档的这个信息的决定需要花费大量的时间。
而这,就是自然语言处理发挥作用的地方。
自然语言处理被定义为“一个使计算机能够阅读,理解和提取人类所说自然语言含义的人工智能领域。”
有了自然语言处理,计算机不仅能够理解自然语言,而且还能通过自然语言对人类做出回应。除了用于人机交互目的之外,NLP技术还广泛用于处理公司的大量数据,而手动处理则需要数月甚至数年的时间。
例如,一个人可能需要花几周的时间来从一本一千页的书中人工提取信息进行总结,但有了自然语言处理,类似的文本摘要可以在几分钟内完成。同理,聘用人工读者通读所有用户评论,并编写包含用户对特定产品的意见的报告是花费成本非常高的,然而有了自然语言处理之后,用户意见可以被自动从文本中提取,从而使公司能够制定出组织决策。
2. 自然语言处理的实际应用
从Microsoft的Cortona到Apple的Siri,NLP为各种应用程序提供了支持。本节简要介绍了NLP的一些最常见的应用程序。
情感分析
NLP通常被用于执行文本情感分析。文字形式的大众意见,例如有关特定产品或实体的推文,博客和评论都包含了情感。情感分析是指从这些文字中识别情感。自动检测有关推文的公众情绪可以帮助公司决定如何改进其产品以及保留或丢弃哪种产品。
垃圾邮件以及非垃圾邮件的分类
Gmail和其他电子邮件服务器使用NLP技术来精确地区分非垃圾和垃圾邮件。这是文本分类的一个经典应用,其中文本文档被划分为预定义类别之一,即非垃圾邮件或垃圾邮件。
语音到文字的转换
NLP技术被广泛的使用到语音与文字的自动双向转换中。在你说出内容时,你不再需要要求某人代你把你讲的内容写下。谷歌的自动语音识别(https://bit.ly/2N6xYSt) 就是一个很经典的语音文字转换的例子。
人机交互
需要按键盘按钮并单击鼠标以向计算机发出命令的日子已经一去不复返了。NLP 已经能够使人类和机器人通过自然语言进行互动。机器人在有了NLP的帮助下不仅能够理解人类的语言而且能够用自然语言对人类进行回应。Sophia(https://bit.ly/2YLprtx)就是一个经典的通过自然语言处理与人类互动的人形机器人的例子。
增强虚拟助手
正如上面所提到的,NLP技术也被用来开发包括亚马逊Alexa, 苹果的Siri以及微软的Cortona在内虚拟助手。这些虚拟私人助手依靠NLP方法来理解人类的请求并以自然语言回复。
顾名思义,统计方法涉及到用于开发自然语言处理技术的统计算法。机器学习和深度学习方法是NLP统计方法的主要示例。与基于规则的方法相比,统计方法更加灵活和可扩展。使用统计方法的主要缺点是缺乏可解释性,并且需要大量的数据集来训练NLP算法。