2.2.3 自然语言处理

自然语言通常是指一种随文化自然演化而来的语言,通常也泛指大家平日生活中常用于表达、沟通的语言。而自然语言处理(Natural Language Processing,NLP)则赋予计算机如正常人一样的语言理解能力,可以对捕捉到的语言信息给予意图判断,使其既能理解自然语言文本的含义,又能以自然文本的形式把判断出的意图、思想表达出来。从1949年机器翻译设计方案的首次提出开始,发展至2020年智能外呼系统的自然应答,经过这漫长的发展过程,自然语言处理在技术和应用上都发生着巨大的变化。

1. 自然语言处理的兴起

自然语言处理是人工智能的一个分支,早在计算机科学起源时期,图灵就把使用自然语言与人对话的能力作为判别机器系统有无智能的标准。不过,由于当时的技术条件限制,自然语言处理还停留在初步概念层面。

自然语言处理的早期尝试简单使用了词袋技术和模板匹配技术,其对应的落地应用是机器翻译和人机对话。由于初期的自然语言处理算法不成熟,机器翻译和人机对话系统的总体表现还很稚嫩,无法依据输入元素给出正确的输出结果。进一步地,由于数据库和专家系统都具有较为复杂的查询和使用逻辑,为减少人机交互时的差距,人们会利用自然语言处理技术为数据库和专家系统等提供自然语言接口,这也是早期自然语言处理技术发展的动力之一。后来,由于日本第五代计算机的计划失败,人工智能浪潮逐渐消退,取而代之的是互联网的迅速崛起,而自然语言处理技术依托搜索引擎成为一门互联网应用技术,包括文本的分类、聚类、协同过滤、机器翻译等算法。

随着深度学习的强势出现,自然语言处理也成为一种应用赋能型技术,它的实体知识库的构建、知识抽取、自动写作和自动翻译,全面渗透到人工智能应用的各个角落。目前,自然语言处理正从浅层向深层转换,它在情感处理和常识计算方面的关键性将日益凸显。

2. 自然语言处理的应用领域

自然语言处理技术的应用场景大致可分为:分析型,如舆论监控;生成型,如自动写作;交互型,如聊天机器人、智能外呼系统。通常情况下,由于受本身输出能力的限制,自然语言处理的直接应用场景不多,因此自然语言处理会融合在一个中控平台中,并服务于各个行业的应用场景中,作为其中一项核心技术发挥着作用。目前,在应用方面,除了医疗、教育外,金融行业也对自然语言处理技术有着很迫切的落地需求。由于必须结合专业领域知识和私有数据才能构建有价值的场景,有IT背景的公司在应用的专业领域仍有欠缺,因此自然语言处理的价值应重点着力于在业务流程中得到体现。同时,因为自然语言处理的技术门槛很高、资源依赖性很强,所以打造掌握新一代技术的团队是在自然语言处理技术赛道上取得胜利的关键。