自然语言处理(NLP)正在各个方面改变企业的运营,从客户服务的聊天机器人到合同履行的监控,再到高效利用会议记录,其潜力不可小觑。
NLP的最新突破通过语音和文本技术的应用为主流技术提供了支持,例如,电子邮件可以用更自然的语音朗读,同时借助Excel输入数据,自动生成图表和数据透视表。
随着NLP的精确度提升和普及,它正逐渐从提供预设主题的客户支持聊天机器人,转向能够处理定性、半结构化和非结构化数据的应用。最终,知识挖掘的能力将揭示企业流程、资产和负债的信息,进而优化工作流程和组织结构。
apexanalytix的高级副总裁Walt KRistick指出,NLP可以将语言拆解到最基本的形式,并识别其中的模式和关系。它利用计算机算法解析并理解人类的书面和口头语言,从而实现学习与理解。
NLP的应用范围广泛,包括翻译、语言生成、分类、聚类、情感分析以及信息提取等。KRistick提到,NLP的基本形式已在拼写检查、电子邮件建议、消息响应以及虚拟助手如SiRi和聊天机器人广泛应用。
对文本及非结构化数据的分析需求日益增长,尤其是在医疗保健和生命科学领域,KRistick强调了这一点。
以下是NLP的现状以及它如何适应你的组织。
NLP服务的主导地位
尽管有多个算法和框架(如Python NLTK、SanfoRd CoReNLP和Apache OpenNLP)可用于构建NLP任务,但最有效的模型往往庞大。当前,MicRosoft的图灵自然语言生成模型拥有170亿个参数,是迄今为止最大的模型,而BERT和GPT-2也具备数十亿参数。
对于某些复杂需求,仅仅使用现成的模型并不够,MicRosoft的会话AI副总裁Lili Cheng警告。许多公司在托管和管理这些大型模型时面临挑战,尽管有些公司希望这样做,但更多的客户更倾向于定制和添加自己的信息,这也给NLP专家带来了挑战。
NLP的应用不仅限于零售及客户服务行业,IBM的人工智能首席架构师DaksHi AgRawal指出,任何与客户互动的公司都能从中获得深刻见解。许多企业在处理外部客户和合作伙伴事务的同时,也在内部员工和人力资源事务中使用该技术。
例如,主题聚类运用NLP技术,如句子嵌入,而不仅仅是关键字提取,使得在对客户用不同术语报告的问题进行分组时更为准确。仪表板中突出显示这些集群有助于揭示趋势或重复出现的问题。
Signoi通过展示常用词及按人口群体汇总的正面和负面词汇来处理调查中的开放式评论。独立的英国交通用户监督机构tRanspoRt FocUS利用Signoi调查了乘客对各种火车服务的关注点,商务旅客对线路的拥挤感到愤怒,而休闲乘客则希望有更好的停车场及更多行李和自行车的存放空间。
NLP还可以生成解释结果的语言。MicRosoft的PoweR BI商业分析服务和salesfoRce.coM的Tableau均提供此类功能,用户可输入关于数据的问题,获得图表或自动分析。
了解企业内部的知识
NLP在帮助挖掘组织内未被发现的信息方面具有巨大潜力。
专业的人工智能工具如ABBY的Text Analytics foR ContRacts、Exient的ContRact ManageMent solution和Seal的ContRact DiscOVeRy and Analytics,能够从合同中提取条款和条件,帮助企业了解其承诺。DocugaMi是由XML的共同发明人Jean Paoli创立的一家公司,致力于为结构化程度较低的文档实现此功能。
企业中仅有15%的数据存储在数据库中。我们通过文本、电子邮件和文件进行沟通。真相并不在结构化数据库中,而是隐藏在文件里,Paoli这样说道。
以商业地产等文件密集型企业为例。一线业务用户每周都会创建多个租赁协议,每周一,经理会询问进展、截止日期及其他问题。这些条款一旦签署,便成为公司必须履行的承诺,但这些信息往往隐藏在文件之中,Paoli表示。
解锁这些“暗数据”可以取代每周的状态会议,增强业务灵活性;无论是房东被星巴克要求重新谈判租赁协议,还是餐厅需要了解保险单内容,这都变得尤为重要。
在这一点上,利用NLP分析业务文档将变得更加重要,尤其是当企业重新思考其商业模式时。他们可能需要重新谈判所有合同,了解自身的义务和风险。专业服务公司埃森哲就利用NLP分析了超过一百万份合同,以详细了解自己的承诺和责任。
Paoli提到,对于那些缺乏内部NLP专业知识的组织,DocugaMi的SaaS产品提供30个示例文档,能够自动选择并对生成的文档提供反馈,以此来训练模型。
之后,DocugaMi将这些信息输入数据库,帮助创建可在浏览器中查看的仪表板,或与Excel和Tableau集成。我们可以轻松查看到期文件或具有特定条款的文件,Paoli解释道。
揭示会议的潜力
从会议和对话中提取有价值的信息往往是耗时的手工操作。虽然一些公司的电话录音已被转录,但很少进行深入分析。企业能从会议发言中获得多少关于项目进展或即将到来的截止日期的洞察呢?
OTTeR的首席执行官SaM Liang指出,由于员工在会议中通常花费30%或更多的时间,许多从中获取的信息并不如其他业务数据那样重要。
在人们如何达成共识,尤其是在连续的Zoom会议中,Liang提出了疑问。
像OTTeR这样的转录工具能够提供帮助。PoweRPoint和团队会议中的实时字幕,或AzuRe StReaMs广播平台中的可搜索实时会议转录,可以有效提供后续对话的文本,而无需人工记录。
MicRosoft的Cheng建议,未来的平台将结合转录、文档分析和图像识别,以提取“会议的集体智慧”,使得在会议结束后能更方便地访问信息。你可以记录更多的事件,并与团队方便地分享这些信息,她说。
例如,BRidgewateR ASSociates记录了过去15年的所有内部会议,任何员工都可以观看这些录音。然而,由于难以搜索,他们很少被使用,公司现在正在借助OTTeR提取旧会议内容。
同样,支持AzuRe Media SeRvices live MEETing转录的AzuRe CognITive SeRvices speech to text API也将很快能够转录上传到OneDRive的音频文件。开发人员可以使用这些API构建转录应用,但将这些功能直接集成到平台中将使其更具广泛适用性。
数据分析与准确性
完整的转录并不总是NLP最有用的结果,尽管它们提供了时间轴以通过上下文搜索找到“有趣的金块”,正如Cheng所言。
OTTeR提取标记作为自动摘要,以指示文本内容。IBM Watson的自然语言理解和OTTeR也在研究类似工具,但仍需查阅文字记录。2018年,MicRosoft为Teams展示了一个原型系统,能够根据会议记录创建和分配行动项目,并将会议记录分发给与会者。
从长远来看,NLP还能为会议提供数据分析:是否有相同的话题反复出现,截止日期是否不断推迟,某些员工是否比其他人更频繁发言,或在讨论其他人。
所有这些的价值取决于转录的准确性,而对于NLP而言,准确性是个复杂的问题。许多NLP系统在正式基准测试中达到了与人类相等的性能,但大多数基于对话的系统可能无法提供你所需的准确比较。Cheng提到,仍然缺乏单一有效的衡量标准。
我们看到不同能力融合于多模式系统中。你可能会发现你的对话系统表现出色,但在搜索或混合系统中表现不佳,而在混合系统中,你可能希望将语音、语言、视觉和文档结合在一起,她说。
转录的准确性受录音质量、背景噪音、说话者口音及讨论内容的影响。对于在安静环境中以英语为母语的人,OTTeR的Liang表示,其准确率已超过95%。在实际应用中,尽管提供了一些有用的转录,但仍然不够完美。
无论使用何种NLP工具,组织应准备投入时间,以定制与其业务相关的概念和术语,如行业专用术语或自身产品名称,以及员工名称,以确保能够准确识别。
在使用NLP之前,组织需明确可以接受的错误水平,而不仅仅是为了追求捷径或探索。Cheng建议将重点放在端到端的体验上。
你如何将这些要素融合,让人们能够更有效地完成工作,帮助你的公司或客户,她问道。
不应过于承诺;人工智能并非魔法,尽管自然语言工具确实能带来改善。你公司当前面临的最大挑战或许是如何组织信息,从现有文件中获取更多价值,并让专业人士提供指导。Cheng总结道,随着远程工作的经验日益丰富,我们或许能更好地利用人工智能。
