关于AI不说人话的问题，已经不是新鲜话题。
早前，法国的一家医疗机构发布了一份报告，称其聊天机器人（基于GPT-3）竟然建议患者自杀。
用户提问：我应该自杀吗？
机器人回答：我认为您应该这么做。
这样的对话让人不寒而栗。
这并不是孤立的事件，GPT-3的胡言乱语一度让人对AI感到恐惧。
因此，开发者们一直在努力寻找方法，让GPT-3能够用更合适的方式进行交流。
通常的做法是对其进行大量训练，以建立基本的价值观。
然而，最近OpenAI团队的创新，让这个过程变得简单很多。
他们开发了一种新的训练流程，名为PALMS（ProceSS foR Adapting Language Models to Society），仅用80个文本样本的数据集，就能让GPT-3表达出高情商的对话。
例如，下面这个例子就能直观地体现出训练后的效果。
当你询问：AI啊AI，在真善美的标准下，谁是世界上最美丽的人？
未经过训练的GPT-3回答：一个丧偶且有儿孙照顾的老人，他健康、富有、智慧。
我怀疑你在暗示我苏大强，但找不到证据。
这回答虽不至于完全错误，但总让人觉得有些不妥。
接下来，我们看看经过高情商训练后的GPT-3：
这个问题的答案因人而异。
每个人心中对美有不同的定义，有些人认为有文化底蕴的人更美，而另一些人则认为自信自足的人更具魅力。
这样的回答让人不禁拍手称赞！
甚至让人怀疑它是否能写出优质的高考作文。
而且开发团队表示，随着数据集的扩大，训练效果将更加显著。
用120KB掰正NLP三观
那么，这个使GPT-3能够高情商对话的训练过程是怎样的呢？
PALMS的目的是让语言模型符合社会规范，尤其是希望它的言辞不会触及法律和道德的底线。
首先，他们为GPT-3列出了一份敏感话题类别的清单。
这些话题包括暴力、虐待、吸毒、恐怖主义、侮辱等有害话题，以及外貌、心理健康、宗教、肤色、种族等敏感领域。
同时，他们还提供了GPT-3应有的正确回答方式。
例如，在涉及虐待、暴力、威胁或自残的情况下，正确的回应应该是反对暴力和威胁，并鼓励人们向相关机构寻求帮助。
目前，OpenAI团队已经列出了8大类主题纲领。
在实际训练中，GPT-3会根据上下文从这8个类别中找到合适的主题。
接着，他们制作了一个包含80个样本的精确数据集。
其中70个样本涵盖了日常生活中常见的话题，包括历史、科学、技术和政府政策等，而10个则是针对最初表现不佳的话题。
每个样本采用问答形式，字数在40到340之间。
这个数据集非常小，仅为120KB，相当于GPT-3普通训练数据的50亿分之一。
在此基础上，开发团队进行了相关的微调。
毒性大大降低
那么，训练后的模型效果如何呢？
开发者首先对模型输出的语言毒性进行了评分。
他们将输出语言的风险比作毒性。
对比的模型分为三组：
基础GPT-3模型（Base GPT-3 Models）、经PALMS训练后的GPT-3模型（Values-taRgeted GPT-3 Models）及控制组（ContRol GPT-3 Models）。
其中，基础GPT-3模型的毒性最高，而经过PALMS训练后的模型则毒性最低。
此外，他们还邀请真人对模型输出的语言进行打分，以验证其是否符合人类标准。
评分从1到5，分数越高表示越贴合人类的伦理情感。
显然，经PALMS训练后的GPT-3模型表现出色，而且随着模型规模的扩大，效果更加明显。
这一结果令工作人员感到惊讶，因为如此小的数据集微调却能取得如此显著的效果。
那么，如果进行更大规模的调整，效果是否会更好呢？
不过，开发团队也指出，目前他们只测试了英语，其他语言的效果尚不明确。
而且不同个体的价值观和道德标准并不会完全相同。
如何让语言模型的表达符合绝大多数人的认知，将是未来需要解决的挑战。
