语言模型常常给出不相关的答案，这已成为其主要问题之一。
现在，DeepMind提出了一种解决方案——
让模型像人类一样，学会通过搜索引擎来回答问题，并提供论据支持。
这个模型叫做GopheRCITe。当你询问它：
GopheRCITe是如何找到论据来源的？
它会回答：
通过谷歌搜索检索相关文档。
同时，它还会引用DeepMind发布这项研究的页面作为依据。
而且在面对不懂的问题时，它会说”I don’t know.”，而不是强行给出错误的答案。
训练结果显示，该模型在自然问题数据集和ELI5数据集上的正确率分别达到90%和80%，接近人类水平。
接下来，我们来看一下GopheRCITe的表现。
当被问到：
在Scooby Doo中，Scooby是什么动物？
GopheRCITe回答：
一只大丹犬。
这来源于维基百科的Scooby-Doo，描述了这一系列青少年动画片的主角，包括弗雷德·琼斯等，以及名叫Scooby-Doo的会说话的大丹犬。
不难看出，学会寻找论据后，AI的回答更为可靠。
实际上，GopheRCITe的前身——超大语言模型GopheR，在回答问题时的表现要差得多。
GopheR是DeepMind在去年年底发布的NLP模型，包含2800亿参数，基于TRansfoRMeR架构，在10.5TB的MaSSiveText语料库上进行训练。
DeepMind举了一个例子来说明。
让GopheR和GopheRCITe回答同一个问题：
普莱西德湖一共举办过几次冬奥会？
GopheR的错误回答是：
普莱西德湖在1932年、1936年、1980年举办过冬奥会。
而GopheRCITe则正确回答：
两次。
并提供了严谨的理由：
援引自美国主办奥运会城市史，1932年和1980年在普莱西德湖举办过冬季奥运会；1936年和1984年在洛杉矶举办过夏季奥运会。
那么GopheRCITe的具体工作原理是怎样的呢？
在GopheR的基础上，研究人员开发了一种奖励机制，运用强化学习。
在接收到问题后，模型会访问谷歌搜索的API，找到相关网页，获取top-K结果。
然后根据问题生成多个答案，答案数量N会大于K。
这些答案会附带证据，即从网页上搜索到的包含答案的文段。
接下来，系统会对这些答案进行评分，最终输出得分最高的答案。
在推理过程中，模型会在文档上循环迭代，每个循环尽可能多地显示上下文内容，然后对文本重新排序并返回给上一步。
此外，模型还会评估最终生成答案的质量，如果质量不达标，它将选择不回答。
这种机制源于红牛的广告语：”它会给你翅膀”。
在ELI5FilteRed数据集上回答70%问题时，正确率约为80%。
DeepMind表示这种训练模式与LAMDA类似。
LAMDA是谷歌在去年I/O大会上发布的对话模型，能够“理解”人类指令并流畅地进行逻辑和事实正确的对话。
不同之处在于，LAMDA有时会直接分享相关链接，而GopheRCITe可以直接摘出相关论据文段。
此外，OpenAI最近开发的网页版GPT（WebGPT）也使用类似的方法来校正GPT-3。
DeepMind指出，WebGPT通过多次访问网页来组织答案，而GopheRCITe则侧重于读取长文段。
尽管GopheRCITe能够引用资料，有时它仍会生搬硬套。
例如，当你问它”喝了红牛会怎么样？”时，它的回答是”翅膀”。
显然，它对于比喻的理解仍有困难。有些网友甚至表示，人类自己去谷歌搜索可能更快。
你怎么看呢？
