GPT-3，即第三代生成式预训练变换器，由旧金山的AI公司OpenAI开发，经过多年的发展，最近在AI文本生成领域引发了显著的创新潮流。
从多个角度来看，这些进展与自2012年以来AI图像处理领域的飞跃相似。计算机视觉技术推动了无人驾驶汽车、面部识别和无人机的发展。因此，可以合理推测，GPT-3及其同类技术的新功能可能会产生同样深远的影响。
与所有深度学习系统一样，GPT-3依赖于数据模式。它在庞大的文本数据集上进行了训练，利用统计规律进行挖掘。重要的是，这一过程无需人工干预，程序在没有指导的情况下查找信息，并将其用于完成文本提示。
GPT-3的独特之处在于它的规模和完成众多令人惊叹任务的能力。第一版GPT于2018年发布，包含1.17亿个参数，2019年发布的GPT-2则包含15亿个参数。相比之下，GPT-3拥有1750亿个参数，数量比前者多出100倍，超越了之前最大同类自然语言处理模型的10倍。
此外，GPT-3的训练数据集极为庞大，整个英语维基百科仅占其训练数据的0.6%。其他训练数据来自数字化书籍和各种网页链接，涵盖新闻文章、食谱、诗歌、程序代码、科幻小说、宗教文本等几乎所有可想象的文字类型。上传到互联网的文本都可能成为其训练数据，当然也包括一些不良内容，如伪科学、阴谋论和种族主义等。这种深度和复杂性使得GPT-3的输出也具有很高的复杂性，从而成为一种非常灵活的工具。
最近几周，OpenAI通过向AI社区成员提供GPT-3的商业API，鼓励实验，这也促成了大量新用途的出现。
那么，GPT-3具体能做些什么呢？
- 基于问题的搜索引擎：用户可以像在Google中一样输入问题，GPT-3会提供相关的维基百科链接作为答案。
- 与历史人物对话的聊天机器人：由于训练中包含了大量数字化书籍，GPT-3能够吸收特定哲学家的知识，让其像哲学家罗素一样进行对话。
- 仅需几个样本即可解决语言和语法问题。
- 基于文本描述生成代码：通过简单的文字描述设计元素或页面布局，GPT-3能够生成相关代码。
- 回答医疗问题：一名来自英国的医学生使用GPT-3回答医疗问题，程序不仅给出准确答案，还解释了相关生物学机制。
- 基于文本的探险游戏。
- 文本风格迁移：用户输入某种格式的文本，GPT-3可以将其转换为另一种格式。
- 创作吉他曲谱：这意味着GPT-3能够自行生成音乐。
- 撰写创意小说。
- 自动完成图像：这项功能由GPT-2和OpenAI团队共同完成，表明该基本架构可以在视觉数据上实现自动完成任务。
然而，所有这些功能都需要一些上下文来更好地理解。值得注意的是，GPT-3并没有接受过完成特定任务的训练。一般语言模型需要先进行基础训练，再进行微调以执行特定任务，但GPT-3则不需要微调。在语法问题中，只需提供所需输出类型的样本。
由于GPT-3的规模庞大，这些不同功能都可以在其中实现，用户只需输入正确的提示进行调教。然而，网上传播的内容也存在另一个问题：这些都是经过精心挑选的样本，生成的结果可能并不止一个。因此，必然存在炒作的成分。
正如AI研究人员在针对GPT-3的炒作解构文章中指出的，许多早期演示来自硅谷企业家，他们渴望宣传该技术的潜力而忽略其不足，因为他们关注AI带来的新商业机会。实际上，OpenAI的CEO也在社交媒体上表示，GPT-3被过度宣传了。
尽管GPT-3能够编写代码，但我们很难判断其总体用途。生成的代码是否凌乱，是否会为人类开发者带来更多问题？没有详细的测试很难说，但我们知道GPT-3在其他方面也会犯严重错误。
例如，当用户与GPT-3生成的“乔布斯”对话时，询问他的所在位置，这个“乔布斯”回答：“我在加州库比蒂诺的苹果总部。”虽然这是一个连贯的回答，但很难说其可靠性。在回答琐事或基本数学问题时，GPT-3也可能出现类似错误，比如它无法正确回答“100万前的数是多少”。
然而，评估这些错误的重要性和频率并不容易。如何判断这个几乎能够回答所有问题的程序的准确性？如何为GPT-3的“知识”绘制系统地图并进行标记？尽管GPT-3经常产生错误，但更具挑战性的是，通常可以通过微调输入文本来解决这些问题。
一些使用GPT-3创作小说的研究人员指出：“抽样可以证明知识的存在，但无法证明知识的缺失”，通过微调提示可以修复GPT-3输出中的许多错误。在一个错误示范中，当询问GPT-3：“哪个更重，一个烤面包机还是一支铅笔？”它回答“铅笔比烤面包机重。”但如果在提问之前给机器提供某些提示，告诉它水壶比猫重，海洋比尘土重，它会给出正确的答案。这表明，尽管这个过程可能棘手，GPT-3仍能够提供正确的答案，只要用户知道如何调教它。
有观点认为，这种微调最终可能成为一种编码范式。就像编程语言使用专用语法使编码更为流畅一样，未来我们可能会完全放弃编程语言，只使用自然语言进行编程。开发人员可以通过思考程序的不足并相应调整提示，从程序中得出正确的响应。
然而，GPT-3的错误也引发了另一个问题：该程序不可靠的特性是否会影响其整体实用性？目前，人们已尝试使用GPT-3进行各种用途，从创建客服机器人到自动内容审核。但输出内容的错误可能给商业公司带来严重后果。没有人希望创建一个偶尔侮辱客户的客服机器人。如果无法保证答案的可靠性，我们也不敢将GPT-3作为教育工具。
在专业人士的评价中，一位匿名的Google资深AI研究人员表示，他们认为GPT-3只是能自动完成一些琐碎任务，且较小、更便宜的AI程序也可以做到。程序的绝对不可靠性最终会影响其商用前景。另一位AI研究人员Julian Togelius指出：“GPT-3的表现常常像一个聪明的学生，但并没有读完书，试图通过一些显而易见的事实和谎言交织在一起，呈现出流畅的叙述。”
另一个严重的问题是GPT-3输出的偏见。英伟达的AI专家教授指出，GPT-3在某种程度上接受了经过Reddit过滤的数据训练，而基于这些数据构建的模型生成的文本具有“令人震惊的偏向性”。在GPT-2的输出中，如果要求完成某个句子，模型可能会产生各种歧视性言论。
[[[IMG_1]]]
[[[IMG_2]]]
[[[IMG_3]]]
[[[IMG_4]]]
[[[IMG_5]]]
[[[IMG_6]]]
