早在2017年,研究人员就提出了一个问题:到2040年,人工智能能否编写大多数代码?如今,OpenAI的GPT-3已经被测试人员广泛使用,能够用多种编程语言进行编码,机器主导的编码时代似乎正在到来。
GPT-3经过了数千亿字的训练,甚至涵盖了整个互联网,这使得它能够使用CSS、JSX和Python等语言进行编码。GPT-3不需要针对不同语言进行特别训练,因为它的训练数据非常全面。相反,当面临简单指示时,网络会专注于当前的任务。
GPT的发展历程
GPT通过将监督学习与无监督预训练相结合,在语言任务中达到了领先水平。与后续版本相比,最初的GPT相对较小,仅在几千本书和一台8GPU的机器上进行训练。
GPT-2则显著扩展了规模,参数数量增加了10倍,并使用了超过10倍的训练数据。尽管如此,数据集依然有限,主要来源于Reddit上获得至少三个karma的链接。GPT-2被形容为一个多才多艺的文本生成器,但在问答总结或翻译等下游任务中并不算最先进。
GPT-3被视为人工智能领域的一个里程碑,它在多项任务中表现出色,并且不再需要为特定任务进行微调。其模型规模再次大幅增长,参数数量达到了1750亿,是前一代的116倍。
GPT-3的性能非常出色,几次学习后依然能保持其强大的能力。
发展与挑战
目前,Beta测试人员正在使用GPT-3生成工作代码,这需要一些基本知识。从按钮到数据表,甚至重建谷歌的主页,这些都可以通过零次学习实现。
除了人工智能的迅速发展之外,还有两个技术趋势正在加速这一现实:无代码和自动机器学习。
无代码工具的崛起:让每个人都能成为数据科学家
无代码平台旨在使任何人都能轻松构建新产品,无论是网站、设计、数据分析还是模型。像WordPress、Wix和Shopify这样的无代码工具,使得数以百万计的人无需雇佣开发人员或设计师即可完成项目。
另一趋势是自动机器学习(AutoML),它显著缩短了人工智能模型的开发时间。
AutoML会取代数据科学家吗?
类似Apteo的工具顺应了这一趋势,使得用户无需编码技能即可部署人工智能模型。GPT-3的出现将进一步推动无代码和自动机器学习的发展,许多雇主可能会选择这些工具,而不是雇佣高成本的程序员。
当然,技术含量较低的程序员将首先受到影响,而专家则像在任何行业一样,享有更长时间的工作保障。
不仅限于编码——GPT-3适用于各种语言任务
要引导GPT-3完成特定语言任务,只需提供期望的示例。你可以直接用GPT-3编写代码,或撰写诗歌、音乐评论等其他文本。
例如,如果想生成一篇新闻文章,可以输入正标题和副标题,如“联合卫理公会同意历史分裂”和“那些反对同性婚姻的人将形成自己的派别”。
根据这些输入,GPT-3生成如下内容:
经过两天的激烈辩论,联合卫理公会已同意这一历史性的分裂,预计将会形成一个新的教派,该教派在神学和社会方面都比较保守。大多数在5月教会年度大会上出席的代表投票支持加强禁止LGBTQ神职人员的任命,并制定新的规则,对主持同性婚礼的神职人员进行处罚。然而,那些反对这些措施的人有一个新计划:他们宣布将在2020年成立一个独立的教派,称为基督教卫理公会教派。
这段文字让88%的人信以为真,只有12%的人意识到这是由人工智能生成的。
就像人类一样,GPT-3同样能够通过例句学习新词汇。例如,在给定上下文“BuRRingo是一辆加速速度非常快的汽车”后,GPT-3的输出为:“在我们的车库里有一辆BuRRingo,我父亲每天开它去上班。”
这些结果令人印象深刻。人工智能正在迅速进化,而对当前性能的批评将会在其快速迭代中消失。
不仅仅是语言——GPT同样适用于图像生成
GPT不仅可以编写代码和文本,还能生成图像。该模型架构可以通过在像素序列而非文本编码上进行训练,从而生成新的图像。事实上,它在这一领域表现出色,甚至可以与顶级的卷积神经网络(CNN)竞争。
这表明,GPT及其后继者不仅有潜力在未来取代编码工作,其多功能性甚至可能使其取代整个行业。
GPT-3的卓越表现让许多人相信,我们正前所未有地接近超级智能,或者至少,人工智能生成的代码比我们想象的更接近,它能够创造出具有创意、洞察力、深度甚至美感的内容,未来已经来临。
