斯坦福大学研究人员表示,他们仅用约600美元的成本,完成了一个类ChatGPT模型的复现工作。
根据斯坦福大学基础模型研究中心的介绍,研究团队借助GPT API生成数据,并在Meta的LLaMA 7B模型基础上进行微调,最终得到一个名为Alpaca的模型。
从成本构成来看,这项实验的主要开支来自接口调用和模型训练。研究人员称,其中用于GPT API的费用不足500美元,而与LLaMA相关的成本不足100美元。
研究结果显示,Alpaca虽然整体规模小于GPT-3,但在部分任务中的表现依然较为出色,个别场景下甚至能够超过GPT-3。
不过,Alpaca并不完美。研究团队也指出,它仍然存在语言模型常见的问题,例如生成不准确信息、出现有害内容,以及带有刻板印象等现象。
这项工作说明,借助现有基础模型、公开方法和适度预算,复现高质量对话模型的能力门槛正在下降,也反映出这类系统在一定程度上具备可复制性。
