据多家外媒报道,xAI 近日在官网宣布,其大型语言模型 Grok-1 已正式开源,公布了基础模型的权重与网络架构,用户可按照提供的指引通过 GitHub 进行获取与使用。

公开信息显示,Grok-1 拥有约 3140 亿参数,属于混合专家模型,在目前已经开源的同类模型中参数量居于前列。
官方还披露,Grok-1 为从头训练的基础模型,当前发布的是预训练阶段结束时的原始检查点,预训练工作在去年十月完成,因此所公开的模型尚未针对对话等具体应用进行微调。
据介绍,该模型在大量文本数据上进行训练,权重与架构以 Apache 2.0 许可公开。团队使用自研训练栈(包括 JAX 和 RUSt)从零开始训练,并将成果以开源形式发布。
尽管已正式开源,但开源时间与此前的公示存在时间差异。
有消息称,相关方此前在社交媒体上表示将开源大模型,公开时间为上周;官方公开发布的开源时间为本周日。部分地区将周日视为周的起始日,这意味着时间的解释在不同地区存在差异。
按照 ISO 8601 标准,周一至周日构成一周,若以此口径看,Grok-1 的开源时间仍处于此前所述的那一周内。
