在主流智能手机制造商中，苹果仍是唯一一家尚未正式推出大模型应用的公司。
2023年，华为率先将大模型技术应用于手机，使得手机能够处理文本生成、信息检索、资料总结、智能编排以及复杂意图理解等任务。随后，小米也推出了其轻量级语言大模型，参数规模分别为13亿和60亿，小米认为轻量级模型在市场中有其独特的需求，这也是智能设备厂商进入大模型领域的必由之路。
紧接着，vivo发布了蓝心大模型，强调轻量化以便于手机的数据处理。荣耀也推出了自研的70亿参数平台级AI大模型，并与百度智能云达成战略合作。几乎同时，OPPO在新发布的Find X7中集成了其首款70亿参数大模型。三星则计划在2024年初推出的Galaxy S24系列中搭载大模型，旗下的笔记本和平板电脑也可能整合该技术。
然而，关于苹果何时在iPhone上搭载大模型的消息依然不明朗。一位业内人士提到，苹果在新技术应用上倾向于充分准备后再推出。苹果CEO库克曾表示，苹果计划在更多产品中整合AI，但需要“深思熟虑”。
尽管如此，苹果已经开始采取行动，推出了名为FeRRet的多模态大语言模型，并开始向新闻及出版机构购买内容版权。iPhone的“AI时刻”正逐步逼近。
追求更快的端侧大语言模型
虽然苹果尚未公开其详细的大模型计划，但其发布的论文《闪存中的大型语言模型：在有限内存下高效的大型语言模型推理》透露了一些技术进展。
目前，大多数大型语言模型（LLM）依赖于强大的云端服务器进行运算。要将这种模型集成到手机中，需要智能手机具备足够的内存。
然而，一个70亿参数的模型需要超过14GB的内存来加载，这超出了大多数设备的能力。即便通过量化压缩模型，终端设备的内存需求依然过高，并且压缩过程可能需要重新训练模型，影响其实际应用。
根据论文内容，苹果的研发团队似乎找到了解决方案——将模型参数存储在闪存中，并在需要时将数据调入DRAM，以解决LLM运行时数据处理量超出DRAM可用容量的问题。
具体而言，苹果采用了两种技术：“窗口化”技术，通过重复使用之前激活的神经元来减少数据传输；“行列捆绑”技术，针对闪存的数据特征，定制访问数据块的顺序，从而增加读取的数据块大小。
研究人员表示，这种方法“为在内存有限的设备上有效推理 LLM 铺平了道路”。与传统的CPU加载方法相比，该框架支持更大模型，并且在CPU和GPU中推理速度分别可提升4-5倍和20-25倍。
更保守的训练策略
与使用爬虫技术获取大模型训练数据的方式不同，苹果采取了更为保守的策略。该公司希望与新闻出版机构进行谈判，以利用其内容开发生成式AI系统。
据报道，苹果最近开始与主要新闻和出版机构谈判，提出至少5000万美元的多年期协议，以获得新闻文章档案的授权，这些机构包括Condé Nast、NBC新闻和IAC。
不过，《纽约时报》报道称，出版商可能要承担苹果使用其内容产生的法律责任，而苹果对于其新闻和生成式人工智能计划的表述则显得模糊。苹果高管在如何获取生成式人工智能产品所需数据方面存在争议，因其注重隐私，苹果不愿意从互联网上直接获取信息，因此与新闻出版商的合作成为另一种选择。
苹果的保守策略对生成式AI的发展既有利也有弊。好处在于，通过在更有针对性的信息集上训练人工智能模型，苹果可能推出更可靠的产品；而弊端则在于，这可能会延迟苹果大模型的推出。
相比之下，OpenAI的做法相对激进。OpenAI用于训练ChatGPT的数据主要来源于网络信息，这导致了信息的不准确性，甚至出现了虚假信息。同时，OpenAI与新闻机构之间的版权争议也是一个无法回避的问题。
例如，《纽约时报》在2023年12月以“违法使用数据、抄袭”为由起诉OpenAI，称其模型几乎能够一字不差地输出《纽约时报》的原文，并且没有提供引用链接，影响其流量和收入。
因此，《纽约时报》认为OpenAI和微软应对此非法使用负责，并要求两家公司销毁所有使用其版权材料的模型和训练数据。
当地时间1月8日，OpenAI在官网上回应了《纽约时报》的版权侵权诉讼，称《纽约时报》的证据来自于多年来在第三方网站上流传的文章，并指责其“故意操纵了提示”。
此前，OpenAI表示，若不使用受版权保护的内容，就无法训练出当今领先的人工智能模型。
主动开源，全栈布局
与以往封闭的iOS生态形成鲜明对比，苹果的FeRRet多模态大语言模型以开源方式发布，这意味着全球的工程师可以在此基础上进一步发展，而苹果也能从中受益。
此外，为了让开发者轻松构建针对苹果芯片优化的机器学习（ML）模型，苹果还推出了名为MLX的开发框架。该框架允许开发者自由选择编码语言，并利用苹果M1和M2代芯片中的统一内存系统，使得开发者可以直接对内存中的数据执行操作，而无需进行数据移动。
尽管节省的时间仅以毫秒计量，但每一次的时间节省累积起来，将加速模型的迭代。
英伟达的高级科学家JiM FAn表示，这可能是苹果在开源人工智能方面的一项重大举措。
由于苹果公司在开源MIT许可下发布了其MLX机器学习框架，苹果的芯片优势将持续在计算量大的机器学习领域保持。苹果的MLX开发框架与其M系列芯片相结合，可能让苹果在大模型时代实现软件与硬件的全栈自研。
据报道，苹果还在开发名为“Ajax”的生成式人工智能模型，预计相当于OpenAI的GPT-n系列。这个拥有2000亿个参数的苹果大语言模型，将成为苹果未来人工智能战略的核心，其性能有望与OpenAI最新模型相媲美。
Ajax将使苹果能够在其设备和应用生态系统中支持新的AI集成与功能，而无需依赖于微软、OpenAI或谷歌等第三方模型提供商。
