谷歌发布 Genie 4 世界模型:支持实时音视频与场景编辑,连贯仿真延长至两分钟
据 IT之家 10 月 28 日报道,谷歌 DeepMind 推出新一代世界模型 Genie 4,目前处于研究预览阶段。它能够根据提示生成可交互虚拟环境,并在运行过程中接受指令修改场景。相较前代,新模型提升了画面拟真度,加入与虚拟世界同步的实时音频,覆盖音乐、环境音和交互式对话,最长可维持两分钟的连贯场景。
从生成画面,走向可持续修改的世界
Genie 4 的重点不只是让生成结果更逼真,而是让用户持续参与其中。来源显示,用户可以实时调整天气、改变镜头角度,或向场景中加入人物和物体。模型的物理效果与虚拟人物表现也有所改善,连贯场景时长达到前代的两倍。
实时交互与同步音频的结合,意味着用户面对的不再只是一段播放完毕的视频,而是能够响应操作的模拟环境。不过,来源同时提到 Runway 此前推出的 GWM Worlds 2 已支持交互响应和音频生成,因此不宜将音频能力简单理解为整个世界模型领域的首次突破。
- 场景编辑:在仿真运行中,通过提示修改天气、视角、人物与物体。
- 音频生成:让音乐、环境声音和对话与虚拟世界同步呈现。
- 持续仿真:最长维持两分钟连贯场景,但更长时间运行仍面临稳定性问题。
- 模型协作:进一步结合 Gemini 的规划能力与 Genie 4 的视觉生成能力。
影响:为机器人验证和创意原型提供新工具
谷歌展示的一个方向,是让 Gemini 负责规划步骤、校验画面,再由 Genie 4 生成实时仿真。在与 Gemini 机器人项目有关的研究实验中,系统先拆解任务,再模拟执行过程。这展示了在真实机器人测试前先验证场景的可能路径,但还不能据此认定仿真结果能够完全替代现实测试。
游戏、交互式学习和机器人是其主要探索方向。例如,学习者可以进入历史画作所呈现的环境,与其中的人物交流。首批可信测试者还发现,实时生成适合用于电影创意构思和分镜原型:创作者可以边观察边调整,而不必每次都重新制作整段素材。
从工具定位看,Genie 4 更偏向可交互的构思与模拟空间;谷歌已有的 Veo 则面向视频生成。来源提到,未来可能借助 Gemini Omni 将原型素材转化为正式创作资产,但相关能力距离落地仍有一段距离。
研究预览仍有边界,开放将分批推进
两分钟连贯不等于可靠的物理仿真。团队承认,运行时间增加后,细节和物体更容易偏移;音频准确性以及虚拟场景中文字的清晰度,也尚未得到稳妥解决。对于机器人验证和需要精确呈现的创作任务,这些都是必须评估的限制。
据报道,Genie 4 已向可信测试者开放,未来几周将逐步覆盖谷歌 AI Ultra 订阅用户、Genie 项目,以及 Gemini API 和谷歌 AI Studio 的早期合作方。面对世界模型领域的竞争与整合,谷歌此次推进的核心,是把生成能力转化为可操作、可迭代的环境;其实际价值仍需由后续产品体验和可靠性验证。