地平线发布 LoFT 视频几何基础模型:联合预测相机状态与深度,多项指标达 SoTA
据 IT之家 11 月 19 日报道,地平线机器人实验室于 11 月 18 日发布原生视频几何基础模型 LoFT,完整名称为 Looped Foundation Transformer for Video Geometry。该模型以 RGB 视频为输入,联合预测相机位姿、相机内参与逐帧深度,进而恢复场景的三维结构。官方公布的评测显示,LoFT 在多项深度估计指标上达到 SoTA,即当前最优水平,为机器人空间感知、环境理解与具身学习提供了新的几何建模方案。
从连续视频出发,用双循环联合优化几何与相机状态
LoFT 的核心思路是原生面向连续视频建模:不仅分析单帧图像,还利用相邻帧的连续性,以及不同视角之间的几何关联,推断场景结构和相机运动。其双循环 Transformer 架构,将跨帧信息聚合与相机状态迭代优化结合起来。
- 第一循环通过局部与全局时序注意力聚合跨帧视觉信息,逐步扩大时间感受范围,提取视频中的几何线索。
- 第二循环显式更新相机位姿与内参,并将相机状态反馈至下一轮特征计算,使几何特征与相机估计相互配合。
- 模型结合双循环特征,预测逐帧深度及其置信度,恢复场景中可见部分的三维结构。
这意味着,LoFT 并非只为画面生成一张深度图,而是尝试同时回答“相机如何移动”“相机参数是什么”以及“画面中的物体有多远”。这些信息共同构成机器人理解空间的重要基础,但也应注意,来源描述的是可见场景重建,并不意味着能够还原被遮挡区域的完整结构。
训练覆盖约 297 万条序列,评测涉及多类视频场景
据官方介绍,团队为规模化训练搭建了统一的三维重建数据处理与训练平台,包含约 297 万条有效训练序列、9.62 亿帧图像记录。数据覆盖仿真与真实、动态与静态等场景,并采用统一的数据清洗、质量筛选和采样策略。
评测方面,研究团队在 SpatialBench、ClassicBench 和 VRBench 三套体系中,将 LoFT 与 VGGT-Ω、DA3-Giant 等模型进行比较。其中,SpatialBench 覆盖 12 个数据集、98 个连续视频场景;ClassicBench 整合 7 个经典视频重建基准;VRBench 则覆盖机器人、自动驾驶及通用视频场景。官方称,LoFT 的多项深度估计指标达到 SoTA。这一结论应限定在已公布的测试范围内,不宜直接理解为所有三维重建任务均全面领先。
产业解读:为具身智能补充空间理解能力
对机器人而言,识别画面里“有什么”只是感知的一部分,判断物体距离、空间关系和自身运动同样关键。LoFT 将连续视频中的时序线索与多视角几何信息联合使用,其价值在于为后续环境理解、导航和操作研究提供更连贯的空间输入。
官方列出的应用方向包括机器人第一人称视频、动态街道、室内操作和开放环境探索。不过,基准成绩与实际部署能力仍需区分:来源尚未给出推理速度、运行硬件、部署成本等信息。对于产业应用,后续值得关注的重点,是模型在长时间运行、复杂动态环境及有限计算资源下,能否持续保持可靠的几何估计。