英伟达展示Lyra 2.0：单张照片可生成可探索的三维世界并支持实时渲染

英伟达展示了由公司空间智能实验室开发的Lyra 2.0，这是一套人工智能框架，能把单张照片转换成可探索的三维环境，让用户在保持虚拟世界一致的前提下，走出原图视野继续移动。该技术把人工智能视频生成与三维重建结合起来，可能为游戏开发、虚拟现实和机器人仿真带来新可能。相关研究最初发表于2026年4月，英伟达眼下正赶在2026年亚洲SIGGRAPH大会之前再度对外介绍。与只能输出预定镜头序列的传统图生视频工具不同，Lyra 2.0允许用户控制相机轨迹，并在移动过程中逐步生成环境的新视角。系统会把生成的视频序列重建为显式的三维高斯表示，从而能从不同视角渲染同一场景。其更关键的进展，是针对生成式人工智能长期存在的两类问题：空间遗忘与时间漂移。前者指模型记不住已经生成过的地点，回访时可能出现结构不一致；后者指长时间生成中视觉与几何误差会逐渐累积。研究人员为此设计了利用三维几何信息检索相关历史帧的空间记忆系统，并用模型自身并不完美的输出来训练它，使其学会纠正累积误差，而不是不断放大错误。生成的视频随后可重建为三维高斯泼溅和多边形网格，实现实时渲染，并导出到英伟达Isaac Sim等应用中。英伟达还开发了蒸馏模型，把视频生成从35个去噪步骤压缩到仅4步，生成时间大约缩短13倍。