英伟达 Cosmos3-H-Dreams：用生成式仿真把临床手术场景做活

英伟达推出 Cosmos3-H-Dreams，将交互式生成仿真推进到临床外科场景，并给出其迄今最逼真的体内影像。此前基于 Cosmos-Predict2.5 的 Cosmos-H-Dreams 面向 dVRK 桌面缝合，作为世界基础模型从同步视频与机器人运动学直接学习视觉动态，而非显式建模几何与组织形变。新版本改用 CMR Surgical Versius 平台上临床手术的视频与运动学记录训练；据称这是首个在临床胆囊切除记录上训练、支持实时运动学控制的生成式手术仿真器。依托 Cosmos 3，并以英伟达加速流式推理库 FlashDreams 加速，可在单块 RTX PRO 6000 GPU 上交互运行。体内环境中细微器械动作会牵动组织牵拉、反光、遮挡与烟雾，仿真需在给定初始图像与工具动作下保持解剖与器械一致并控制误差累积。模型基于约 160 亿参数的 Cosmos3-H-Embodied-Nano，在精选胆囊切除视频与运动学上特化，关注左 Cadére 抓钳与右单极钩两件器械，动作维度 28，训练视频 832×480、动作对齐 10 Hz。训练先用双向教师在 24 帧再延至 72 帧，再蒸馏为因果学生；发布四步与两步去噪学生检查点，步数越少越快但画质下降。FlashDreams 负责流式运行，并用改编的 FadeMem 在长 rollout 中整理注意力键值缓存。