英伟达正式推出 Cosmos3-H-Dreams，将交互式生成式模拟引入临床手术的视觉与程序复杂性领域。这是业界首个基于临床胆囊切除术记录训练、支持实时运动控制的生成式手术模拟器。在 Cosmos 3 世界基础模型驱动及 NVIDIA FlashDreams 加速流式推理库的支持下，该模拟器可在单块 NVIDIA RTX PRO 6000 GPU 上实现交互式运行。
从桌面验证迈向临床复杂场景
此前发布的 Cosmos-H-Dreams 基于 Cosmos-Predict2.5，主要应用于 da Vinci Research Kit (dVRK) 的桌面缝合任务。而 Cosmos3-H-Dreams 通过从 CMR Surgical Versius 平台的临床手术记录和机器人运动数据中学习，实现了能力跃升。
与显式建模几何、组织变形和物理交互的传统数值模拟不同，Cosmos-H-Dreams 作为世界基础模型（WFM），直接从同步视频和机器人运动学中学习视觉动态。在人体内，微小器械移动会引发组织拉伸、反射变化及遮挡等复杂场景响应。Cosmos3-H-Dreams 专为解决这一难题设计，能在生成每一帧新视频时保持解剖结构和器械的时间一致性，确保低延迟下的动作条件交互保真度。
技术架构：教师-学生蒸馏与流式推理
Cosmos3-H-Dreams 建立在 160 亿参数的 Cosmos3-H-Embodied-Nano 之上，针对左侧卡迪耶钳和右侧单极钩两种器械进行了专门化训练。模型处理 28 个动作维度，包括双臂姿态、抓取信息及能量控制等，训练视频分辨率为 832 x 480，动作对齐频率为 10 Hz。
为实现长序列自回归 rollout 的加速，团队采用了教师到学生（Teacher-to-Student）的训练流水线：
- 教师模型适应：双向教师模型首先在 24 帧未来帧上适应，随后扩展至 72 帧（即 10 Hz 下的 7.2 秒），以学习更长的手术动态。
- 知识蒸馏：通过因果教师强制（Teacher Forcing）和自我强制（Self-Forcing），将双向教师模型蒸馏为因果学生模型。自我强制利用自身生成的上下文进行训练，有效解决了交互式 rollout 中的误差累积问题。
- 多步检查点：提供四步和两步两个学生模型检查点。两步模型并非简单减少采样步骤，而是单独训练以平衡视觉质量与推理成本。
- FlashDreams 加速：集成改进的 FadeMem 模块管理长 rollout 期间的键/值缓存，配合 FlashDreams 实现高效的流式推理。
泛化能力与研究应用
演示显示，Cosmos3-H-Dreams 能够根据 VR 头显记录的未见动作序列，生成具有物理准确组织变形的不同手术场景。即使起始帧相同，不同的器械控制也能导致连贯且符合解剖逻辑的场景延续。
该系统目前提供用于胆囊切除术的四步和两步检查点。开发者可利用提供的完整配方，在具备同步视频和兼容动作表示的其他数据集上训练实时学生模型，但需严格遵循相同的动作约定和归一化方法。
未来展望与局限声明
英伟达明确了后续研究方向，包括模拟完整手术过程、结合生成式模拟与数值模拟以验证变形、引入外科医生评估基准、支持更多器械交互，以及开发自主手术策略闭环。
需要强调的是，Cosmos3-H-Dreams 定位为研究模拟器，旨在为日益逼真的手术交互研究提供基础，而非经过验证的患者护理系统或成熟临床产品。