
NVIDIA宣布对NVIDIA Isaac™开源机器人开发平台进行重大扩展,新增参考型人形机器人、数据集和运行时环境,并更新机器人学习框架。这些技术旨在为开发者提供从数据到部署的集成路径,加速通用机器人在现实世界中的应用。
NVIDIA创始人兼首席执行官黄仁勋表示,通用机器人技术正快速发展,机器人的“ChatGPT时刻”即将到来。通过NVIDIA Isaac全栈开源平台,公司向开发者提供模型、数据、仿真工具和计算系统,助力物理人工智能进入全球主要行业。
Agile ONE SN:面向前沿研究的参考平台
Agile Robots发布了Agile ONE SN,这是一款基于NVIDIA Isaac GR00T构建、搭载NVIDIA Jetson Thor™边缘AI平台的全栈参考型人形机器人。该平台预配置了相关软件栈,旨在为开发者和研究人员提供完整的前沿人形机器人开发与验证环境,并计划整合NVIDIA Halos安全栈。
针对机器人研究中仿真、训练和部署工具分散导致的整合难题,Agile ONE SN将这些流程统一在单一平台上,将设置时间从数周缩短至数天。其主要特性包括:
- Agile ONE S人形机身:身高1.40米,重40公斤,拥有31个自由度,单臂负载3公斤。
- 双WUJI Hand 2五指手:每指具备20个自由度,支持1kHz力控和触觉传感,实现精细操作。
- NVIDIA Jetson Thor板载计算:提供2,070 FP4 TFLOPS算力和128GB统一内存,支持板端推理和实时控制。
- 多模态感知:配备头部和手腕摄像头、激光雷达传感器及惯性测量单元。
- NVIDIA Isaac GR00T平台:包含GR00T基础模型、全流程工作流及全身运动控制。
- 安全能力:计划整合机载安全协议与NVIDIA Halos全栈机器人安全系统。
Agile Robots创始人兼首席执行官Zhaopeng Chen指出,人形机器人的突破在于规模化实用性。Agile ONE SN作为基于NVIDIA Isaac GR00T和Jetson Thor驱动的全栈开源参考机器人,为开发者提供了创建、训练和验证能力的现成系统。
Agile ONE SN预计将于2027年初上市,目前已引起斯坦福大学、苏黎世联邦理工学院等顶尖机构的兴趣。
新技术加速机器人学习全流程
NVIDIA发布了一系列新技术,涵盖数据生成、规模扩展、仿真环境构建及应用部署,以缩短研发周期:
- SimReady Central Library:提供超过2,000个适用于仿真的机器人和工厂资产。Human 1M Dataset包含多样化人类活动、同步三视图视频和3D手部追踪数据。两者均在Hugging Face上可用,其中完整数据集仅对Cosmos Coalition合作伙伴开放。
- NVIDIA Isaac Lab 3.0:现已全面可用,提供开源、代理就绪的学习框架,利用多GPU工作流程及Newton、NVIDIA PhysX™物理引擎,在桌面到数据中心范围内训练和优化机器人策略。
- NVIDIA Isaac OS:基于NVIDIA Holoscan构建的开源运行时框架,连接AI、传感器、控制器和硬件,实现从仿真到实体机器人的确定性实时性能。
- 开源参考工作流:针对NVIDIA DGX Station™发布三个开源参考工作流,帮助开发者使用强化学习优化GR00T 1.7模型,在Isaac Lab中训练灵巧操作技能,并利用ChatGPT Astra对NVIDIA Cosmos™世界模型进行后训练以生成合成数据。
- NVIDIA Halos:基于NVIDIA IGX Thor™构建的全栈安全平台,助力自动驾驶车辆和机器人从开发迈向更安全的规模化现实部署。
SimReady Central Library汇集了Comau、FANUC、LG Electronics等公司的仿真就绪资产。在DGX Station上运行的开源机器人学习参考工作流,已获得1X、Agile Robots、Humanoid等厂商支持。
在安全领域,Agile Robots、Agility、Dexory等合作伙伴正在将其安全架构整合NVIDIA Halos;SICK正在评估Halos以提升工业机器人动态安全性;Advantech和NexCOBOT正在开发基于NVIDIA IGX的工业计算平台;Reynolds & Moore、Accenture和TÜV SÜD正加速工业物理AI安全部署的认证过程。
欧洲机器人领导者依托NVIDIA开放技术
ABB Robotics正在将NVIDIA Omniverse™库与RobotStudio HyperReality集成,以在安装前模拟和虚拟调试机器人系统。KUKA Group在其Visual Components FactoryLens中使用Omniverse库,为工厂仿真添加实时渲染功能。Sereact正使用Isaac GR00T结合Cosmos Transfer训练其Cortex平台,用于Universal Robots机械臂的货物处理。
Humanoid正使用Jetson Thor、Holoscan Sensor Bridge、Halos和NVIDIA Isaac OS在工业试点前验证机器人行为;Hexagon Robotics正在构建AEON感知能力;Bear Robotics正加速KR1感知和模型执行,并通过Kino-2对Isaac GR00T进行后训练,应用于仓库及工业工作流。
Toyota Material Handling Europe和SoftServe利用Omniverse和NVIDIA Isaac Sim™框架构建自主物料搬运解决方案,将部署时间缩短多达50%。Idealworks正使用NVIDIA开源模型和Jetson为工厂自主移动机器人开发记忆能力。Analog Devices Inc. (ADI)正使用NVIDIA Jetson AGX Orin™和cuVSLAM库构建自主移动机器人。
Hugging Face和Pollen Robotics正使用NVIDIA Isaac Lab、Isaac Sim和Newton构建小型开源机器人Microduck,帮助开发者和学生训练物理行为。Franka Robotics正使用NVIDIA NIM™微服务和Isaac Sim将自然语言请求转化为动作。Bellboy正使用Jetson和GR00T为其首款机器人队友Billie提供动力,该机器人已部署在万豪、希尔顿等酒店集团运营的酒店中。
Flexion正使用Isaac Lab和Newton扩大其统一机器人智能模型Reflect的学习规模。Schaeffler正贡献其致动器技术作为Newton的独家基础组件,加速人形机器人开发。NEURA Robotics正使用Isaac Sim和Isaac Lab生成合成训练数据,并在其Neuron AI多模态基础模型的仿真中训练机器人技能。