前沿 AI 智能体如何助力 NVIDIA Omniverse 开发者构建仿真应用
开发者结合 GPT-6 Astra 等前沿 AI 模型与 NVIDIA Omniverse 库,通过自然语言指令构建交互式仿真应用。案例涵盖仓库人形机器人模拟器、自动驾驶测试环境及数字孪生优化,利用 ovphysx、ovrtx 等库实现物理、渲染与传感器模拟。
开发者结合 GPT-6 Astra 等前沿 AI 模型与 NVIDIA Omniverse 库,通过自然语言指令构建交互式仿真应用。案例涵盖仓库人形机器人模拟器、自动驾驶测试环境及数字孪生优化,利用 ovphysx、ovrtx 等库实现物理、渲染与传感器模拟。
微软发布 Physical AI Toolchain,新增支持将物理 AI 推理卸载至边缘或云 GPU 的能力。实测表明,该方案可提升任务成功率,使电池续航延长数小时,并提供基于 Kubernetes 的自动容器化部署工具。
推荐理由:微软发布支持推理卸载的工具链,实测显示可显著提升机器人性能并延长续航。
NVIDIA 发布全栈物理 AI 安全系统 Halos,旨在解决自动驾驶和机器人等物理 AI 在规模化部署中的安全挑战。该系统涵盖硬件、软件、AI 行为及验证全生命周期,为自动驾驶提供基于 DRIVE AGX Thor 和 Halos OS 的安全基础,为机器人提供基于 IGX Thor 和 Isaac Lab 的工业级安全方案。
Google DeepMind 发布 Gemini Robotics ER 2,升级视频理解、任务编排与多机协作能力。模型通过 Gemini Live API 提供低延迟流式推理,支持进度分类与关键帧定位,开发者可通过 Gemini API 接入。
推荐理由:模型升级视频理解与多机协作能力,提供 Gemini API 入口,开发者可据此评估物理智能体的任务编排潜力。
Google DeepMind 发布 Gemini Robotics 2,包含 VLA、ER 和端侧三大模型,赋予机器人全身控制、精细操作与多机协作能力。Gemini Robotics ER 2 已在 Google AI Studio 开放,VLA 模型面向早期合作伙伴。
推荐理由:原文给出了三大模型的能力边界与开放入口,读者可据此评估其在复杂物理任务中的实际落地价值。
NVIDIA 发布 Cosmos-H-Dreams,一个用于手术机器人的实时动作条件生成式模拟器。该模型将 Cosmos-H-Surgical-Simulator 蒸馏为因果学生模型,并通过 FlashDreams 加速推理引擎,在单张 NVIDIA RTX PRO 6000 GPU 上实现约 160 fps 的交互速度。
推荐理由:NVIDIA 发布 Cosmos-H-Dreams 实时手术模拟器,通过蒸馏和 FlashDreams 引擎实现单卡交互推理,为具身智能提供闭环训练环境。
Pollen Robotics 发布 Grabette,一套低成本开源手持抓取器及配套软件,用于低成本、低门槛地记录机器人操作演示数据。Grabette 包含双摄像头和 IMU,配合 Gripette 机械臂末端执行器,可将人类手部操作转化为标准的 LeRobot 格式数据集并上传至 Hugging Face Hub,旨在通过社区协作解决机器人学习中的数据瓶颈。
推荐理由:开源低成本手持抓取器及配套软件,降低机器人操作数据采集门槛,推动开放数据集建设。
Mistral发布Robostral Navigate,这是一款8B参数的具身导航模型,仅使用单RGB相机即可自主导航,在R2R-CE未见环境基准上达到76.6%成功率,超越多传感器方案。该模型完全在模拟数据中训练,结合了指点式导航与在线强化学习,支持轮式、足式和飞行机器人。
推荐理由:Mistral发布首个具身导航模型,仅用单RGB相机即超越多传感器方案,展示了紧凑模型在机器人领域的落地潜力。
LeRobot v0.6.0 发布,引入 VLA-JEPA、LingBot-VA 和 FastWAM 等世界模型策略,以及 Robometer 和 TOPReward 统一奖励模型 API。新增 GR00T N1.7、MolmoAct2 等模型支持,集成六个仿真基准测试,并优化了数据加载、FSDP 训练及 HF Jobs 云训练功能。
推荐理由:本次更新引入了世界模型策略、统一奖励模型API及多项部署训练优化,为机器人学习闭环提供了更完整的工具链。
AWS 发布 Strands Robots SDK,将 LeRobot 硬件抽象、仿真和数据集封装为 Agent 工具。开发者可通过自然语言编排 Agent,实现从仿真记录、策略运行到真机部署的无缝流程,并支持多机器人编队协调。
推荐理由:AWS 发布 Strands Robots SDK,将 LeRobot 封装为 Agent 工具,实现从仿真到真机的无缝部署。
Google DeepMind 启动为期三个月的 Google DeepMind Accelerator: Robotics 项目,从欧洲 15 家早期机器人初创企业中选出入选者。
AMD 联合 Hugging Face 与 Data Monsters 举办 AMD Open Robotics Hackathon,面向 18 岁以上参与者开放报名。
Google DeepMind 发布 SIMA 2,将 Gemini 模型作为核心推理引擎,使智能体能在 3D 虚拟环境中理解复杂指令、进行链式推理并自我改进。该模型在跨游戏泛化和与用户协作方面表现显著,目前作为有限研究预览向学术界和游戏开发者开放。
推荐理由:SIMA 2 将 Gemini 推理能力引入 3D 游戏,实现了跨游戏泛化与自我改进,为具身智能提供了新路径。
NVIDIA 发布 Isaac for Healthcare v0.4,提供基于 SO-ARM 的医疗机器人端到端工作流。通过结合 93% 仿真数据与真实遥操作数据微调 GR00T N1.5 模型,实现从数据采集、训练到硬件部署的 Sim2Real 闭环。
推荐理由:提供了从仿真到部署的完整代码与硬件配置,可直接复现医疗机器人工作流。
Hugging Face 发布 LeRobot v0.4.0,引入 Datasets v3.0 及编辑工具,支持 LIBERO 和 Meta-World 仿真环境,并集成 Physical Intelligence 的 PI0.5 和 NVIDIA 的 GR00T N1.5 模型。
推荐理由:LeRobot v0.4.0 升级了数据集与训练工具,并集成 PI0.5 和 GR00T N1.5 等前沿模型,为具身智能开发提供了更完整的开源方案。
Hugging Face 官方宣布将 Physical Intelligence 开发的 π0 和 π0-FAST 视觉-语言-动作(VLA)模型接入 LeRobot 仓库。π0 基于流匹配实现 50Hz 实时动作生成,π0-FAST 引入 FAST 频域动作序列分词技术,训练速度提升 5 倍。
推荐理由:官方将π0和π0-FAST模型接入LeRobot,提供了从推理到微调的完整工程路径。