前沿 AI 智能体如何助力 NVIDIA Omniverse 开发者构建仿真应用
开发者结合 GPT-6 Astra 等前沿 AI 模型与 NVIDIA Omniverse 库,通过自然语言指令构建交互式仿真应用。案例涵盖仓库人形机器人模拟器、自动驾驶测试环境及数字孪生优化,利用 ovphysx、ovrtx 等库实现物理、渲染与传感器模拟。
开发者结合 GPT-6 Astra 等前沿 AI 模型与 NVIDIA Omniverse 库,通过自然语言指令构建交互式仿真应用。案例涵盖仓库人形机器人模拟器、自动驾驶测试环境及数字孪生优化,利用 ovphysx、ovrtx 等库实现物理、渲染与传感器模拟。
加州州体育委员会向 Rek 发出停止函,禁止其未经批准在加州举办涉及人类的人机格斗比赛。Rek 上月举办的这场由人类远程操控的人形机器人拳击赛被认定为“未获授权”。该公司计划于本周五举办两场带武器机器人的对战。
Nvidia 发布 Halos 操作系统,旨在通过持续监控硬件与软件库、隔离安全关键计算负载及连接传感器数据,提升机器人安全性。该系统包含 Holoscan Sensor Bridge 以识别损坏数据,并提供虚拟环境仿真与检测实验室程序供合作伙伴获取反馈。为适应从自动驾驶到各类机器人的不同安全定义,Halos 允许开发者定义自定义安全功能,同时保持底层基础设施稳定。
MIT科技评论指出,尽管特斯拉Optimus等机器人备受追捧,但当前AI驱动的机器人仍面临物理世界复杂性与数据匮乏的挑战。Google DeepMind的Gemini Robotics与Physical Intelligence的π0.7等研究虽展示了初步的泛化能力,但成功率低且难以应对开放环境,专家预测家用机器人仍需十年以上才能实用。
科学家Michael Levin提出“柏拉图心智空间”理论,认为心智是非物理模式,通过生物或机器接口进入物理世界。文章探讨了该理论对AI对齐和哲学问题的启示,并提及Xenobots等实验。此外,本期还讨论了太空TPU以及智谱启动外部RSI循环。
微软发布 Physical AI Toolchain,新增支持将物理 AI 推理卸载至边缘或云 GPU 的能力。实测表明,该方案可提升任务成功率,使电池续航延长数小时,并提供基于 Kubernetes 的自动容器化部署工具。
推荐理由:微软发布支持推理卸载的工具链,实测显示可显著提升机器人性能并延长续航。
NVIDIA 发布全栈物理 AI 安全系统 Halos,旨在解决自动驾驶和机器人等物理 AI 在规模化部署中的安全挑战。该系统涵盖硬件、软件、AI 行为及验证全生命周期,为自动驾驶提供基于 DRIVE AGX Thor 和 Halos OS 的安全基础,为机器人提供基于 IGX Thor 和 Isaac Lab 的工业级安全方案。
Google DeepMind 发布 Gemini Robotics ER 2,升级视频理解、任务编排与多机协作能力。模型通过 Gemini Live API 提供低延迟流式推理,支持进度分类与关键帧定位,开发者可通过 Gemini API 接入。
推荐理由:模型升级视频理解与多机协作能力,提供 Gemini API 入口,开发者可据此评估物理智能体的任务编排潜力。
Google DeepMind 发布 Gemini Robotics 2,包含 VLA、ER 和端侧三大模型,赋予机器人全身控制、精细操作与多机协作能力。Gemini Robotics ER 2 已在 Google AI Studio 开放,VLA 模型面向早期合作伙伴。
推荐理由:原文给出了三大模型的能力边界与开放入口,读者可据此评估其在复杂物理任务中的实际落地价值。
NVIDIA 发布 Cosmos-H-Dreams,一个用于手术机器人的实时动作条件生成式模拟器。该模型将 Cosmos-H-Surgical-Simulator 蒸馏为因果学生模型,并通过 FlashDreams 加速推理引擎,在单张 NVIDIA RTX PRO 6000 GPU 上实现约 160 fps 的交互速度。
推荐理由:NVIDIA 发布 Cosmos-H-Dreams 实时手术模拟器,通过蒸馏和 FlashDreams 引擎实现单卡交互推理,为具身智能提供闭环训练环境。
Pollen Robotics 发布 Grabette,一套低成本开源手持抓取器及配套软件,用于低成本、低门槛地记录机器人操作演示数据。Grabette 包含双摄像头和 IMU,配合 Gripette 机械臂末端执行器,可将人类手部操作转化为标准的 LeRobot 格式数据集并上传至 Hugging Face Hub,旨在通过社区协作解决机器人学习中的数据瓶颈。
推荐理由:开源低成本手持抓取器及配套软件,降低机器人操作数据采集门槛,推动开放数据集建设。
LeRobot v0.6.0 发布,引入 VLA-JEPA、LingBot-VA 和 FastWAM 等世界模型策略,以及 Robometer 和 TOPReward 统一奖励模型 API。新增 GR00T N1.7、MolmoAct2 等模型支持,集成六个仿真基准测试,并优化了数据加载、FSDP 训练及 HF Jobs 云训练功能。
推荐理由:本次更新引入了世界模型策略、统一奖励模型API及多项部署训练优化,为机器人学习闭环提供了更完整的工具链。
AWS 发布 Strands Robots SDK,将 LeRobot 硬件抽象、仿真和数据集封装为 Agent 工具。开发者可通过自然语言编排 Agent,实现从仿真记录、策略运行到真机部署的无缝流程,并支持多机器人编队协调。
推荐理由:AWS 发布 Strands Robots SDK,将 LeRobot 封装为 Agent 工具,实现从仿真到真机的无缝部署。
Google DeepMind 启动为期三个月的 Google DeepMind Accelerator: Robotics 项目,从欧洲 15 家早期机器人初创企业中选出入选者。
AMD 联合 Hugging Face 与 Data Monsters 举办 AMD Open Robotics Hackathon,面向 18 岁以上参与者开放报名。
Google DeepMind 发布 SIMA 2,将 Gemini 模型作为核心推理引擎,使智能体能在 3D 虚拟环境中理解复杂指令、进行链式推理并自我改进。该模型在跨游戏泛化和与用户协作方面表现显著,目前作为有限研究预览向学术界和游戏开发者开放。
推荐理由:SIMA 2 将 Gemini 推理能力引入 3D 游戏,实现了跨游戏泛化与自我改进,为具身智能提供了新路径。
NVIDIA 发布 Isaac for Healthcare v0.4,提供基于 SO-ARM 的医疗机器人端到端工作流。通过结合 93% 仿真数据与真实遥操作数据微调 GR00T N1.5 模型,实现从数据采集、训练到硬件部署的 Sim2Real 闭环。
推荐理由:提供了从仿真到部署的完整代码与硬件配置,可直接复现医疗机器人工作流。
Hugging Face 发布 LeRobot v0.4.0,引入 Datasets v3.0 及编辑工具,支持 LIBERO 和 Meta-World 仿真环境,并集成 Physical Intelligence 的 PI0.5 和 NVIDIA 的 GR00T N1.5 模型。
推荐理由:LeRobot v0.4.0 升级了数据集与训练工具,并集成 PI0.5 和 GR00T N1.5 等前沿模型,为具身智能开发提供了更完整的开源方案。