微软发布支持推理卸载的 Physical AI Toolchain
微软发布 Physical AI Toolchain,新增支持将物理 AI 推理卸载至边缘或云 GPU 的能力。实测表明,该方案可提升任务成功率,使电池续航延长数小时,并提供基于 Kubernetes 的自动容器化部署工具。
推荐理由:微软发布支持推理卸载的工具链,实测显示可显著提升机器人性能并延长续航。
AI 走进物理世界:人形机器人、具身基础模型与真实环境操作能力的进展追踪。
微软发布 Physical AI Toolchain,新增支持将物理 AI 推理卸载至边缘或云 GPU 的能力。实测表明,该方案可提升任务成功率,使电池续航延长数小时,并提供基于 Kubernetes 的自动容器化部署工具。
推荐理由:微软发布支持推理卸载的工具链,实测显示可显著提升机器人性能并延长续航。
Google DeepMind 发布 Gemini Robotics ER 2,升级视频理解、任务编排与多机协作能力。模型通过 Gemini Live API 提供低延迟流式推理,支持进度分类与关键帧定位,开发者可通过 Gemini API 接入。
推荐理由:模型升级视频理解与多机协作能力,提供 Gemini API 入口,开发者可据此评估物理智能体的任务编排潜力。
Google DeepMind 发布 Gemini Robotics 2,包含 VLA、ER 和端侧三大模型,赋予机器人全身控制、精细操作与多机协作能力。Gemini Robotics ER 2 已在 Google AI Studio 开放,VLA 模型面向早期合作伙伴。
推荐理由:原文给出了三大模型的能力边界与开放入口,读者可据此评估其在复杂物理任务中的实际落地价值。
NVIDIA 发布 Cosmos-H-Dreams,一个用于手术机器人的实时动作条件生成式模拟器。该模型将 Cosmos-H-Surgical-Simulator 蒸馏为因果学生模型,并通过 FlashDreams 加速推理引擎,在单张 NVIDIA RTX PRO 6000 GPU 上实现约 160 fps 的交互速度。
推荐理由:NVIDIA 发布 Cosmos-H-Dreams 实时手术模拟器,通过蒸馏和 FlashDreams 引擎实现单卡交互推理,为具身智能提供闭环训练环境。
Pollen Robotics 发布 Grabette,一套低成本开源手持抓取器及配套软件,用于低成本、低门槛地记录机器人操作演示数据。Grabette 包含双摄像头和 IMU,配合 Gripette 机械臂末端执行器,可将人类手部操作转化为标准的 LeRobot 格式数据集并上传至 Hugging Face Hub,旨在通过社区协作解决机器人学习中的数据瓶颈。
推荐理由:开源低成本手持抓取器及配套软件,降低机器人操作数据采集门槛,推动开放数据集建设。
LeRobot v0.6.0 发布,引入 VLA-JEPA、LingBot-VA 和 FastWAM 等世界模型策略,以及 Robometer 和 TOPReward 统一奖励模型 API。新增 GR00T N1.7、MolmoAct2 等模型支持,集成六个仿真基准测试,并优化了数据加载、FSDP 训练及 HF Jobs 云训练功能。
推荐理由:本次更新引入了世界模型策略、统一奖励模型API及多项部署训练优化,为机器人学习闭环提供了更完整的工具链。
AWS 发布 Strands Robots SDK,将 LeRobot 硬件抽象、仿真和数据集封装为 Agent 工具。开发者可通过自然语言编排 Agent,实现从仿真记录、策略运行到真机部署的无缝流程,并支持多机器人编队协调。
推荐理由:AWS 发布 Strands Robots SDK,将 LeRobot 封装为 Agent 工具,实现从仿真到真机的无缝部署。
Google DeepMind 发布 SIMA 2,将 Gemini 模型作为核心推理引擎,使智能体能在 3D 虚拟环境中理解复杂指令、进行链式推理并自我改进。该模型在跨游戏泛化和与用户协作方面表现显著,目前作为有限研究预览向学术界和游戏开发者开放。
推荐理由:SIMA 2 将 Gemini 推理能力引入 3D 游戏,实现了跨游戏泛化与自我改进,为具身智能提供了新路径。
NVIDIA 发布 Isaac for Healthcare v0.4,提供基于 SO-ARM 的医疗机器人端到端工作流。通过结合 93% 仿真数据与真实遥操作数据微调 GR00T N1.5 模型,实现从数据采集、训练到硬件部署的 Sim2Real 闭环。
推荐理由:提供了从仿真到部署的完整代码与硬件配置,可直接复现医疗机器人工作流。
Hugging Face 发布 LeRobot v0.4.0,引入 Datasets v3.0 及编辑工具,支持 LIBERO 和 Meta-World 仿真环境,并集成 Physical Intelligence 的 PI0.5 和 NVIDIA 的 GR00T N1.5 模型。
推荐理由:LeRobot v0.4.0 升级了数据集与训练工具,并集成 PI0.5 和 GR00T N1.5 等前沿模型,为具身智能开发提供了更完整的开源方案。