NVIDIA 联合微软发布 RTX Spark 与 DGX Station for Windows
NVIDIA 与微软在 Windows AI 活动中宣布合作,推出 RTX Spark 与 DGX Station for Windows。
推荐理由:NVIDIA 联合微软发布 RTX Spark 与 DGX Station for Windows,将本地 AI 算力推向消费级笔记本与企业桌面,为 Agent 持续运行提供硬件基础。
跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。
NVIDIA 与微软在 Windows AI 活动中宣布合作,推出 RTX Spark 与 DGX Station for Windows。
推荐理由:NVIDIA 联合微软发布 RTX Spark 与 DGX Station for Windows,将本地 AI 算力推向消费级笔记本与企业桌面,为 Agent 持续运行提供硬件基础。
Liquid AI 开源 d1-3B 和 d1-omni-600M 决策模型,基于 Liquid Foundation Models 架构,通过单次前向传播输出结构化决策而非生成 Token。
推荐理由:Liquid AI 开源 d1-3B 与 d1-omni-600M 决策模型,在端侧设备实现毫秒级推理,为多模态结构化决策提供新方案。
Google DeepMind 发布 EmbeddingGemma 2,这是一个基于 Gemma 4 架构的 7.4 亿参数多模态嵌入模型,原生支持文本、代码、图像、音频和视频的统一嵌入空间。
推荐理由:7.4亿参数原生多模态模型,支持端侧运行与向量截断,适合隐私优先的本地检索场景。
Hugging Face 宣布 transformers 正式支持 GGUF 格式,开发者可通过标准 API 在本地高效运行量化模型。该更新通过复用底层 ggml Metal 内核,显著提升了 Apple Silicon 设备上的推理性能,并支持通过 transformers serve 提供 OpenAI 兼容接口。
推荐理由:Hugging Face 官方宣布 transformers 支持 GGUF 格式,通过复用底层 Metal 内核实现端侧高效推理。
Liquid AI 发布 LFM2.5-DSpark 草稿模型,为 LFM2.5 系列模型提供推测解码路径,在 H100 上最高实现 3.18 倍吞吐提升,在 M4 Max 上最高实现 2.87 倍提升。该方案已开源并支持 llama.cpp 和 SGLang,在保持输出质量不变的前提下显著降低延迟。
推荐理由:原文给出了具体加速数据与部署配置,读者可据此评估端侧交互体验提升与现有工作流的适配度。
NVIDIA 在 Hugging Face 开源 Magpie 多语言 TTS 模型,新增现代标准阿拉伯语、韩语和巴西葡萄牙语,支持12种语言。该模型提供364M参数开源权重及NIM部署方案,在B200上单流首音频延迟低至32ms,并引入帧堆叠与局部Transformer架构优化推理速度。
推荐理由:提供开源权重与NIM部署方案,支持12种语言及低延迟指标,适合需要私有化部署和定制语音的开发者。
IBM Research基于K-Search框架开发结构化CUDA-to-MLX翻译层,将CUDA内核优化知识自动迁移至Apple Silicon。在Attention内核上达到原生MLX 0.97倍性能,在Mamba SSM内核上预填充速度较社区实现提升20倍。
推荐理由:提出跨平台内核优化思路,将CUDA经验自动迁移至Apple Silicon,在Mamba SSM上实现20倍预填充加速。
Hugging Face 宣布 Reachy Mini 对话应用新增 MCP 工具支持,允许通过 Hugging Face Spaces 远程调用天气查询、网络搜索等无状态能力。该功能通过 `reachy-mini-conversation-app tool-spaces add` 命令安装,工具逻辑在 Space 中运行,本地仅保留受信任的核心控制与硬件交互工具。
推荐理由:Reachy Mini 引入 MCP 协议支持,允许通过 Hugging Face Spaces 远程调用工具,实现了应用本体与外部能力的解耦。
Holo3.1 发布,新增移动端自动化能力并支持函数调用协议,同时推出 0.8B 至 35B-A3B 四种尺寸及 FP8、NVFP4、Q4 GGUF 量化版本,支持在消费级硬件上实现本地化部署。
推荐理由:Holo3.1 扩展了移动端支持并推出端侧量化权重,为本地化部署提供了可迁移的参考。
Hugging Face 发布教程,指导用户将 Reachy Mini 机器人的语音交互栈完全部署在本地。通过 speech-to-speech 库串联 Silero VAD、Parakeet-TDT 0.6B v3、Qwen3-TTS 等开源组件,并结合 llama.cpp 或 vLLM 运行 Gemma-4 或 Qwen3-4B 等模型,实现无需云端 API 的隐私保护与低延迟对话。
推荐理由:提供将语音交互栈完全本地化的实操指南,展示如何在端侧实现隐私保护与低延迟的机器人对话。