llama.cpp 新增 Router 模式支持多模型动态管理
llama.cpp server 新增 Router 模式,支持在不重启服务的情况下动态加载、卸载和切换多个模型。该功能采用多进程架构,每个模型独立运行,支持自动发现 GGUF 文件、按需加载及 LRU 淘汰机制,默认同时加载 4 个模型。
推荐理由:实现了多模型动态加载与切换,无需重启服务,便于本地多模型管理与性能隔离。
llama.cpp server 新增 Router 模式,支持在不重启服务的情况下动态加载、卸载和切换多个模型。该功能采用多进程架构,每个模型独立运行,支持自动发现 GGUF 文件、按需加载及 LRU 淘汰机制,默认同时加载 4 个模型。
推荐理由:实现了多模型动态加载与切换,无需重启服务,便于本地多模型管理与性能隔离。
Mistral 发布 Devstral 2(123B)和 Devstral Small 2(24B)两款开源编码模型,Devstral 2 在 SWE-bench Verified 上达到 72.2% 得分,API 目前免费。同时推出 Mistral Vibe CLI,这是一款基于 Devstral 的开源终端智能体,支持多文件编排与 IDE 集成。
推荐理由:Mistral 发布 Devstral 2 编码模型及原生 CLI 工具,提供 SWE-bench 基准数据与部署方案,便于开发者评估开源编码能力。
Hugging Face 发布 swift-huggingface,为 Swift 应用提供完整的 Hugging Face Hub 客户端支持。该库解决了大模型下载中断无法续传、缺乏 Python 共享缓存及认证复杂等痛点,支持断点续传、OAuth 2.0 认证及与 Python 生态兼容的缓存结构。
Intel 发布 DeepMath,这是一个基于 Qwen3-4B Thinking 微调的数学推理智能体。它通过生成简短 Python 代码片段并在沙箱中执行来减少输出长度并提高准确率。模型使用 GRPO 进行训练,在 MATH500、AIME 等数据集上,输出长度最多减少 66%,同时准确率得到提升。代码和模型已开源。
推荐理由:Intel 发布基于 Qwen3-4B 的 DeepMath 智能体,通过 GRPO 微调与代码执行结合,实现输出缩短 66% 且准确率提升。
Hugging Face 发布 Transformers v5.0.0rc-0,确立 PyTorch 为唯一后端,引入模块化设计与注意力接口抽象。v5 全面强化预训练、推理与量化支持,新增 transformers serve 系统,并深度打通 vLLM、SGLang、llama.cpp 等生态工具链。
推荐理由:v5 确立了 PyTorch 单后端与模块化设计,全面打通训练推理部署链路,为生态互操作提供统一标准。
AlphaFold 2 五年前解决了蛋白质结构预测难题,其预测数据已收录于 AlphaFold Protein Database 并免费开放。该数据库已被全球 300 多万研究人员使用,相关研究被引用超 3.5 万次,并助力 2024 年诺贝尔化学奖的获得。
Diffusers 正式支持 FLUX-2 图像生成模型,提供 Flux2Pipeline 和 Flux2Transformer2DModel 等组件。该模型使用 Mistral3 作为文本编码器,可通过 diffusers/FLUX.2-dev-bnb-4bit 仓库加载,支持 4-bit 量化部署。
Hugging Face TRL 官方集成 RapidFire AI,通过自适应分块调度与并发训练机制,实现多配置微调加速 16-20 倍。提供实时仪表盘与 IC Ops 功能,支持在训练中途停止低效配置或克隆优化参数,无需重启任务。
推荐理由:官方集成提供并发微调与实时干预能力,可显著降低多配置对比的时间与算力成本。
Google DeepMind 发布 Gemini 3 Pro Image(代号 Nano Banana Pro),提供 2K/4K 分辨率、高精度文本渲染及物理控制能力。该模型支持通过 Google Search 进行实时知识检索,并内置 SynthID 数字水印,已在 Google AI Studio 和 Vertex AI 开放预览。
推荐理由:该模型在文本渲染、物理控制和知识检索方面实现升级,开发者可据此构建更精准的多模态应用。
Hugging Face 发布 AnyLanguageModel,提供 Swift 包统一调用 Apple Foundation Models、Core ML、MLX、llama.cpp、Ollama 及 OpenAI 等模型。开发者只需替换 import 即可切换后端,支持按需引入依赖并扩展图像输入。
推荐理由:统一了本地与云端模型调用接口,降低 Apple 平台开发者的集成成本。
Google 发布端到端实时语音翻译模型,延迟仅2秒并保留原声,已在 Google Meet 和 Pixel 10 部署。该模型基于 AudioLM 和 SpectroStream 架构,支持英、西、德、法、意、葡等语言。
推荐理由:端到端架构将延迟降至2秒并保留原声,已在Google Meet和Pixel 10部署,可据此评估实时语音翻译的技术进展。
Google DeepMind 发布 WeatherNext 2,生成速度提升 8 倍,分辨率达小时级,可预测数百种天气场景。该模型基于 Functional Generative Network 架构,在 99.9% 的变量上超越前代,数据已上线 Earth Engine 和 BigQuery,并升级了 Google Search、Gemini 及 Maps 的天气服务。
推荐理由:模型速度提升8倍且支持小时级分辨率,通过多场景预测增强极端天气研判能力。
Google Research 联合 Google DeepMind 发布 Natural Forests of the World 2020 地图及数据集,利用 MTSViT 模型实现 10 米分辨率天然林识别,准确率达 92.2%。同时发布 Planted 和 ForTy 两个大规模基准数据集,用于支持 EUDR 合规及下一代森林分类模型研发。
推荐理由:发布全球首个10米分辨率天然林地图及基准数据集,为合规与生态监测提供高精度AI基线。
Google 发布 JAX-Privacy 1.0,提供差分隐私算法和审计工具,支持在 JAX 上高效训练大规模模型。该工具包已用于训练 VaultGemma,并提供基于 Keras 微调 Gemma 模型的示例。
推荐理由:官方发布支持大规模并行的差分隐私工具包,提供微调示例,降低隐私保护机器学习门槛。
北爱尔兰 C2k 项目的 100 名教师通过整合 Gemini 和 Google Workspace 工具,每周平均节省 10 小时工作时间。试点项目捕获了 600 多个 Gemini 独特用例,涵盖行政工作简化、爱尔兰语课程创建及个性化学习支持。C2k 计划将 Gemini 培训推广至更多教师,以深化 AI 在教育中的负责任应用。
Google Research 与 DeepMind 发布 ForestCast,利用纯卫星数据和视觉 Transformer 模型预测森林砍伐风险。同时开源首个用于训练深度学习模型的公开基准数据集,旨在帮助政府和企业提前干预以遏制森林损失。
推荐理由:基于纯卫星数据预测森林砍伐风险并开源基准数据集,为生态保护提供可复现的AI工具。
Hugging Face 发布 LeRobot v0.4.0,引入 Datasets v3.0 及编辑工具,支持 LIBERO 和 Meta-World 仿真环境,并集成 Physical Intelligence 的 PI0.5 和 NVIDIA 的 GR00T N1.5 模型。
推荐理由:LeRobot v0.4.0 升级了数据集与训练工具,并集成 PI0.5 和 GR00T N1.5 等前沿模型,为具身智能开发提供了更完整的开源方案。
Meta与Hugging Face联合推出OpenEnv Hub,提供标准化的智能体沙箱环境。同时发布OpenEnv 0.1规范(RFC),定义工具、API及执行上下文,支持RL训练与部署。
推荐理由:Meta与Hugging Face联合推出OpenEnv Hub及规范,为智能体提供标准化的沙箱环境以支持训练与部署。
Google Cloud C4 虚拟机配合 Intel Xeon 6 处理器,使 OpenAI GPT OSS 大语言模型的推理总拥有成本(TCO)较上一代 C3 虚拟机降低 70%。该配置在吞吐量方面实现 1.4 倍至 1.7 倍提升,且每小时价格更低。
NVIDIA 发布 Nemotron-Personas-India,首个对齐印度人口、地理和文化分布的合成数据集,包含 2100 万个角色记录,支持英语和印地语。该数据集基于 NeMo Data Designer 生成,覆盖 27 个字段,旨在解决印度多语言 AI 训练的数据缺口,支持开发者微调本地化模型。
推荐理由:NVIDIA 发布首个对齐印度人口分布的合成数据集,为多语言 AI 微调提供隐私安全的数据基础。
BigCode 发布 BigCodeArena,首个支持代码实际执行与人类投票的模型对比平台,并开源了包含1.4万对话的社区数据。同时推出 BigCodeReward 和 AutoCodeArena 两个新基准,利用执行结果显著提升奖励模型对齐度,并在自动化评测中显示 GPT-5 等模型表现领先。
推荐理由:平台引入代码执行反馈机制,并开源了包含1.4万对话的社区评测数据及自动化基准,为代码模型评估提供了新标准。
NVIDIA 发布首个面向日本市场的开源合成数据集 Nemotron-Personas-Japan,包含600万条自然日语人设记录,覆盖1500余种职业及多维人口统计属性。该数据集基于 NeMo Data Designer 生成,不依赖真实个人信息,旨在支持日本大语言模型的本地化微调与合规应用。
Hugging Face 开源了 Smol2Operator 项目,展示了如何将轻量级视觉语言模型 SmolVLM2-2.2B-Instruct 训练为具备 GUI 操作能力的智能体。项目包含两阶段训练策略、统一动作空间转换工具、两个处理后的数据集及最终模型,在 ScreenSpot-v2 基准测试中取得了显著性能提升。
推荐理由:开源了基于SmolVLM2训练GUI智能体的全流程与模型,提供了可复现的数据处理工具与统一动作空间方案。
ServiceNow 发布 SyGra 框架,支持低代码/无代码方式生成结构化、领域特定的高质量数据集。该框架兼容 vLLM、Ollama 等推理后端,可处理 Q&A 生成、DPO 偏好对构建、推理增强及跨语言转换等任务。
推荐理由:ServiceNow 发布 SyGra 框架,提供低代码方式生成 SFT、DPO 等高质量训练数据,降低数据工程门槛。
Scaleway 正式成为 Hugging Face Hub 支持的 Inference Provider,支持 gpt-oss、Qwen3、DeepSeek R1 和 Gemma 3 等模型。
Hugging Face 联合 Cloud Security Alliance 等发布 RiskRubric.ai,对模型进行透明度、可靠性、安全、隐私、安全和声誉六维评估,提供 0-100 分及 A-F 等级,并支持按维度筛选。
推荐理由:平台提供标准化模型安全评分,帮助开发者快速筛选符合安全与隐私要求的模型。
Hugging Face 发布 LeRobotDataset v3.0,将多个片段合并存储以解决文件系统限制,并原生支持流式读取。该格式通过 Parquet 和 MP4 优化存储,提供一键转换脚本,将集成至 lerobot 库 v0.4.0 版本。
推荐理由:通过多片段合并与流式读取解决大规模机器人数据集存储瓶颈,提供一键转换工具。
Writer 发布 Palmyra-mini 系列三款 1.5B 至 1.7B 参数量的开源模型,包含通用基座及针对逻辑和数学优化的推理变体。模型采用 Qwen 架构,支持 GGUF 和 MLX 量化,在 GSM8K 和 AMC23 等基准测试中表现优异。
推荐理由:Palmyra-mini 系列提供 1.5B 至 1.7B 参数量的轻量级模型,兼顾推理与通用生成,适合端侧部署。
Hugging Face 升级 transformers 库以支持 OpenAI GPT-OSS 系列模型,新增 MXFP4 量化、张量并行、专家并行及动态滑动窗口缓存等部署优化。通过 Hub 下载预编译内核,显著降低显存占用并提升推理效率。
推荐理由:Hugging Face 为 GPT-OSS 提供开箱即用的部署支持,涵盖 MXFP4 量化与多卡并行,为社区提供了可复用的工程参考。
Together AI 宣布与 Hugging Face 集成,允许开发者通过 API 直接微调 Hugging Face Hub 上的兼容模型。用户只需指定基础模型配置和 HF 模型,即可利用 Together 基础设施完成训练,并可将结果推回 Hub。
推荐理由:Together AI 打通 Hugging Face Hub 实现一键微调,降低开发门槛并加速模型迭代。
Hugging Face 发布 Jupyter Agent,开源了基于 Qwen3-4B 微调的模型及训练数据集,旨在让小型模型具备在 Jupyter Notebook 中执行代码解决数据分析任务的能力。该模型在 DABStep 基准测试的简单任务上准确率提升至 75%,并提供了完整的 Kaggle 数据集清洗、QA 生成及微调代码。
推荐理由:Hugging Face 开源了基于 Qwen3-4B 微调的 Jupyter Agent 模型及数据集,展示了通过高质量数据与精简脚手架提升小模型数据分析能力的有效路径。
Hugging Face 发布 mmBERT,基于 ModernBERT 架构训练的多语言编码器模型,覆盖 1800 多种语言,在 XTREME 和 MTEB 基准上显著超越 XLM-R 等前代模型。该模型采用三阶段渐进式语言学习策略,在 3T+ tokens 数据上训练,推理速度提升 2-4 倍,并开源了模型权重、训练数据及微调代码。
推荐理由:开源了覆盖1800种语言的现代BERT架构模型,提供了显著的性能与速度提升及微调代码。
Google发布EmbeddingGemma,一款仅308M参数、支持100多种语言的开源多语言嵌入模型,专为端侧设备设计。该模型基于Gemma3架构,在MTEB基准测试中表现优异,并提供了Sentence Transformers、LangChain、LlamaIndex等主流框架的集成示例及微调指南。
推荐理由:模型仅308M参数且支持100+语言,适合端侧部署,并提供了多框架集成与微调指南。
SandboxAQ 在 Hugging Face 开源 SAIR 数据集,包含 524 万条由 Boltz1 生成的 AI 共折叠蛋白-配体 3D 结构及实验验证的 IC50 数据。该数据集采用 CC BY 4.0 许可,97% 的结构通过了 PoseBusters 验证,旨在解决 AI 药物研发中高质量结构数据的长期短缺问题。
推荐理由:SAIR 开源了 524 万条高精度蛋白-配体 3D 结构及 IC50 数据,为 AI 药物发现提供了稀缺的高质量训练集。
Mistral Le Chat 发布记忆功能(beta),采用图架构实现跨会话信息检索。该功能支持自动保存与智能召回,提供透明度、用户控制权及数据可移植性,并附带 Memory Insights 辅助管理。
推荐理由:原文披露了记忆功能的底层架构与用户控制权设计,读者可据此评估其实际工作流价值。
Mistral 发布 Le Chat 的 MCP 连接器目录(beta),提供20+个涵盖数据、生产力、开发等领域的安全连接器,支持自定义扩展。同时推出记忆功能(beta),可跨会话保存偏好与事实,支持从 ChatGPT 快速导入,所有功能对免费用户开放。
推荐理由:Le Chat 新增 MCP 连接器目录与记忆功能,提供企业级数据集成与个性化上下文能力。
Hugging Face开源了Kimina-Prover-RL,一个基于Verl框架的Lean 4形式化定理证明训练管线,并发布了1.7B和0.6B两个模型。该管线采用类DeepSeek-R1的结构化推理范式,结合格式奖励和错误纠正机制,在MiniF2F基准上刷新了开源模型在对应参数规模下的SOTA成绩。
推荐理由:开源了基于Verl的Lean 4定理证明训练管线及0.6B和1.7B模型,为小参数模型形式化推理提供了可复现的SOTA方案。
ExecuTorch 0.7 beta 发布,默认启用 KleidiAI 加速,利用 Arm SDOT 指令集为旧款手机和树莓派等设备提供开箱即用的端侧推理性能。
推荐理由:ExecuTorch 0.7 默认启用 KleidiAI 并支持旧款设备,为端侧推理提供了开箱即用的性能优化方案。
Arm 发布 Neural Super Sampling (NSS),一款专为移动端 GPU 神经网络加速器优化的实时时序超采样模型。在演示中,NSS 将 540p 渲染结果在 4ms 内超采样至 1080p,并降低 50% GPU 负载。该模型已集成至 Unreal Engine 插件及 Vulkan ML 扩展,供开发者在移动游戏和 XR 场景中实验。
Hugging Face TRL 库新增 MPO、GRPO、GSPO、RLOO 和 Online DPO 等视觉语言模型对齐算法,并原生支持 VLM 的 SFT 训练。同时集成 vLLM 以加速在线对齐过程中的样本生成,提供 colocate 和 server 两种运行模式。
推荐理由:TRL 新增 MPO、GRPO 等 VLM 对齐算法及 vLLM 集成,提供可复用的训练配置与脚本。