ExecuTorch 0.7 发布,默认启用 KleidiAI 加速端侧推理
ExecuTorch 0.7 beta 发布,默认启用 KleidiAI 加速,利用 Arm SDOT 指令集为旧款手机和树莓派等设备提供开箱即用的端侧推理性能。
推荐理由:ExecuTorch 0.7 默认启用 KleidiAI 并支持旧款设备,为端侧推理提供了开箱即用的性能优化方案。
Hugging Face 开源社区动态:热门模型与数据集、排行榜变化与开源生态的晴雨表。
ExecuTorch 0.7 beta 发布,默认启用 KleidiAI 加速,利用 Arm SDOT 指令集为旧款手机和树莓派等设备提供开箱即用的端侧推理性能。
推荐理由:ExecuTorch 0.7 默认启用 KleidiAI 并支持旧款设备,为端侧推理提供了开箱即用的性能优化方案。
Hugging Face 在 Accelerate 和 Axolotl 中集成 ND-Parallel,提供 FSDP、TP、CP 及其组合的配置方法,帮助优化多节点大模型训练的显存与通信效率。
推荐理由:原文给出了多GPU并行策略的组合配置方法,读者可以据此优化大规模模型训练的显存与通信效率。
Hugging Face TRL 库新增 MPO、GRPO、GSPO、RLOO 和 Online DPO 等视觉语言模型对齐算法,并原生支持 VLM 的 SFT 训练。同时集成 vLLM 以加速在线对齐过程中的样本生成,提供 colocate 和 server 两种运行模式。
推荐理由:TRL 新增 MPO、GRPO 等 VLM 对齐算法及 vLLM 集成,提供可复用的训练配置与脚本。
OpenAI 发布 GPT OSS 开源模型系列,包含 120B 和 20B 两个 MoE 版本,采用 mxfp4 量化以支持单卡部署。Hugging Face 提供详细指南,涵盖 transformers、vLLM 和 llama.cpp 等框架的本地推理、Flash Attention 3 优化及工具调用能力。
推荐理由:OpenAI 发布开源推理模型,Hugging Face 提供从本地量化部署到云端推理的完整工程支持。
NVIDIA 发布开源 AI-Q 智能体栈,基于 Llama 3.3-70B 和 Llama-3.3-Nemotron-Super-49B-v1.5 模型,在 Hugging Face DeepResearch Bench 的 LLM with Search 类别中以 40.52 分登顶。该方案支持本地部署与隐私合规,提供完整的推理追踪与评估指标。
推荐理由:NVIDIA 开源 AI-Q 智能体栈并在 DeepResearch Bench 登顶,展示了 Llama Nemotron 在复杂推理任务中的能力。
Hugging Face 官方博客介绍 Gradio 新增 Model Context Protocol (MCP) 集成,可将 Python 函数自动转换为 LLM 工具。文章演示了如何利用该功能结合 IDM-VTON 模型和 Playwright,在 VS Code 中构建一个能自动浏览网页并生成虚拟试穿效果的 AI 购物助手。
推荐理由:Gradio 新增 MCP 支持可将 Python 函数自动转为 LLM 工具,本文演示了如何快速构建具备网页浏览与虚拟试穿能力的 AI 助手。
Hugging Face 发布开源实验追踪库 Trackio,提供兼容 wandb 的轻量级 Python 库,支持本地 Gradio 仪表盘及与 Hugging Face Spaces 同步分享。该工具内置与 Transformers 和 Accelerate 的集成,支持 GPU 能耗追踪,数据默认本地持久化并自动备份至 Parquet 数据集。
推荐理由:Trackio 提供兼容 wandb 的轻量级实验追踪方案,支持本地运行与 Spaces 同步,便于分享与数据提取。
Hugging Face 宣布 PyArrow 和 Pandas 现已支持 Parquet Content-Defined Chunking (CDC) 功能,配合 Xet 存储层可实现基于内容的数据去重。该功能通过减少 Parquet 文件在内容变更时的字节级差异,显著降低数据上传、下载及存储成本。
推荐理由:PyArrow 新增 Parquet CDC 功能配合 Xet 存储层,显著降低数据集上传下载与存储成本。
Hugging Face 发布 Flux 模型 LoRA 推理加速方案,结合 Flash Attention 3、torch.compile 和量化技术,在 H100 上实现 2.23 倍加速,在 RTX 4090 上实现 2.04 倍加速。
推荐理由:原文给出了结合Flash Attention 3、torch.compile和量化技术的LoRA热插拔方案,提供了可复用的优化方法。
NVIDIA 宣布 NIM 推理微服务现支持在 Hugging Face 上快速部署超过 10 万个大语言模型。NIM 提供单一 Docker 容器,自动识别模型格式并选择 TensorRT-LLM、vLLM 或 SGLang 后端,无需手动配置即可实现高性能部署。
推荐理由:NVIDIA NIM 提供统一容器自动适配 Hugging Face 模型,简化了部署流程。
Gradio 5.38.0 版本更新,增强了对 MCP 服务器协议的支持。新增功能包括:支持本地文件上传、实时进度通知、一行代码将 OpenAPI 规范转换为 MCP 服务器、通过 gr.Header 简化认证配置以及自定义工具描述。
推荐理由:Gradio 5.38.0 新增文件上传、OpenAPI 转换等 MCP 功能,降低了构建智能体应用的技术门槛。
Hugging Face 发布 Ettin 模型套件,包含 17M 至 1B 参数的编码器与解码器模型。该套件使用完全相同的 2T tokens 公开数据、架构和训练配方,实现了两种架构的公平对比。编码器在分类和检索任务上优于 ModernBERT,解码器在生成任务上优于 Llama 3.2 1B。
推荐理由:Ettin 提供完全一致的开源训练配方与数据,为对比编码器与解码器架构提供了公平基准。
Hugging Face 宣布将 Hub 全面迁移至 Xet 存储系统,目前已有超 100 万用户和 50 万个仓库使用。Xet 将成为新用户的默认存储,旧仓库将自动迁移,同时 Hugging Face 计划开源 Xet 协议及底层基础设施。
推荐理由:Hugging Face 宣布全面迁移至 Xet 存储,通过底层架构升级实现 PB 级数据的高效传输与无缝兼容。
Hugging Face 引入 Math-Verify 解析器重测 Open LLM Leaderboard 全部 3,751 个模型,修正了旧版在格式提取、符号转换和数值比较上的缺陷。重测后模型平均得分提升 4.66 分,Qwen 和 DeepSeek 等模型分数大幅上涨,Nvidia AceMath 登顶 MATH-Hard 榜单。
推荐理由:Hugging Face 引入 Math-Verify 重测全量模型,修正了旧版解析缺陷,导致榜单排名大幅洗牌。
Hugging Face 发布用于构建视频生成数据集的开源工具与脚本,提供包含 yt-dlp 下载、多模型过滤(水印、美学、NSFW、运动)及 Florence-2 标注的三阶段流水线,并分享了 finetrainers/crush-smol-v0 等微调案例。
推荐理由:提供从下载、清洗到标注的完整视频数据集构建流程,帮助开发者高效准备视频生成模型训练数据。
Hugging Face 开源 xet-core 和 hf_xet,通过内容定义分块与块聚合技术加速 Hub 上的文件传输。该技术将分块聚合成最大 64MB 的块,显著减少网络请求和存储开销,实测上传速度提升近 2 倍。
推荐理由:通过引入块聚合机制优化上传下载速度,为处理大型模型仓库提供了可复用的工程实践。
Hugging Face 与 Adyen 联合发布 DABStep 基准,包含 450 多个基于真实金融支付业务提取的多步数据分析任务。评测显示,即使是 o3-mini 等最强推理模型,准确率也仅为 16%,暴露出当前 AI 智能体在复杂数据推理上的显著不足。
推荐理由:基于真实业务数据构建,揭示了当前最强推理模型在复杂多步数据分析任务中准确率不足20%的显著差距。
Hugging Face 开源了 smolagents 框架以复现 OpenAI Deep Research 的搜索智能体。该框架采用 CodeAgent 架构,在 GAIA 验证集上达到 55.15% 的成绩,优于此前开源方案。
推荐理由:Hugging Face 开源了复现 OpenAI Deep Research 的 smolagents 框架,展示了 CodeAgent 在 GAIA 基准上的性能提升。
Hugging Face 官方宣布将 Physical Intelligence 开发的 π0 和 π0-FAST 视觉-语言-动作(VLA)模型接入 LeRobot 仓库。π0 基于流匹配实现 50Hz 实时动作生成,π0-FAST 引入 FAST 频域动作序列分词技术,训练速度提升 5 倍。
推荐理由:官方将π0和π0-FAST模型接入LeRobot,提供了从推理到微调的完整工程路径。
Hugging Face 发布教程,使用 GRPO 算法和 Countdown Game 复现 DeepSeek R1 的推理能力。在 4x H100 上训练 Qwen2.5-3B-Instruct 模型 450 步,成功率从 25% 提升至 50%,模型从自然语言推理转向程序化执行。
推荐理由:文章提供了基于GRPO和Countdown Game复现DeepSeek R1推理能力的完整代码与训练细节,可直接迁移用于探索强化学习对齐。