把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
NVIDIA 发布 NeMo AutoModel，基于 HuggingFace Transformers v5 提供专家并行、DeepEP 融合通信和 TransformerEngine 内核。在 Qwen3-30B-A3B 和 Nemotron 3 Nano 30B-A3B 上，训练吞吐量提升 3.4-3.7 倍，GPU 显存降低 29-32%，并支持 550B 模型全量微调。
推荐理由：NeMo AutoModel 在保持 Transformers v5 API 兼容的前提下，通过专家并行和内核优化显著提升 MoE 微调性能。
Hugging Face 开源了 huggingface_hub 的每周自动化发布工作流，利用 GLM-5.2 等开源模型起草发布说明，并通过确定性脚本校验 PR 完整性，人工仅需少量时间审核。该流程结合 GitHub Actions 与 PyPI 可信发布，将发布周期从 4-6 周缩短至每周一次，且成本极低。
推荐理由：提供了一套基于开源模型与确定性校验的自动化发布工作流，可迁移至其他开源项目以大幅降低维护成本。
Hugging Face 分享了在本地硬件上使用 Gemma-4-26b-a4b 和 Qwen3.6-35b-a3b 模型，结合 Agent 框架和受限 Shell 对 GitHub PR 进行实时分类的实践。该方案通过结构化输出实现高吞吐过滤，在 330 行评估集上 Qwen 精确率达 0.831，Gemma 召回率达 0.905。
推荐理由：文章给出了在本地硬件上利用 Agent 框架和受限 Shell 实现高吞吐 PR 分类的完整工程方案与性能数据。
Hugging Face 发布 PyTorch Profiling 系列第二篇，通过对比 nn.Linear 与 MLP 的 Eager、torch.compile 及 Liger 手写内核轨迹，揭示了算子融合、显存优化与编译开销机制。
推荐理由：通过对比Eager、编译与手写内核的Profiler轨迹，揭示了PyTorch底层算子融合机制与显存优化原理。
Hugging Face 发布教程，指导用户通过 huggingface/jobs-actions 桥接工具，将 GitHub Actions 的 CI 任务调度到 Hugging Face Jobs 运行。该方案支持 CPU 和 GPU 硬件，实测 CPU 任务提速约 30%，并显著降低 GPU 测试成本。
推荐理由：提供将 GitHub Actions 接入 Hugging Face Jobs 的完整方案，实现低成本 GPU 测试与更快的 CI 执行。
NVIDIA 发布 Nemotron 3.5 内容安全模型，基于 Gemma 3 4B 微调，支持文本与图像的多模态联合评估及 12 种语言。该模型新增自定义企业策略执行与可审计推理（THINK Mode），并开源了包含真实图像的多模态安全数据集。
推荐理由：Nemotron 3.5 将多模态、多语言与自定义企业策略执行整合于单一模型，提供可审计推理与开源数据集。
Hugging Face转载Dharma AI论文，展示在SFT后引入DPO阶段，利用模型自身的退化输出作为拒绝样本，在五个视觉语言模型家族中平均降低59.4%的文本退化率。
推荐理由：文章验证了DPO在结构化OCR任务中抑制文本退化，为无标注场景下的模型优化提供了可迁移的方法。
JetBrains 发布 Mellum2，一个 12B 参数的 MoE 模型，每 token 仅激活 2.5B 参数，推理速度比同类模型快 2 倍以上。该模型开源并支持 Apache 2.0 协议，适用于路由、RAG、子智能体和私有部署。
推荐理由：原文给出了模型架构和性能数据，读者可以据此评估它在多模型系统中的路由和编排价值。
Hugging Face发布PyTorch Profiler入门教程，通过矩阵运算实例演示了如何解读性能表格与Trace，揭示了编译优化在调度器层面的融合机制及CPU开销增加的原因。
推荐理由：文章通过矩阵运算实例拆解了torch.profiler的表格与Trace解读方法，揭示了编译优化的实际执行路径。
Hugging Face TRL 发布 Delta Weight Sync 功能，利用 bf16 权重在相邻 RL 优化步骤间 99% 不变的稀疏特性，仅上传变更的权重补丁至 Hub Bucket。该方案将 Qwen3-0.6B 的每步传输数据从 1.2 GB 降至 20-35 MB，使训练端与推理端无需共享网络即可通过对象存储异步同步权重。
推荐理由：通过稀疏权重同步将异步RL每步传输量降低两个数量级，实现无需共享集群的分布式训练。
Hugging Face 在 transformers 库中实现了连续批处理的异步优化，通过 CUDA streams 和 events 解耦 CPU 与 GPU 工作流，使 GPU 利用率从 76.0% 提升至 99.4%，生成时间缩短 22%。
推荐理由：文章通过解耦CPU和GPU工作流实现异步批处理，使GPU利用率提升至99.4%，为长文本推理提供了可复用的工程优化方案。
Berkeley AI Research 发布长文综述自适应并行推理（APR），探讨模型如何自主决定何时分解任务、生成多少并发线程及如何协调。文章对比了 Multiverse 修改推理引擎复用 KV Cache 与 ThreadWeaver 保持引擎不变在客户端拼接的方案，并分析了 SFT 演示与基于关键路径长度的奖励设计。
推荐理由：系统梳理了自适应并行推理的范式，对比了修改推理引擎与客户端编排两种执行路径的优劣。
ServiceNow 分享了将推理引擎从 vLLM V0 迁移到 V1 时消除训练推理偏差的实践。通过修复 logprobs 语义、关闭 prefix caching、调整 inflight weight update 路径以及使用 fp32 lm_head，最终使 V1 的训练轨迹与 V0 参考保持一致。
推荐理由：原文拆解了 vLLM V1 迁移中导致训练轨迹偏离的四个关键后端差异，提供了可复用的对齐方案。
Hugging Face 展示了基于 OpenAI 开源隐私过滤模型 Privacy Filter 构建的三个 Web 应用：文档隐私探索器、图像匿名化工具和智能文本脱敏服务。该模型支持 128k 上下文，可识别八类个人敏感信息。
推荐理由：Hugging Face 展示了基于 OpenAI Privacy Filter 构建的三个 Web 应用，揭示了其在文档、图像和文本场景中的工程实践。
Google Research 发布白皮书，估算未来量子计算机仅需不到 50 万物理量子比特即可破解保护加密货币的椭圆曲线加密。研究提出使用零知识证明负责任地披露漏洞，并建议区块链向抗量子密码学迁移。
推荐理由：论文给出了突破椭圆曲线加密的量子资源新估算，并提出了零知识证明的负责任披露方法。
LinkedIn 团队分享了在 verl 框架下对 GPT-OSS 进行智能体强化学习训练的实践经验，通过修复 MoE 架构下的对数概率不匹配、在 FlashAttention v3 中实现 Attention Sink 反向传播以及优化 FSDP 内存占用，解决了训练不稳定和显存爆炸问题，实现了模型在数学推理和工具调用任务上的稳定收敛。
推荐理由：文章详细记录了GPT-OSS在 verl 框架下实现智能体强化学习的关键工程修复，为开源模型部署提供了可复用的技术路径。
Hugging Face 发布 Transformers v5，将分词器架构与训练好的词表分离，实现单文件部署和 Rust 后端默认化。新架构允许开发者直接实例化空白分词器模板，通过调用 train 方法在自有语料上从头训练模型专属分词器，同时保留了 chat template 等模型感知功能。
推荐理由：v5 重构了分词器架构，实现单文件部署与可训练模板，显著降低了自定义和训练模型专属分词器的门槛。
NVIDIA 发布 Nemotron 3 Nano 30B A3B 的完整开源评测配方，包含 NeMo Evaluator 配置、YAML 参数与 CLI 命令。开发者可一键复现 BFCL v4、LiveCodeBench 等基准测试，独立验证模型性能。
推荐理由：提供完整复现 Nemotron 3 Nano 评测的 NeMo Evaluator 配置与命令，便于独立验证模型性能。
llama.cpp server 新增 Router 模式，支持在不重启服务的情况下动态加载、卸载和切换多个模型。该功能采用多进程架构，每个模型独立运行，支持自动发现 GGUF 文件、按需加载及 LRU 淘汰机制，默认同时加载 4 个模型。
推荐理由：实现了多模型动态加载与切换，无需重启服务，便于本地多模型管理与性能隔离。
Hugging Face 发布 Transformers v5.0.0rc-0，确立 PyTorch 为唯一后端，引入模块化设计与注意力接口抽象。v5 全面强化预训练、推理与量化支持，新增 transformers serve 系统，并深度打通 vLLM、SGLang、llama.cpp 等生态工具链。
推荐理由：v5 确立了 PyTorch 单后端与模块化设计，全面打通训练推理部署链路，为生态互操作提供统一标准。