模型推理能力的进展：思维链、推理模型、数学与逻辑基准的突破与争议。
Mistral AI 发布首款推理模型 Magistral，包含 24B 参数的开源版 Magistral Small 和企业版 Magistral Medium。该模型支持多语言透明推理，Medium 版在 AIME2024 上得分 73.6%，Small 版得分 70.7%。开源版采用 Apache 2.0 协议，企业版可通过 Le Chat、API 及各大云平台获取。
推荐理由：Mistral 发布首款推理模型 Magistral，提供开源与商业双版本，支持多语言透明推理。
Hugging Face 与 Adyen 联合发布 DABStep 基准，包含 450 多个基于真实金融支付业务提取的多步数据分析任务。评测显示，即使是 o3-mini 等最强推理模型，准确率也仅为 16%，暴露出当前 AI 智能体在复杂数据推理上的显著不足。
推荐理由：基于真实业务数据构建，揭示了当前最强推理模型在复杂多步数据分析任务中准确率不足20%的显著差距。
Hugging Face 发布教程，使用 GRPO 算法和 Countdown Game 复现 DeepSeek R1 的推理能力。在 4x H100 上训练 Qwen2.5-3B-Instruct 模型 450 步，成功率从 25% 提升至 50%，模型从自然语言推理转向程序化执行。
推荐理由：文章提供了基于GRPO和Countdown Game复现DeepSeek R1推理能力的完整代码与训练细节，可直接迁移用于探索强化学习对齐。
Mistral AI 发布 Mistral Small 3，这是一款 24B 参数、采用 Apache 2.0 协议开源的延迟优化模型。该模型在多项基准测试中表现媲美 Llama 3.3 70B 和 GPT-4o-mini，但在相同硬件上速度提升 3 倍以上。模型未使用强化学习或合成数据训练，适合本地部署、快速响应对话及智能体工作流，现已在 Hugging Face、Ollama 等平台上线。
推荐理由：24B参数模型在保持低延迟的同时性能媲美更大模型，为本地部署和智能体工作流提供了高性价比的开源选择。
Hugging Face 发布 Open-R1 项目，旨在系统复现 DeepSeek-R1 的数据收集与纯强化学习训练流程。项目计划通过蒸馏高质量推理数据集、构建数学与代码数据集，并开源多阶段训练配方，以验证并推广推理模型技术。
推荐理由：Hugging Face 宣布启动开源复现项目，旨在公开 DeepSeek-R1 的训练数据与代码，推动推理模型技术透明化。
IBM、普林斯顿大学等联合发布 Bamba-9B 混合 Mamba2 模型，在 vLLM 中推理吞吐量提升 2.5 倍、延迟降低 2 倍。该模型基于 2.2T token 开源数据训练，性能接近 Llama 3.1 8B，并开源了完整训练代码与数据加载器。
推荐理由：Bamba-9B 验证了混合 Mamba2 架构在推理效率上的优势，为突破 KV-cache 瓶颈提供了可复现的开源方案。
TII 发布 Falcon 3 系列开源大模型，包含 1B、3B、7B、10B 参数 Transformer 模型及 7B Mamba 模型。Falcon3-10B-Base 在 13B 以下模型中表现最佳，数学和代码能力显著提升。所有模型均开源，并支持 GGUF、GPTQ 等格式。
推荐理由：TII 发布 1B 至 10B 参数模型，在数学和代码推理上表现突出，为端侧部署提供高效选择。
TII 发布 Falcon Mamba 7B，这是首个性能强劲的无注意力 7B 模型，基于 Mamba 架构实现线性时间序列建模。该模型在长序列生成中保持恒定吞吐量且显存不增，支持 4-bit 量化及 torch.compile 加速，并提供指令微调版本。
推荐理由：Falcon Mamba 7B 验证了纯 Mamba 架构在长序列推理上的效率优势，为 Transformer 之外的替代方案提供了可复用的工程实践。
Mistral AI 发布 Mistral Large 2 模型，拥有 123B 参数与 128k 上下文窗口，支持单节点高效推理。该模型在代码生成与数学推理上对标 GPT-4o 与 Claude 3 Opus，并强化了工具调用与多语言指令遵循能力。
推荐理由：模型在推理与代码能力上对标前沿闭源模型，且支持单节点部署，为开发者提供了高性价比的替代方案。
Mistral AI 发布 Mixtral 8x22B 开源模型，采用稀疏 MoE 架构，141B 参数中仅激活 39B，支持 64K 上下文窗口。该模型在数学和编码任务上表现优异，指令微调版在 GSM8K 上得分 90.8%，以 Apache 2.0 协议开源。
推荐理由：该模型以141B参数实现39B活跃参数推理，在数学和编码基准上表现突出，为开源生态提供了高性价比的基座选择。
Mistral AI 发布 Mixtral 8x7B 开源模型，采用稀疏混合专家架构，总参数 46.7B 但每次推理仅使用 12.9B 参数。该模型在多数基准测试中超越 Llama 2 70B 并匹敌 GPT-3.5，支持 32k 上下文窗口，推理速度提升 6 倍。同时发布经过指令微调的 Instruct 版本，在 MT-Bench 上得分 8.30。
推荐理由：原文给出了稀疏混合专家架构的具体参数与推理速度对比，读者可以据此评估其在成本与性能上的优势。
阿布扎比技术创新研究所（TII）发布 Falcon-7B 和 Falcon-40B 开源大语言模型，采用 Apache 2.0 协议。Falcon-40B 在 Open LLM Leaderboard 上排名第一，以 2800 PF-days 算力超越 LLaMA-65B。
推荐理由：Falcon 40B 以较低算力成本在基准测试中超越 LLaMA-65B，展示了多查询注意力与 RefinedWeb 数据的高效性。
Hugging Face 在 Transformers 库中引入辅助生成（Assisted Generation）技术，利用小模型生成候选 token 并由大模型验证，从而减少前向传播次数。该方法在模型显存不足需卸载时最高可实现 10 倍加速，在显存充足时也可获得 2 至 3 倍加速，且支持贪婪解码与采样。
推荐理由：Hugging Face 在 Transformers 中引入辅助生成技术，通过小模型辅助大模型解码，显著降低文本生成延迟。