Hugging Face 验证 AMD 5th Gen EPYC Turin CPU 在 LLM 推理中实现 2 倍加速
Hugging Face 验证 AMD 5th Gen EPYC Turin CPU 在 LLM 推理中实现 2 倍加速。通过 ZenDNN PyTorch 插件 zentorch 优化 torch.compile，AMD Turin 在 Meta LLaMA 3.1 8B 的摘要、聊天等五种场景下，吞吐量较 AMD Genoa 提升约 2 倍。
#推理
#推理
今日 3 条Hugging Face BlogAI 评分3838
Hugging Face BlogAI 评分3737 Hugging Face 复现 Infini-Attention 失败：压缩越多性能越差，Ring Attention 仍是最佳方案
Hugging Face 复现 Infini-Attention 失败，发现随着内存压缩次数增加，模型性能反而下降。在将 Llama 3 8B 扩展至 100 万 token 上下文的实验中，Ring Attention、YaRN 和 rope scaling 仍是目前延长预训练模型上下文长度的最佳方案。
Hugging Face Blog精选AI 评分7070 TII 发布 Falcon Mamba 7B 纯 Mamba 架构模型
TII 发布 Falcon Mamba 7B，这是首个性能强劲的无注意力 7B 模型，基于 Mamba 架构实现线性时间序列建模。该模型在长序列生成中保持恒定吞吐量且显存不增，支持 4-bit 量化及 torch.compile 加速，并提供指令微调版本。
推荐理由：Falcon Mamba 7B 验证了纯 Mamba 架构在长序列推理上的效率优势，为 Transformer 之外的替代方案提供了可复用的工程实践。
Mistral AI精选AI 评分8888 Mistral Large 2 发布，支持单节点部署与增强推理能力
Mistral AI 发布 Mistral Large 2 模型，拥有 123B 参数与 128k 上下文窗口，支持单节点高效推理。该模型在代码生成与数学推理上对标 GPT-4o 与 Claude 3 Opus，并强化了工具调用与多语言指令遵循能力。
推荐理由：模型在推理与代码能力上对标前沿闭源模型，且支持单节点部署，为开发者提供了高性价比的替代方案。
Mistral AI精选AI 评分8585 Mistral AI 发布 Mixtral 8x22B 开源模型
Mistral AI 发布 Mixtral 8x22B 开源模型，采用稀疏 MoE 架构，141B 参数中仅激活 39B，支持 64K 上下文窗口。该模型在数学和编码任务上表现优异，指令微调版在 GSM8K 上得分 90.8%，以 Apache 2.0 协议开源。
推荐理由：该模型以141B参数实现39B活跃参数推理，在数学和编码基准上表现突出，为开源生态提供了高性价比的基座选择。
Mistral AI精选AI 评分8888 Mistral AI 发布 Mixtral 8x7B 开源模型
Mistral AI 发布 Mixtral 8x7B 开源模型，采用稀疏混合专家架构，总参数 46.7B 但每次推理仅使用 12.9B 参数。该模型在多数基准测试中超越 Llama 2 70B 并匹敌 GPT-3.5，支持 32k 上下文窗口，推理速度提升 6 倍。同时发布经过指令微调的 Instruct 版本，在 MT-Bench 上得分 8.30。
推荐理由：原文给出了稀疏混合专家架构的具体参数与推理速度对比，读者可以据此评估其在成本与性能上的优势。
Hugging Face Blog精选AI 评分8686 Hugging Face 发布 Falcon 开源大语言模型
阿布扎比技术创新研究所（TII）发布 Falcon-7B 和 Falcon-40B 开源大语言模型，采用 Apache 2.0 协议。Falcon-40B 在 Open LLM Leaderboard 上排名第一，以 2800 PF-days 算力超越 LLaMA-65B。
推荐理由：Falcon 40B 以较低算力成本在基准测试中超越 LLaMA-65B，展示了多查询注意力与 RefinedWeb 数据的高效性。
Hugging Face Blog精选AI 评分7878 Hugging Face 推出辅助生成技术降低文本生成延迟
Hugging Face 在 Transformers 库中引入辅助生成（Assisted Generation）技术，利用小模型生成候选 token 并由大模型验证，从而减少前向传播次数。该方法在模型显存不足需卸载时最高可实现 10 倍加速，在显存充足时也可获得 2 至 3 倍加速，且支持贪婪解码与采样。
推荐理由：Hugging Face 在 Transformers 中引入辅助生成技术，通过小模型辅助大模型解码，显著降低文本生成延迟。
Hugging Face BlogAI 评分2525 使用 Informer 模型进行多元概率时间序列预测
Hugging Face 发布 Informer 模型，支持多元概率时间序列预测任务。该模型基于 Transformer 架构，通过 ProbSparse 注意力机制和 Distilling 操作，将计算复杂度从 O(T^2D) 降低至 O(TlogT)。
Hugging Face BlogAI 评分3636 对话智能体为何有用？
本文梳理 ChatGPT、LaMDA、BlenderBot 等对话智能体的技术细节，指出指令遵循（IFT）与监督微调（SFT）是核心共性。文章详细解析了基于人类标注与模型引导的数据构建方法，并探讨了 RLHF 等对齐技术在确保模型安全与有用性方面的关键作用。