Hugging Face 发布 Optimum-NVIDIA 库，一行代码解锁极速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，利用 NVIDIA FP8 格式和 TensorRT-LLM 技术，通过修改一行代码即可实现最高 28 倍的吞吐量提升和 1200 tokens/秒的推理速度。
推荐理由：通过一行代码切换即可利用FP8和TensorRT-LLM实现最高28倍吞吐提升，为LLM部署提供了极简的高性能方案。
Hugging Face
全部主题Hugging Face 开源社区动态：热门模型与数据集、排行榜变化与开源生态的晴雨表。
最新精选
第 221–240 条 · 共 251 条Hugging Face Blog精选AI 评分6868
Hugging Face Blog精选AI 评分8383 Hugging Face 发布 Latent Consistency LoRAs 实现 SDXL 4步推理
Hugging Face 发布 Latent Consistency LoRAs，通过加载轻量级适配器将 SDXL 图像生成步数从 25-50 步降至 4-8 步，在 4090 上生成速度提升至不到 1 秒。
推荐理由：原文给出了基于LoRA的加速推理代码和基准测试，读者可以据此判断它在不同硬件上的实际加速效果。
Hugging Face Blog精选AI 评分6868 Hugging Face 详解 SDXL 推理速度与显存优化技巧
Hugging Face 博客详解了 Stable Diffusion XL 的推理优化方法。通过 fp16 精度、SDPA 注意力机制、torch.compile 编译及 CPU 卸载等技术，在 A100 上显著降低了显存占用并提升了生成速度。
推荐理由：文章实测了 fp16、SDPA、torch.compile 及显存优化技巧，提供了可复用的代码与性能数据。
Hugging Face Blog精选AI 评分6666 TRL 库集成 DDPO 训练器，支持微调 Stable Diffusion 对齐人类审美
Hugging Face 在 TRL 库中集成 DDPOTrainer，提供使用 Denoising Diffusion Policy Optimization 微调 Stable Diffusion 的完整代码与参数配置。该方法通过审美奖励模型对齐人类偏好，无需中间监督微调，支持 LoRA 训练，可显著提升生成图像质量。
推荐理由：TRL 库集成 DDPO 训练器，提供微调 Stable Diffusion 的完整代码与参数配置，可直接复现人类审美对齐。
Hugging Face Blog精选AI 评分7272 Hugging Face 发布高效图像生成模型 Würstchen
Hugging Face 发布高效图像生成模型 Würstchen，通过42倍空间压缩实现比 SDXL 更快的推理速度与更低的显存占用。该模型在 Diffusers 库中集成，支持 PyTorch 2.0 SDPA 加速与 torch.compile 优化，并提供多种显存节省策略。
推荐理由：通过42倍极端压缩显著降低训练与推理成本，为资源受限场景提供高效图像生成方案。
Hugging Face Blog精选AI 评分7575 Hugging Face Diffusers 支持 T2I-Adapter-SDXL 高效可控图像生成
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作，正式支持适配 Stable Diffusion XL (SDXL) 的 T2I-Adapter。
推荐理由：提供了适配 SDXL 的轻量级控制模型及完整训练推理代码，便于在保持生成质量的同时降低显存与计算开销。
Hugging Face Blog精选AI 评分8383 Hugging Face 上线 Falcon 180B 开源大模型
Hugging Face 上线了 TII 发布的 180B 参数开源大语言模型 Falcon 180B，该模型在 3.5 万亿 token 上预训练，性能对标 PaLM-2 Large。文章提供了 Transformers 集成代码、量化部署方案及硬件需求参考。
推荐理由：Hugging Face 上线了 180B 参数开源模型，提供了量化部署指南与硬件需求，方便开发者评估与接入。
Hugging Face Blog精选AI 评分6868 AudioLDM 2 推理加速教程：速度提升十倍
Hugging Face 发布教程，展示如何通过 Flash Attention、半精度、Torch Compile 和高效调度器优化 AudioLDM 2，将 10 秒音频生成时间从 30 秒降至 1 秒。
推荐理由：原文提供了基于 Diffusers 的具体优化代码，可将 AudioLDM 2 推理速度提升十倍，读者可直接复现。
Hugging Face Blog精选AI 评分6868 使用Transformers优化Bark语音生成模型
本文演示了如何利用Hugging Face生态中的BetterTransformer、半精度和CPU卸载技术优化Bark语音生成模型。结合这三种优化手段，Bark-large的显存占用可从5GB降至2GB，推理速度提升约23%。
推荐理由：原文给出了结合BetterTransformer、半精度和CPU卸载的具体代码，读者可直接复用以显著降低Bark模型的显存占用并提升推理速度。
Hugging Face Blog精选AI 评分6868 Hugging Face 发布 Swift Transformers 工具链，支持在 Apple 设备上运行 LLM
Hugging Face 发布 Swift Transformers 工具链，包含 swift-transformers 库、swift-chat 演示应用及 Core ML 转换工具，支持在 Apple 设备上本地运行 Llama 2 等大语言模型。
推荐理由：Hugging Face 发布 Swift Transformers 工具链，提供从模型转换到本地推理的完整方案，降低端侧部署门槛。
Hugging Face Blog精选AI 评分7272 Stable Diffusion XL 支持 Core ML 混合位量化，可在 Mac 端侧运行
Hugging Face 与 Apple 联合发布 Stable Diffusion XL 的 Core ML 版本，支持在 Mac 端侧运行。引入混合位调色板量化技术，将模型体积从 4.8 GB 压缩至 1.4 GB，同时保持较高生成质量。
推荐理由：提供了混合位调色板量化技术，在显著压缩模型体积的同时保持生成质量，支持在 Mac 端侧高效运行。
Hugging Face Blog精选AI 评分6868 Hugging Face 发布 Agents.js 库
Hugging Face 发布 Agents.js，这是一个面向 JavaScript 的库，用于在浏览器或服务器端为 LLM 提供工具访问能力。该库内置多模态工具，支持自定义 LLM 和工具，并允许传入文件作为输入。
推荐理由：Hugging Face 发布面向 JavaScript 的 Agent 库，提供开箱即用的多模态工具与自定义扩展能力。
Hugging Face Blog精选AI 评分9595 Meta发布Llama 2开源大模型家族
Meta发布Llama 2开源大模型家族，包含7B、13B和70B参数量的预训练及对话微调模型，采用宽松许可允许商用。Hugging Face提供完整集成支持，包括Transformers推理、Inference Endpoints部署及基于PEFT的单卡微调方案。
推荐理由：Meta发布Llama 2并提供Hugging Face集成与微调指南，为开源替代闭源模型提供了具体路径。
Hugging Face Blog精选AI 评分6868 Hugging Face 发布 AI WebTV 技术实现与开源实践
Hugging Face 发布 AI WebTV 实验性演示，展示了如何结合 Zeroscope 视频生成模型与 MusicGen 音乐模型构建自动化视频直播流。
推荐理由：文章详细拆解了利用Zeroscope和MusicGen构建自动化视频直播的技术架构与代码实现，提供了可复用的工程实践。
Hugging Face Blog精选AI 评分6868 Hugging Face 研究：基础模型能否像人类一样标注数据
Hugging Face 发布研究，对比人类标注与 GPT-4 对开源模型（Vicuna、Koala 等）的偏好评估，发现 GPT-4 存在显著的位置偏差和长度偏好，且与人类标注的相关性在编码任务中较低。
推荐理由：通过对比人类标注与GPT-4评估结果，揭示了LLM评估中的位置偏差与长度偏好问题。
Hugging Face Blog精选AI 评分8686 Hugging Face 发布 Falcon 开源大语言模型
阿布扎比技术创新研究所（TII）发布 Falcon-7B 和 Falcon-40B 开源大语言模型，采用 Apache 2.0 协议。Falcon-40B 在 Open LLM Leaderboard 上排名第一，以 2800 PF-days 算力超越 LLaMA-65B。
推荐理由：Falcon 40B 以较低算力成本在基准测试中超越 LLaMA-65B，展示了多查询注意力与 RefinedWeb 数据的高效性。
Hugging Face Blog精选AI 评分6565 Safetensors 通过安全审计并将在 Transformers 中成为默认格式
Hugging Face 联合 EleutherAI 和 Stability AI 宣布 safetensors 库已通过 Trail of Bits 的安全审计，确认无导致任意代码执行的严重漏洞。该库将作为核心依赖加入 Transformers 并设为默认保存格式，提供比 pickle 更安全且加载速度更快的张量存储方案。
推荐理由：官方联合第三方完成安全审计并宣布将其设为默认格式，为模型加载提供了安全与性能保障。
Hugging Face Blog精选AI 评分7878 Hugging Face 推出辅助生成技术降低文本生成延迟
Hugging Face 在 Transformers 库中引入辅助生成（Assisted Generation）技术，利用小模型生成候选 token 并由大模型验证，从而减少前向传播次数。该方法在模型显存不足需卸载时最高可实现 10 倍加速，在显存充足时也可获得 2 至 3 倍加速，且支持贪婪解码与采样。
推荐理由：Hugging Face 在 Transformers 中引入辅助生成技术，通过小模型辅助大模型解码，显著降低文本生成延迟。
Hugging Face Blog精选AI 评分7373 Hugging Face 发布 StarChat Alpha 编程助手
Hugging Face 发布基于 StarCoder 微调的编程助手 StarChat Alpha，采用 ChatML 格式与 OpenAssistant 数据集训练，提供代码、数据集及模型下载。
推荐理由：文章展示了基于StarCoder微调出StarChat Alpha的过程，提供了ChatML格式和DeepSpeed训练代码供开发者复用。
Hugging Face Blog精选AI 评分8282 StarCoder 发布：面向代码的大语言模型
Hugging Face 发布 StarCoder 和 StarCoderBase 代码大语言模型，在 HumanEval 等基准上达到开源 SOTA。模型基于 The Stack 数据集训练，提供完整训练数据、PII 移除工具及 BigCode OpenRAIL-M 许可证。
推荐理由：模型在HumanEval等基准上达到开源SOTA，提供完整训练数据与治理工具，适合二次开发。