Hugging Face Diffusers 支持 T2I-Adapter-SDXL 高效可控图像生成
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作,正式支持适配 Stable Diffusion XL (SDXL) 的 T2I-Adapter。
推荐理由:提供了适配 SDXL 的轻量级控制模型及完整训练推理代码,便于在保持生成质量的同时降低显存与计算开销。
Hugging Face 开源社区动态:热门模型与数据集、排行榜变化与开源生态的晴雨表。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作,正式支持适配 Stable Diffusion XL (SDXL) 的 T2I-Adapter。
推荐理由:提供了适配 SDXL 的轻量级控制模型及完整训练推理代码,便于在保持生成质量的同时降低显存与计算开销。
Hugging Face 上线了 TII 发布的 180B 参数开源大语言模型 Falcon 180B,该模型在 3.5 万亿 token 上预训练,性能对标 PaLM-2 Large。文章提供了 Transformers 集成代码、量化部署方案及硬件需求参考。
推荐理由:Hugging Face 上线了 180B 参数开源模型,提供了量化部署指南与硬件需求,方便开发者评估与接入。
Hugging Face 发布教程,展示如何通过 Flash Attention、半精度、Torch Compile 和高效调度器优化 AudioLDM 2,将 10 秒音频生成时间从 30 秒降至 1 秒。
推荐理由:原文提供了基于 Diffusers 的具体优化代码,可将 AudioLDM 2 推理速度提升十倍,读者可直接复现。
本文演示了如何利用Hugging Face生态中的BetterTransformer、半精度和CPU卸载技术优化Bark语音生成模型。结合这三种优化手段,Bark-large的显存占用可从5GB降至2GB,推理速度提升约23%。
推荐理由:原文给出了结合BetterTransformer、半精度和CPU卸载的具体代码,读者可直接复用以显著降低Bark模型的显存占用并提升推理速度。
Hugging Face 发布 Swift Transformers 工具链,包含 swift-transformers 库、swift-chat 演示应用及 Core ML 转换工具,支持在 Apple 设备上本地运行 Llama 2 等大语言模型。
推荐理由:Hugging Face 发布 Swift Transformers 工具链,提供从模型转换到本地推理的完整方案,降低端侧部署门槛。
Hugging Face 与 Apple 联合发布 Stable Diffusion XL 的 Core ML 版本,支持在 Mac 端侧运行。引入混合位调色板量化技术,将模型体积从 4.8 GB 压缩至 1.4 GB,同时保持较高生成质量。
推荐理由:提供了混合位调色板量化技术,在显著压缩模型体积的同时保持生成质量,支持在 Mac 端侧高效运行。
Hugging Face 发布 Agents.js,这是一个面向 JavaScript 的库,用于在浏览器或服务器端为 LLM 提供工具访问能力。该库内置多模态工具,支持自定义 LLM 和工具,并允许传入文件作为输入。
推荐理由:Hugging Face 发布面向 JavaScript 的 Agent 库,提供开箱即用的多模态工具与自定义扩展能力。
Meta发布Llama 2开源大模型家族,包含7B、13B和70B参数量的预训练及对话微调模型,采用宽松许可允许商用。Hugging Face提供完整集成支持,包括Transformers推理、Inference Endpoints部署及基于PEFT的单卡微调方案。
推荐理由:Meta发布Llama 2并提供Hugging Face集成与微调指南,为开源替代闭源模型提供了具体路径。
Hugging Face 发布 AI WebTV 实验性演示,展示了如何结合 Zeroscope 视频生成模型与 MusicGen 音乐模型构建自动化视频直播流。
推荐理由:文章详细拆解了利用Zeroscope和MusicGen构建自动化视频直播的技术架构与代码实现,提供了可复用的工程实践。
Hugging Face 发布研究,对比人类标注与 GPT-4 对开源模型(Vicuna、Koala 等)的偏好评估,发现 GPT-4 存在显著的位置偏差和长度偏好,且与人类标注的相关性在编码任务中较低。
推荐理由:通过对比人类标注与GPT-4评估结果,揭示了LLM评估中的位置偏差与长度偏好问题。
阿布扎比技术创新研究所(TII)发布 Falcon-7B 和 Falcon-40B 开源大语言模型,采用 Apache 2.0 协议。Falcon-40B 在 Open LLM Leaderboard 上排名第一,以 2800 PF-days 算力超越 LLaMA-65B。
推荐理由:Falcon 40B 以较低算力成本在基准测试中超越 LLaMA-65B,展示了多查询注意力与 RefinedWeb 数据的高效性。
Hugging Face 联合 EleutherAI 和 Stability AI 宣布 safetensors 库已通过 Trail of Bits 的安全审计,确认无导致任意代码执行的严重漏洞。该库将作为核心依赖加入 Transformers 并设为默认保存格式,提供比 pickle 更安全且加载速度更快的张量存储方案。
推荐理由:官方联合第三方完成安全审计并宣布将其设为默认格式,为模型加载提供了安全与性能保障。
Hugging Face 在 Transformers 库中引入辅助生成(Assisted Generation)技术,利用小模型生成候选 token 并由大模型验证,从而减少前向传播次数。该方法在模型显存不足需卸载时最高可实现 10 倍加速,在显存充足时也可获得 2 至 3 倍加速,且支持贪婪解码与采样。
推荐理由:Hugging Face 在 Transformers 中引入辅助生成技术,通过小模型辅助大模型解码,显著降低文本生成延迟。
Hugging Face 发布基于 StarCoder 微调的编程助手 StarChat Alpha,采用 ChatML 格式与 OpenAssistant 数据集训练,提供代码、数据集及模型下载。
推荐理由:文章展示了基于StarCoder微调出StarChat Alpha的过程,提供了ChatML格式和DeepSpeed训练代码供开发者复用。
Hugging Face 发布 StarCoder 和 StarCoderBase 代码大语言模型,在 HumanEval 等基准上达到开源 SOTA。模型基于 The Stack 数据集训练,提供完整训练数据、PII 移除工具及 BigCode OpenRAIL-M 许可证。
推荐理由:模型在HumanEval等基准上达到开源SOTA,提供完整训练数据与治理工具,适合二次开发。
Hugging Face 发布 StackLLaMA 模型及完整训练管线,详细演示了如何结合 SFT、奖励建模和 PPO 算法,利用 PEFT 技术在单卡或集群上对 LLaMA 进行 RLHF 微调,并分享了训练中的稳定性问题与解决方案。
推荐理由:文章完整展示了基于LLaMA 7B、PEFT和TRL库进行RLHF微调的实操流程,包含代码与踩坑经验。
Hugging Face 博客详解了使用 diffusers 训练 ControlNet 的三步流程:规划条件、构建数据集与模型训练。文章以训练面部姿态控制模型为例,展示了从 FaceSynthetics 数据集准备到使用 A100 进行训练的具体代码与参数配置,并提供了适配 8GB 至 16GB 显存的优化方案。
推荐理由:原文详述了基于diffusers训练ControlNet的三步流程与显存优化技巧,提供了可直接复用的实操指南。
Hugging Face 官方发布 TRL 与 PEFT 的集成,利用 8-bit 量化和 LoRA 适配器,在 24GB 显存的消费级 GPU 上成功微调了 20B 参数的 GPT-NeoX 模型。
推荐理由:官方发布TRL与PEFT集成方案,展示在消费级显卡上微调20B模型的技术路径。
Hugging Face 发布教程介绍如何在 Diffusers 中使用 StableDiffusionControlNetPipeline,涵盖边缘、姿态等多种条件控制及多条件组合方法,并演示了通过优化调度器、CPU卸载和xformers实现推理加速与显存节省。
推荐理由:文章详细演示了Diffusers中ControlNet的集成与优化技巧,提供可复用的代码与性能调优方案。
Hugging Face 发布 Diffusers for Mac 1.1,将扩散模型转换为 Core ML 以利用 Apple Silicon 硬件加速。性能测试显示 M1 Max 使用 GPU 最快,标准 M1 使用 ANE 更快,新版本会自动选择最佳加速器。
推荐理由:官方发布 Swift 原生应用并给出多芯片性能数据,可据此判断端侧生成效率。