Hugging Face 详解 SDXL 推理速度与显存优化技巧
Hugging Face 博客详解了 Stable Diffusion XL 的推理优化方法。通过 fp16 精度、SDPA 注意力机制、torch.compile 编译及 CPU 卸载等技术，在 A100 上显著降低了显存占用并提升了生成速度。
推荐理由：文章实测了 fp16、SDPA、torch.compile 及显存优化技巧，提供了可复用的代码与性能数据。
图像生成
全部主题AI 画图的最前线：文生图模型迭代、图像编辑能力与创作工具生态的全部动态。
最新精选
第 61–80 条 · 共 81 条Hugging Face Blog精选AI 评分6868
OpenAI News精选AI 评分7272 DALL·E 3 正式在 ChatGPT Plus 和 Enterprise 中上线
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 版本中正式可用。官方表示已开发安全缓解措施以准备广泛发布，并分享了关于溯源研究的最新进展。
推荐理由：DALL·E 3 正式面向 Plus 和 Enterprise 用户开放，标志着图像生成能力的进一步普及。
Hugging Face Blog精选AI 评分6666 TRL 库集成 DDPO 训练器，支持微调 Stable Diffusion 对齐人类审美
Hugging Face 在 TRL 库中集成 DDPOTrainer，提供使用 Denoising Diffusion Policy Optimization 微调 Stable Diffusion 的完整代码与参数配置。该方法通过审美奖励模型对齐人类偏好，无需中间监督微调，支持 LoRA 训练，可显著提升生成图像质量。
推荐理由：TRL 库集成 DDPO 训练器，提供微调 Stable Diffusion 的完整代码与参数配置，可直接复现人类审美对齐。
Hugging Face Blog精选AI 评分7272 Hugging Face 发布高效图像生成模型 Würstchen
Hugging Face 发布高效图像生成模型 Würstchen，通过42倍空间压缩实现比 SDXL 更快的推理速度与更低的显存占用。该模型在 Diffusers 库中集成，支持 PyTorch 2.0 SDPA 加速与 torch.compile 优化，并提供多种显存节省策略。
推荐理由：通过42倍极端压缩显著降低训练与推理成本，为资源受限场景提供高效图像生成方案。
Hugging Face Blog精选AI 评分7575 Hugging Face Diffusers 支持 T2I-Adapter-SDXL 高效可控图像生成
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作，正式支持适配 Stable Diffusion XL (SDXL) 的 T2I-Adapter。
推荐理由：提供了适配 SDXL 的轻量级控制模型及完整训练推理代码，便于在保持生成质量的同时降低显存与计算开销。
Hugging Face Blog精选AI 评分7272 Stable Diffusion XL 支持 Core ML 混合位量化，可在 Mac 端侧运行
Hugging Face 与 Apple 联合发布 Stable Diffusion XL 的 Core ML 版本，支持在 Mac 端侧运行。引入混合位调色板量化技术，将模型体积从 4.8 GB 压缩至 1.4 GB，同时保持较高生成质量。
推荐理由：提供了混合位调色板量化技术，在显著压缩模型体积的同时保持生成质量，支持在 Mac 端侧高效运行。
Hugging Face Blog精选AI 评分7575 使用 Transformers.js 在浏览器中构建 ML 驱动的 Web 游戏
Hugging Face 发布教程，展示如何使用 Transformers.js 和 MobileViT 模型在浏览器中构建实时绘图识别游戏 Doodle Dash。文章涵盖模型微调、ONNX 转换、Web Worker 推理及游戏逻辑实现，并提供了完整源码。
推荐理由：原文提供了在浏览器端部署MobileViT模型并构建实时绘图识别游戏的完整代码与流程。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布支持 6-bit 量化的 Stable Diffusion Core ML 模型
Hugging Face 发布了四个官方 Stable Diffusion 模型的 6-bit palettized 版本，支持在 iPhone、iPad 和 Mac 上更高效地运行。配合更新的 coremltools 和 ml-stable-diffusion 仓库，开发者可轻松转换自定义模型并享受更低的内存占用与更快的推理速度。
推荐理由：提供了6-bit量化模型下载与转换代码，帮助开发者在苹果设备上高效部署图像生成模型。
Hugging Face Blog精选AI 评分7373 在免费Google Colab上使用diffusers运行IF模型
Hugging Face展示了如何在免费Google Colab上运行DeepFloyd IF模型。通过8bit量化、分阶段加载和显存释放，成功在15GB显存的T4 GPU上完成文本生成、图像变体和图像修复。
推荐理由：原文给出了在低显存环境下运行IF模型的具体优化代码，读者可直接复现该实践。
Hugging Face Blog精选AI 评分7070 Hugging Face 详解如何使用 diffusers 训练 ControlNet
Hugging Face 博客详解了使用 diffusers 训练 ControlNet 的三步流程：规划条件、构建数据集与模型训练。文章以训练面部姿态控制模型为例，展示了从 FaceSynthetics 数据集准备到使用 A100 进行训练的具体代码与参数配置，并提供了适配 8GB 至 16GB 显存的优化方案。
推荐理由：原文详述了基于diffusers训练ControlNet的三步流程与显存优化技巧，提供了可直接复用的实操指南。
Hugging Face Blog精选AI 评分7272 Hugging Face Diffusers 集成 ControlNet 教程
Hugging Face 发布教程介绍如何在 Diffusers 中使用 StableDiffusionControlNetPipeline，涵盖边缘、姿态等多种条件控制及多条件组合方法，并演示了通过优化调度器、CPU卸载和xformers实现推理加速与显存节省。
推荐理由：文章详细演示了Diffusers中ControlNet的集成与优化技巧，提供可复用的代码与性能调优方案。
Hugging Face Blog精选AI 评分6868 Hugging Face Diffusers for Mac 1.1 发布，原生 Core ML 加速图像生成
Hugging Face 发布 Diffusers for Mac 1.1，将扩散模型转换为 Core ML 以利用 Apple Silicon 硬件加速。性能测试显示 M1 Max 使用 GPU 最快，标准 M1 使用 ANE 更快，新版本会自动选择最佳加速器。
推荐理由：官方发布 Swift 原生应用并给出多芯片性能数据，可据此判断端侧生成效率。
Hugging Face Blog精选AI 评分7272 Diffusers 原生支持 Stable Diffusion LoRA 微调
Hugging Face Diffusers 正式支持 Stable Diffusion 的 LoRA 微调，训练仅需 11 GB 显存，生成的权重文件仅约 3 MB。该功能支持 Dreambooth 和全量微调，并内置自动记录基础模型元数据以简化推理加载。
推荐理由：Diffusers 原生支持 LoRA 大幅降低显存需求并生成极小权重文件，便于模型分享与复用。
Hugging Face Blog精选AI 评分6868 Hugging Face 发布 Mask2Former 和 OneFormer 通用图像分割教程
Hugging Face 在 Transformers 库中上线了 Mask2Former 和 OneFormer 两个通用图像分割模型。文章详细解释了实例、语义和全景分割的区别，介绍了基于 Transformer 解码器的统一架构原理，并提供了在 Transformers 中进行推理和微调的代码示例。
推荐理由：文章系统梳理了通用图像分割架构的演进，并提供了 Mask2Former 和 OneFormer 在 Transformers 中的推理与微调代码示例。
Hugging Face Blog精选AI 评分6363 Hugging Face 发布 Stable Diffusion Core ML 转换权重
Hugging Face 官方提供 Stable Diffusion Core ML 转换权重，让 Apple Silicon 用户能直接调用并本地运行。支持 v1.4、v1.5 及 v2 系列模型，提供 Python 和 Swift 两种推理方式，并附带自定义模型转换脚本。
推荐理由：Hugging Face 官方提供 Stable Diffusion Core ML 转换权重，让 Apple Silicon 用户能直接调用并本地运行。
Hugging Face Blog精选AI 评分7575 使用Diffusers训练Stable Diffusion的Dreambooth技巧
Hugging Face发布基于Diffusers训练Stable Diffusion的Dreambooth技巧。推荐低学习率（如1e-6）配合较多训练步数（人脸约1200步）以避免过拟合；微调文本编码器可显著提升质量，但需24GB显存；过拟合时改用DDIM调度器并增加推理步数能改善效果。
推荐理由：原文基于大量实验给出了Dreambooth微调Stable Diffusion的具体超参数建议和避坑指南。
OpenAI News精选AI 评分6565 DALL·E API 进入公测阶段
OpenAI 宣布 DALL·E API 进入公测阶段，开发者即日起可以开始构建基于该 API 的应用程序。
推荐理由：DALL·E API 进入公测阶段，开发者可据此构建图像生成应用。
Hugging Face Blog精选AI 评分6565 Stable Diffusion with Diffusers
Hugging Face发布教程，演示如何使用Diffusers库运行Stable Diffusion模型生成图像，并深入解析了VAE、U-Net和Text-Encoder等核心组件的推理流程。
推荐理由：文章提供了基于Diffusers库的Stable Diffusion实操代码，并详细解析了VAE、U-Net等核心组件的推理流程。
OpenAI News精选AI 评分6868 DALL·E 开放 Beta 版
OpenAI 宣布 DALL·E 开放 Beta 版，将从等待名单中邀请 100 万人参与。用户每月可获得免费额度，并可以 15 美元购买 115 次生成额度。
推荐理由：DALL·E 开放 Beta 并公布免费额度与付费机制，用户可据此评估其日常创作成本与可用性。
OpenAI News精选AI 评分8888 OpenAI 发布 DALL·E 模型
OpenAI 发布了名为 DALL·E 的神经网络模型，能够根据自然语言描述生成图像。
推荐理由：OpenAI 展示了通过自然语言描述生成图像的能力，为文本到图像生成技术提供了早期基础。