跳到正文

图像生成

AI 画图的最前线:文生图模型迭代、图像编辑能力与创作工具生态的全部动态。

46条精选相关主题AI 视频多模态产品更新

最新精选

第 41–46 条 · 共 46 条
3月24日周五
  1. Hugging Face Blog70

    Hugging Face 详解如何使用 diffusers 训练 ControlNet

    Hugging Face 博客详解了使用 diffusers 训练 ControlNet 的三步流程:规划条件、构建数据集与模型训练。文章以训练面部姿态控制模型为例,展示了从 FaceSynthetics 数据集准备到使用 A100 进行训练的具体代码与参数配置,并提供了适配 8GB 至 16GB 显存的优化方案。

    推荐理由:原文详述了基于diffusers训练ControlNet的三步流程与显存优化技巧,提供了可直接复用的实操指南。

3月3日周五
  1. Hugging Face Blog72

    Hugging Face Diffusers 集成 ControlNet 教程

    Hugging Face 发布教程介绍如何在 Diffusers 中使用 StableDiffusionControlNetPipeline,涵盖边缘、姿态等多种条件控制及多条件组合方法,并演示了通过优化调度器、CPU卸载和xformers实现推理加速与显存节省。

    推荐理由:文章详细演示了Diffusers中ControlNet的集成与优化技巧,提供可复用的代码与性能调优方案。

2月24日周五
  1. Hugging Face Blog68

    Hugging Face Diffusers for Mac 1.1 发布,原生 Core ML 加速图像生成

    Hugging Face 发布 Diffusers for Mac 1.1,将扩散模型转换为 Core ML 以利用 Apple Silicon 硬件加速。性能测试显示 M1 Max 使用 GPU 最快,标准 M1 使用 ANE 更快,新版本会自动选择最佳加速器。

    推荐理由:官方发布 Swift 原生应用并给出多芯片性能数据,可据此判断端侧生成效率。

1月26日周四
  1. Hugging Face Blog72

    Diffusers 原生支持 Stable Diffusion LoRA 微调

    Hugging Face Diffusers 正式支持 Stable Diffusion 的 LoRA 微调,训练仅需 11 GB 显存,生成的权重文件仅约 3 MB。该功能支持 Dreambooth 和全量微调,并内置自动记录基础模型元数据以简化推理加载。

    推荐理由:Diffusers 原生支持 LoRA 大幅降低显存需求并生成极小权重文件,便于模型分享与复用。

12月1日周四
  1. Hugging Face Blog63

    Hugging Face 发布 Stable Diffusion Core ML 转换权重

    Hugging Face 官方提供 Stable Diffusion Core ML 转换权重,让 Apple Silicon 用户能直接调用并本地运行。支持 v1.4、v1.5 及 v2 系列模型,提供 Python 和 Swift 两种推理方式,并附带自定义模型转换脚本。

    推荐理由:Hugging Face 官方提供 Stable Diffusion Core ML 转换权重,让 Apple Silicon 用户能直接调用并本地运行。

11月7日周一
  1. Hugging Face Blog75

    使用Diffusers训练Stable Diffusion的Dreambooth技巧

    Hugging Face发布基于Diffusers训练Stable Diffusion的Dreambooth技巧。推荐低学习率(如1e-6)配合较多训练步数(人脸约1200步)以避免过拟合;微调文本编码器可显著提升质量,但需24GB显存;过拟合时改用DDIM调度器并增加推理步数能改善效果。

    推荐理由:原文基于大量实验给出了Dreambooth微调Stable Diffusion的具体超参数建议和避坑指南。