使用 InstructPix2Pix 对 Stable Diffusion 进行指令微调

Hugging Face 博客介绍利用 InstructPix2Pix 训练方法对 Stable Diffusion 进行指令微调，使其能根据指令处理输入图像。研究结合 FLAN V2 理念构建数据集，在卡通化、去雨等任务上实现了比预训练模型更忠实的效果。代码、预训练模型及数据集已开源。