VQ-Diffusion

VQ-Diffusion 是由中国科学技术大学和微软开发的条件潜在扩散模型，其噪声和去噪过程在由离散向量组成的量化潜在空间中进行。该模型使用冻结权重的 VQ-VAE 将图像编码为离散 token，并通过预训练的 CLIP 文本编码器和解码器 Transformer 实现条件生成。