Classifier Guidance 和 Classifier-Free Guidance 的理解与代码实现
首先给出结论: Classifier Guidance Classifier-Free Guidance 是否需要重训Diffusion model 不需要,使用已训好的Diffusion model就可以使用 需要,重训Diffusion model 是否需要额外模型 需要,额外的针对加噪图像的分类模型 相当于不需要,有文生图的clip文本编码器就行 实现效果 可控制分类模型支持的类别数生成 任意条件即可控制 Classifier Guidance Classifier Guidance 只能是给定一个分类模型中存在的类别,让模型生成这个类别的东西。比如指定模型生成图像类别是“狗”,模型就生成一张狗的图。所以这种方式是条件生成,条件是 y,扩散过程中的生成图像是 $X_t$。 ...