CVPR 2024｜生成不了光线极强的图片？微信视觉团队有效解决扩散模型奇点问题

为了研究扩散模型的奇点问题，需要验证全过程包含奇点处的逆过程满足高斯特性。首先定义为扩散模型的训练样本，训练样本的分布可以表示为：

其中，，，随着时间单调的从 1 变化到 0。考虑到刚刚定义的训练样本分布，的单时刻边际概率密度可以表示为：

由此，可以通过贝叶斯公式计算逆过程的条件分布：

然而，经过的分布是混合高斯分布，难以用网络进行拟合。因此，主流的扩散模型通常假设这一分布可以由单个高斯分布拟合。

其中，为了验证这一假设，该研究在 Proposition 1 中估计了这一拟合的误差。

然而，该研究发现当 t=1 时，随着 s 趋近 1，也将趋近于 1，误差无法忽略。因此，Proposition 1 并不能证明 t=1 时的逆向高斯特性。为了解决这一问题，该研究给出了新的命题：

根据 Proposition 2，当 t=1 时，随着 s 趋近 1，将趋近于 0。由此，该研究证明了包含奇点时刻的逆过程全过程都符合高斯特性。

首先考虑 t=1 时刻的奇点问题。当 t=1 时，=0，下面的采样公式将出现分母除 0 的情况：

然而，这一极限无法在测试过程中进行计算。为此，该研究提出可以在 t=1 时刻拟合，使用 「x - 预测」，来解决的初始奇点处的采样问题。

其中。这样的奇异性会使得采样过程收敛到正确的数据上。因此，t=0 处的奇点是扩散模型良好的性质，并不需要规避。

SingDiffuion 的算法如下图所示：

 根据上一节的结论，该研究在在 t=1 时刻使用了 「x - 预测」方法来解决奇点处的采样问题。对于图-文数据对，该方法训练了一个 Unet来拟合。损失函数表示为：

模型收敛后，就可以按照下面的 DDIM 采样公式并使用新得到的模块采样。

DDIM 的采样公式确保了生成的符合 1-ε 时刻的数据分布，从而解决了平均灰度问题。在这一步骤之后，就可以使用预训练的模型执行后续的采样步骤，直到生成。值得注意的是，由于该方法仅参与第一步的采样，与后续的采样过程无关，因此 SingDiffusion 可以应用在绝大多数已有的扩散模型中。另外，为了避免无分类器指导操作导致的数据溢出问题，该方法还使用了以下的归一化操作：

可以看出，该研究所提出的方法仅需进行一次训练，即可轻松地应用到已有的扩散模型中，解决平均灰度问题。

从结果中可以看出，该方法能有效解决 ControlNet 的平均灰度问题。