深入传播模式 (DPM)

深度扩散过程(DDP)模型是一种生成模型，通过正向扩散和反向扩散过程生成数据。其关键概念是学习噪声引起的信息系统衰减，并逆转过程，从噪声中恢复信息。这一模型具有强大的生成能力。

DDP模型由两个网络组成，分别是正向扩散阶梯网络和反向扩散阶梯网络。在正向扩散步骤中，输入样本被引入并通过添加噪声得到新的样本。而在反向扩散步骤中，噪声样本被引入并生成原始输入样本。通过通过最小化生成样本和原始样本之间的差异来训练模型。这种训练方式可以帮助模型更好地学习和理解输入数据的特征。

扩散模型不仅能生成高质量图像，还具有其他优点。与对抗性训练不同，它不需要额外的训练过程。此外，扩散模型在训练效率方面也有独特的优势，因为它具备可扩展性和并行化的特点。

扩散模型训练中使用的模型与VAE网络类似，但相比其他网络架构，它更加简单直接。输入层的大小与数据维度相同，根据网络的深度可以有多个隐藏层。中间层是线性层，每层都有各自的激活函数。最后一层的大小再次与原始输入层的大小相同，以重建原始数据。在去噪扩散网络中，最后一层有两个独立的输出，一个用于预测概率密度的均值，另一个用于预测概率密度的方差。这种模型的训练过程是通过最大似然估计来实现的，通过最大化观测数据的似然概率来优化模型参数。最终目标是生成具有与原始数据相似分布的样本。