升级至高画质：NTU拓展视频超分辨率技术「Upscale-A-Video」

扩散模型在图像生成方面取得了显著成功，但将其应用于视频超分辨率仍存在挑战。视频超分辨率要求输出保真度和时间一致性，而扩散模型的固有随机性使这变得复杂。因此，有效地将扩散模型应用于视频超分辨率仍是一个具有挑战性的任务。

来自南洋理工大学 S-Lab 的研究团队提出了一种名为Upscale-A-Video的文本指导潜在扩散框架，用于视频超分。该框架通过两个关键机制确保时间一致性。首先，在局部范围内，它将时间层集成到U-Net和VAE-Decoder中，以保持短序列的一致性。其次，在全局范围内，该框架引入了流指导循环潜在传播模块，无需训练即可在整个序列中传播和融合潜在，从而增强整体视频的稳定性。这种框架的提出为视频超分提供了一种新的解决方案，具有较好的时间一致性和整体稳定性。

论文地址：https://arxiv.org/abs/2312.06640

通过扩散范式，Upscale-A-Video 获得了很大的灵活性。它允许使用文本 prompt 来指导纹理的创建，并且可以调节噪声水平，以在恢复和生成之间平衡保真度和质量。这一特性使得该技术在保持原始内容意义不变的同时，能够微调细节，从而实现更精确的结果。

实验结果表明，Upscale-A-Video在合成和现实世界基准上的表现超过了现有方法，呈现出令人印象深刻的视觉真实感和时间一致性。

我们先来看几个具体例子，例如，借助 Upscale-A-Video，「花果山名场面」有了高清画质版：

相比于 StableSR，Upscale-A-Video 让视频中的松鼠毛发纹理清晰可见：

方法简介

一些研究通过引入时间一致性策略来优化图像扩散模型以适应视频任务。这些策略包括以下两种方法：首先，通过时间层微调视频模型，如3D卷积和时间注意力，来提升视频处理性能。其次，使用零样本机制，例如跨帧注意力和流指导注意力，来在预训练模型中进行调整，以提高视频任务的表现。这些方法的引入使得图像扩散模型能够更好地处理视频任务，从而提升视频处理的效果。

尽管这些解决方案显著提高了视频稳定性，但仍然存在两个主要问题：

• 当前在 U-Net 特征或潜在空间中运行的方法难以保持低级一致性，纹理闪烁等问题仍然存在。 

• 现有的时间层和注意力机制只能对短的局部输入序列施加约束，限制了它们确保较长视频中全局时间一致性的能力。

为了解决这些问题，Upscale-A-Video 采用局部-全局策略来维持视频重建中的时间一致性，重点关注细粒度纹理和整体一致性。在局部视频剪辑上，该研究探索使用视频数据上的附加时间层来微调预训练图像 ×4 超分模型。

具体来说，在潜在扩散框架内，该研究首先使用集成的 3D 卷积和时间注意力层对 U-Net 进行微调，然后使用视频条件输入和 3D 卷积来调整 VAE 解码器。前者显著实现了局部序列的结构稳定性，后者进一步提高了低级一致性，减少了纹理闪烁。在全局范围内，该研究引入了一种新颖的、免训练的流指导循环潜在传播模块，在推理过程中双向进行逐帧传播和潜在融合，促进长视频的整体稳定性。

Upscale-A-Video 模型可以利用文本 prompt 作为可选条件来指导模型产生更真实、更高质量的细节，如图 1 所示。

Upscale-A-Video 将视频划分为多个片段，并使用具有时间层的 U-Net 对其进行处理，以实现片段内的一致性。在用户指定的全局细化扩散期间，使用循环潜在传播模块来增强片段间的一致性。最后，经过微调的 VAE 解码器可减少闪烁伪影，实现低级一致性。

实验结果

Upscale-A-Video 在现有基准上实现了SOTA性能，展现出卓越的视觉真实感和时间一致性。

定量评估。如表 1 所示，Upscale-A-Video在所有四个合成数据集中实现了最高的 PSNR，表明其具有出色的重建能力。

定性评估。该研究分别在图 4 和图 5 中展示了合成和真实世界视频的视觉结果。Upscale-A-Video 在伪影去除和细节生成方面都显著优于现有的 CNN 和基于扩散的方法。