清华团队开发了自监督空间冗余去噪Transformer方法用于荧光图像的去噪

荧光成像的高信噪比对于生物现象的准确可视化至关重要，然而，噪声问题仍然是成像灵敏度面临的主要挑战之一。

清华大学的研究团队提供了空间冗余去噪 Transformer（SRDTrans），以自监督的方式去除荧光图像中的噪声。

团队提出了一种新的采样策略，基于空间冗余来提取相邻的正交训练对，并消除对高成像速度的依赖。此外，他们还开发了一种轻量级时空Transformer架构，能够以较低的计算成本捕获遥远的依赖关系和高分辨率特征。

SRDTrans 能够保留高频信息，不会造成结构过度平滑或荧光痕迹扭曲。此外，SRDTrans 不依赖特定的成像过程和样本假设，因此适用于各种成像模式和生物应用的扩展。

该研究以「Spatial redundancy transformer for self-supervised fluorescence image denoising」为题，于 2023 年 12 月 11 日发布在《Nature Computational Science》。

活体成像技术的迅速发展使研究人员能够在微米乃至纳米尺度上观察生物结构和活动。荧光显微镜作为一种流行的成像方法，以其高时空分辨率和分子特异性，有助于揭示新的生理和病理机制。荧光显微镜的主要目标是获得干净、清晰的图像，其中包含足够的样品信息，以确保下游分析的准确性并支持可信的结论。

然而，由于多种生物物理和生化因素的影响，荧光成像在实际操作中受到各种限制。例如，荧光团的亮度、光毒性和光漂白现象，都会对成像效果产生负面影响。在光子受限的情况下，固有的光子散粒噪声会显著降低图像的信噪比（SNR），特别是在低照度和高速观察的情况下。这些因素使得荧光成像的质量和可靠性受到挑战，需要在实践中加以克服和优化。

已经有多种方法被提出来用于去除荧光图像中的噪声。传统的基于数值滤波和数学优化的去噪算法性能不尽如人意且适用性有限。近年来，深度学习在图像去噪领域展现出了显著的成就。

通过使用真实值（GT）数据集进行迭代训练，深度神经网络能够学习噪声图像与干净对应图像之间的映射关系。这种监督方式的有效性主要取决于配对的GT图像。

在观察生物体的活动时，获得逐像素配准的干净图像是一个巨大的挑战，因为样本经常经历快速的动态变化。为了缓解这一矛盾，人们提出了一些自监督方法，从而在荧光成像中实现更适用和实用的去噪。

为了获得更好的去噪性能，同时提取全局空间信息和长程时间相关性的能力至关重要，而由于卷积核的局部性，这是卷积神经网络（CNN）所缺乏的。此外，固有的谱偏差使得 CNN 倾向于优先拟合低频特征，而忽略高频特征，不可避免地产生过度平滑的去噪结果。

清华大学的研究团队提出了空间冗余去噪 Transformer（the spatial redundancy denoising transformer，SRDTrans）来解决这些困境。

图：SRDTrans原理及性能评估。（来源：论文）

一方面，研究人员提出了一种空间冗余采样策略，从两个正交方向的原始延时数据中提取三维（3D）训练对。

该方案不依赖于两个相邻帧之间的相似性，因此 SRDTrans 适用于非常快的活动和极低的成像速度，这与该团队之前提出的利用时间冗余的 DeepCAD 是互补的。

由于 SRDTrans 不依赖于任何有关对比度机制、噪声模型、样本动态和成像速度的假设。因此，它可以很容易地扩展到其他生物样品和成像方式，例如膜电压成像、单蛋白检测、光片显微镜、共焦显微镜、光场显微镜和超分辨率显微镜。

另一方面，研究人员设计了一个轻量级时空变换网络来充分利用远程相关性。优化的特征交互机制使该模型能够用少量的参数获得高分辨率的特征。与经典 CNN 相比，所提出的 SRDTrans 具有更强的全局感知和高频维护能力，能够揭示以前难以辨别的细粒度时空模式。

该团队在两个代表性应用中展示了 SRDTrans 的卓越降噪性能。第一个是单分子定位显微镜（SMLM），相邻帧是荧光团的随机子集。

图：将 SRDTrans 应用于实验 SMLM 数据。（来源：论文）

另一种是大型 3D 神经元群的双光子钙成像，体积速度低至 0.3Hz。广泛的定性和定量结果表明，SRDTrans 可以作为荧光成像的基本去噪工具，从而观察各种细胞和亚细胞现象。

图：大神经体积的高灵敏度钙成像。（来源：论文）

SRDTrans 也有一些局限性，主要在于相邻像素应具有近似结构的基本假设。如果空间采样率太低而无法提供足够的冗余，SRDTrans 将失败。另一个潜在的风险是泛化能力，SRDTrans 的轻量级网络架构更适合特定任务。

相信针对特定数据训练特定模型是使用深度学习进行荧光图像去噪的最可靠方法。因此，应该训练新的模型，从而确保在成像参数、模态和样本发生变化时获得最佳结果。

随着荧光指示剂的发展朝着更快的动力学方向发展，以监测毫秒级的生物动力学来记录这些快速活动所需的成像速度不断增长。对于依赖时间冗余的去噪方法来说，获得足够的采样率变得越来越具有挑战性。该团队的观点是通过寻求利用空间冗余作为替代方案来填补这一空白，从而在更多成像应用中实现自我监督去噪。

尽管空间冗余采样的完美情况是空间采样率比衍射极限的奈奎斯特采样高两倍，从而确保两个相邻像素具有几乎相同的光学信号；但在大多数情况下，两个空间下采样的子序列之间的内生相似性足以指导网络的训练。

然而，这并不意味着所提出的空间冗余采样策略可以完全取代时间冗余采样，因为消融研究表明，如果配备相同的网络架构，时间冗余采样可以在高速成像中取得更好的性能。SRDTrans 在高成像速度下相对于 DeepCAD 的优势实际上归功于 Transformer 架构。

一般来说，空间冗余和时间冗余是两种互补的采样策略，可实现荧光延时成像去噪网络的自监督训练。使用哪种采样策略取决于数据中哪种冗余更充分。值得注意的是，在许多情况下，两种冗余都不足以支持当前的采样策略。开发特定的或者更通用的自监督去噪方法，对于荧光成像具有持久的价值。

论文链接：https://www.nature.com/articles/s43588-023-00568-2