荧光显微镜具有对样品损伤小、可特异性成像等优点，是生物医学研究的主流成像手段。随着人工智能技术的快速发展，深度学习在逆问题求解中取得了巨大成功，被广泛应用于诸多领域。

近年来，深度学习在荧光显微成像中的应用掀起了一个研究热潮，为荧光显微技术发展提供了性能上的突破与新思路。

基于此，西安电子科技大学的熊子涵、宋良峰团队在《红外与激光工程》发表文章，介绍了深度学习的基本网络模型，然后对基于深度学习的荧光显微成像技术在荧光显微的空间分辨率、图像采集及重建速度、成像通量和成像质量提升方面的应用进行了阐述。

深度学习源于人工神经网络，是机器学习方法中最受欢迎的算法。1943年，Mcculloch等人提出第一个脑神经元抽象模型，随后Rumelhart和McClelland于1986年提出多层网络学习的误差反向传播学习算法，但1991年该算法被指出存在梯度消失问题。2006年，Hinton提出深度神经网络模型，使深度学习再次崛起。2012年，AlexNet在ImageNet竞赛中的优异表现引起了公众的全面关注。

卷积神经网络（CNN）

是一类包含卷积计算且具有深度结构的前馈神经网络，主要由卷积层、池化层以及全连接层组成。U-Net是一种基于全卷积网络的经典图像分割网络，由编码器、解码器和跳跃连接组成，能有效防止信息丢失。

图1、常用的神经网络结构图。(a)卷积神经网络；(b)U-Net结构；(c) 循环神经网络；(d)生成对抗网络

循环神经网络（RNN）

是一类具有短期记忆能力的神经网络，通过自反馈的神经元来处理任意长度的时序数据，由输入层、隐含层以及输出层组成。为解决长期记忆问题，可采用长短期记忆网络（LSTM）。

生成对抗网络（GAN）

是一种无监督深度学习模型，由生成器与判别器两个模块组成，两部分网络相互博弈以提高网络性能，在样本数据生成、图像生成以及提高图像分辨率等方面有广泛应用前景。

1、增强空间分辨率

基于GAN的深度网络框架：加州大学Wang等提出，选用U-Net神经网络，将在低倍物镜、共聚焦显微镜以及全内反射荧光显微镜下获取的低分辨率图像转换为高分辨率图像，具有大视场、高信噪比与高自由度等特点。

通过对牛肺动脉内皮细胞结构和荧光小球进行成像实验，验证了该网络的性能和通用性，实现了跨模态成像，将共聚焦显微镜图像转换为STED显微图像，使空间分辨率得到显著提升。

其他网络模型：Zhang等采用GAN实现从LR图像到HR图像的转换，对人类病理切片、荧光标记的成纤维细胞以及转基因小鼠大脑深层组织进行高分辨成像；Zhou等提出基于3D深度学习的双生成对抗网络（Dual GAN），实现LR图像转换为HR图像；Wang课题组提出一种深度对抗网络（DAN），以一个STED图像作为输入，输出一个对应更高分辨率的STED图像；Christensen等提出ML-SIM重建方法，使用端到端深度残差神经网络；Shah等提出基于深度学习的SR-SIM图像重建方法RED-fairSIM，在低SNR条件下获得超分辨率图像，并有效地抑制了噪声。

图2、深度学习网络提高宽场和共聚焦显微的成像空间分辨率。(a)用于图像超分辨率的生成对抗网络(GAN)构架；(b1)~(b3)网络对牛肺动脉内皮细胞(BPAECs)的成像结果，(b1)使用10×/0.4NA物镜采集的网络输入图像，(b2)网络输出图像，(b3)使用20×/0.75NA物镜采集的图像；(c1)荧光小球的共聚焦图像；(c2)利用网络获得的跨模态图像；(c3) STED所获得的超分辨图像

2、提升图像采集与重建速度

DL-SIM方法：Jin等提出基于U-Net网络的DL-SIM方法，依次使用15张/3张SIM原始图像与相应的15张常规SIM重建结果分别作为输入和真值，训练得到U-Net-SIM15/U-Net-SIM3，将超分辨率SIM所需的原始图像数量减少5倍，以提高SIM的时间分辨率。对4种不同的亚细胞结构图像进行恢复重建，证明该方法可以以较少的原始图像数量来实现快速超分辨SIM成像。

CycleGAN深度神经网络：深圳大学袁小聪教授课题组提出，将 SIM超分辨图像重建所需的原始图像帧数由9帧减少至3帧，实现快速SIM超分辨成像。

其他方法：Boyd等使用DeepLoco方法将SMLM中活跃的荧光团位置生成简短列表，使用CNN改善传统算法复杂、耗时的问题；Shechtman课题组将CNN与SMLM相结合，提出了一种快速、精确和无参数的算法；Speiser等开发了DECODE模型，可在发光样品分子局部重叠的情况下实现单分子定位，将成像时间减少了一个数量级；Weigert等提出了基于深度学习的内容感知图像恢复（CARE）网络，有效解决了光片荧光显微镜轴向采样率低的问题；华中科技大学费鹏教授课题组提出视道深度神经网络（VCD-Net），以解决光场显微镜在捕获毫秒量级生命过程中空间分辨率低且不均匀的限制。

图3、使用U-Net的超分辨率SIM成像。(a)使用15或3张SIM原始数据图像作为输入，并将15张图像中相应的SIM重建作为训练U-Net的标签图像；(b)不同亚细胞结构的重建结果；(c)图(b)每张图像中沿虚线的强度分布。图中，Average显示在右侧y轴上，其他共享在左侧y轴

图4、深度学习提高光场显微镜的成像分辨率。(a)利用VCD-LFM和光场反卷积显微镜(LFDM)对斑马鱼心脏跳动中的红细胞成像；(b)利用VCD-LFM和LFDM对斑马鱼心脏跳动中的心肌细胞核成像

3、提高荧光显微成像通量

Recurrent-MZ：美国加州大学Huang等设计，采用基于编码器-解码器卷积循环网络（CRNN），通过一系列级联的编码器-解码器对，更好地利用且合并来自不同轴向位置上的不同尺度的特征图。使用63X/1.4NA物镜采集3张轴向间隔为6μm的线虫样品图像作为网络输入，同时采集轴向间隔为0.2μm的91张图像作为GT，结果表明网络预测结果与GT图像质量相当，标准均方根误差均值为4、峰值信噪比均值为34。该方法将传统3D成像所需要的轴向切片数量减少了30倍，成像速度和吞吐量得到显著提升，并且拓展了成像系统景深。

图5、通过Recurrent-MZ的体积成像。(a)Recurrent-MZ体积成像框架。M是输入扫描(2D图像)的数量，每个输入扫描与其对应的DPM(数字传播矩阵)配对；(b)Recurrent-MZ网络结构

Deep-Z：Ozcan教授课题组提出，从单个2D宽场图像对荧光样品进行3D重建，最终实现在±10μm的轴向范围内重聚焦，将自然景深扩展约20倍，克服传统技术成像速度和吞吐量的限制，并减少了对样品的曝光量与光损伤。

DL-fMOST：华中科技大学的Ning等提出，首次使用深度学习进行全脑成像，以0.32μm×0.32μm×2μm分辨率完成对单个小鼠大脑的数据采集，采集时间由3天缩短为1.5天，大大提高了成像吞吐量。

SRRF-Deep：中国科学院西安光学精密机械研究所姚保利课题组提出，通过减少扫描次数与重建时间，显著提高了利用超分辨率径向波动（SRRF）方法成像的吞吐量，同时减轻了光漂白与光毒性的影响。将所需的扫描次数减少至SRRF的1/100，同时将1024pixel×1024pixel大小的切片的重建时间由3s减少至约0.1s，将重建速度提升了约30倍。

DSP-Net：华中科技大学费鹏教授课题组提出，通过网络端到端非迭代推理突破3D荧光显微镜通量的极限，可在6min内完成小鼠大脑的3D成像，成像速度比传统成像方法提升了两个数量级。在3300μm×830μm×55μm大视场下，以30Hz的体积速率对秀丽隐杆线虫活动进行追踪，提高了捕获瞬时生物过程的时间分辨率，有效改善了LSFM光学吞吐量限制。

图6、基于双级互反馈神经网络(DSP-Net)的小鼠大脑3D成像。(a) DSP-Net的工作流程图；(b)DSP-Net结合LSFM对小鼠大脑中荧光标记神经元图像的处理结果

4、改善荧光显微成像质量

荧光显微镜去噪（FMD）数据集：Zhang等构建，由12000张真实荧光显微图像组成，主要包含了共聚焦、双光子、宽场显微镜和具有代表性生物样本如细胞、斑马鱼和小鼠脑组织，使用图像平均来获取60000张不同噪声水平的图像和对应的标签，填补了该领域在原始数据上的空白。

图7、具有不同噪声水平的荧光显微图像数据集。用双光子显微镜在固定的小鼠脑组织上获取单通道(灰色)图像。用双光子显微镜在固定的BPAE细胞上获得多通道(彩色)荧光图像。真实图像(GT)是通过对50张有噪声的原始图像进行平均估计得到的

尺度循环像差矫正网络（SRACNet）：浙江大学的Hu等提出，包含参数共享的3个尺度循环训练，由卷积层、激活层以及修改后的残差块组成。修改后的残差块在残差连接基础上加入2个具有不同卷积核大小的分支，为每个水平提供不同的感受野，同时并行化处理，提高网络训练速度。网络采用RMSE与SSIM相结合的损失函数来执行训练，可有效增强图像细节，降低图像噪声，抑制伪影以及像差修正，且处理速度达到40.70ms/幅（512pixel×512pixel），适用于实时生物应用。该方法的 PSNR和SSIM值分别为29.29和0.83，而U-Net对应的值分别为28.74和0.82，前者成像质量明显优于后者。

图8、用于荧光显微图像增强的尺度循环像差矫正网络(SRACNet)。(a) SRACNet网络的训练过程。圆圈箭头内的数字代表残差块的重复次数，每层下的数字代表通道数，下标i代表不同的尺度；(b)修改后的残差块结构示意图。“N”和“N/2”代表通道数

ScatNet：华中科技大学的Xiao等提出，与光片荧光显微镜（LSFM）相结合，能够直接从散射图像中预测高质量的图像，扩展了LSFM的成像深度。通过对小鼠脑组织进行实验，提高了小鼠大脑中超出光子弹道区域的神经元的SNR和分辨率，还将LSFM传统成像深度提高至300μm。

图9、ScatNet恢复的由双光子激发荧光显微镜成像的小鼠脑切片(Thy1-YFP-M)中神经元的信号[46]。(a)深度为0µm(ground-truth)平面上脑切片的成像结果；(b)左：深度为100µm平面上脑切片的成像结果，右：对应左图中的散射信号恢复结果；(c)左：深度为200µm平面上脑切片的成像结果，右：对应左图中的散射信号恢复的结果；(d)左：深度为300µm平面上脑切片的成像结果，右：对应左图中的散射信号恢复的结果

5、其他应用

In Silico Labeling（ISL）：谷歌公司提出，样品无需进行荧光染色，运用ISL模型就可从未标记的固定或活体样本的透射光的z-stack图像中预测多种荧光标记，准确预测细胞核的位置、细胞的活性状态、细胞类型及亚细胞结构类型，还可进行迁移学习适应新的数据集。

无标签预测3D荧光图像：Ounkomol等采用U-Net架构成功从透射光图像中预测三维（3D）荧光活细胞图像，对64×64×32的3D图像预测仅需1s。

自动识别生物结构：Khater等使用CNN可以从SMLM数据中自动识别生物结构，对前列腺癌细胞（PC-3）细胞膜上的小窝结构进行识别分类，分类准确率达到了94%。

无监督图像变换网络框架（UTOM）：清华大学戴琼海课题组提出，不需要通过配对训练数据对网络进行训练，就能找到训练对之间的映射关系，实现不同成像模式之间的高保真转换，为医生在手术中快速诊断癌症、肿瘤等提供便捷。

图11、无监督图像变换网络框架的虚拟荧光成像。(a)无标记组织核心的自体荧光图像；(b)UTOM预测的H&E染色；(c)用于比较的相应相邻H&E染色部分的明场图像

定量评价STED图像质量：Robitaille等提出了一个基于深度神经网络对STED图像质量的定量评价系统，网络输入需要评价的图像，输出对应图像的质量分数，其结果是输入样本结构分辨率、SNR、光漂白及光氧化等的综合评价。

深度学习为荧光显微技术的发展提供了全新的途径，解决了传统荧光显微存在的一些问题，提高了其空间分辨率、成像速度、吞吐量和成像质量。

但深度学习也存在一些局限性，如需要大量高质量的数据标注、泛化能力有待增强以及缺乏可靠的理论解释等。

未来，我们可以通过FPGA编程将深度学习算法集成到显微镜硬件中，开发出基于深度学习的荧光显微镜，使其成为更多领域成像和分析的核心技术。相信在不久的将来，深度学习将为荧光显微技术带来更多的突破和创新，为生物医学研究等领域提供更强大的支持。

内容来源：

熊子涵,宋良峰,刘欣,左超,郜鹏.基于深度学习的荧光显微性能提升（特邀）[J]. 红外与激光工程,2022,51(11):20220536.Zihan Xiong,Liangfeng Song,Xin Liu,Chao Zuo,Peng Gao.Performance enhancement of fluorescence microscopy by using deep learning (invited)[J].Infrared and Laser Engineering,2022,51(11):20220536.