光學(xué)顯微成像技術(shù)的發(fā)展為人類打開了認(rèn)識微觀世界的大門，也成為了當(dāng)今細(xì)胞生物學(xué)、發(fā)育生物學(xué)、神經(jīng)科學(xué)等生命科學(xué)領(lǐng)域的重要研究工具。長期以來，活體顯微成像所追逐的目標(biāo)是以對生物樣本最低的侵入性來獲取最多的樣本時(shí)空信息。但現(xiàn)有超分辨顯微成像技術(shù)在提升空間分辨率的同時(shí)，往往需要犧牲其他對于解析生命過程同樣重要的成像指標(biāo)，如速度、時(shí)程或視野。
近年來，以深度學(xué)習(xí)為代表的計(jì)算超分辨方法能夠在不損失其他成像性能的前提下，提升顯微圖像分辨率或信噪比，表現(xiàn)出巨大的應(yīng)用前景。然而，針對生物醫(yī)學(xué)研究必需高保真度、可定量分析的圖像要求，目前深度學(xué)習(xí)顯微成像方法存在以下三大共性問題：
（1）受限于深度學(xué)習(xí)內(nèi)秉的頻譜頻移（spectral-bias）問題，輸出圖像分辨率無法達(dá)到真值（ground truth）水平；
（2）受限于超分辨重建以及去噪問題的病態(tài)性（ill-posed problem）和神經(jīng)網(wǎng)絡(luò)模型的不確定性（model-uncertainty），重建或預(yù)測結(jié)果的真實(shí)性無法得到保障；
（3）深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要大量數(shù)據(jù)，高質(zhì)量訓(xùn)練數(shù)據(jù)的采集在許多應(yīng)用場景下極其困難、甚至無法實(shí)現(xiàn)。
由于以上瓶頸，盡管目前深度學(xué)習(xí)顯微成像方法的研究和發(fā)展如火如荼，并且表現(xiàn)出了超越傳統(tǒng)成像性能極限的巨大潛力，但上述瓶頸問題阻礙了現(xiàn)有深度學(xué)習(xí)超分辨或去噪方法在生物顯微成像實(shí)驗(yàn)中的廣泛使用。
2022年10月6日，中國科學(xué)院生物物理研究所李棟課題組與清華大學(xué)自動化系、清華大學(xué)腦與認(rèn)知科學(xué)研究院、清華-IDG/麥戈文腦科學(xué)研究院戴瓊海課題組，聯(lián)合美國霍華德休斯醫(yī)學(xué)研究所（HHMI）Jennifer Lippincott-Schwartz博士在Nature Biotechnology雜志以長文（Article）形式發(fā)表題為Rationalized deep learning super-resolution microscopy for sustained live imaging of rapid subcellular processes的論文，提出了一套合理化深度學(xué)習(xí)（rationalized deep learning，rDL）顯微成像技術(shù)框架，將光學(xué)成像模型及物理先驗(yàn)與神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)相融合，合理化網(wǎng)絡(luò)訓(xùn)練、預(yù)測過程，從而實(shí)現(xiàn)了高性能、高保真的顯微圖像去噪與超分辨重建，并結(jié)合實(shí)驗(yàn)室自主研發(fā)、搭建的多模態(tài)結(jié)構(gòu)光照明顯微鏡（Multi-SIM）與高速晶格光片顯微鏡（LLSM），將傳統(tǒng)TIRF/GI-SIM、3D-SIM、LLS-SIM和LLSM的成像速度/時(shí)程提升30倍以上，實(shí)現(xiàn)了當(dāng)前國際最快（684Hz）、成像時(shí)程最長（最長可達(dá)3小時(shí)、60,000時(shí)間點(diǎn)以上）的活體細(xì)胞成像性能，首次對高速擺動纖毛（>30Hz）中轉(zhuǎn)運(yùn)蛋白（IFT）的多種運(yùn)輸行為以及完整細(xì)胞分裂過程中核仁液液相分離（liquid-liquid phase separation）過程進(jìn)行快速、多色、長時(shí)程、超分辨觀測。Nature Biotechnology雜志針對這一工作同時(shí)發(fā)表了Research Briefing文章進(jìn)行評述。
圖1 | 合理化深度學(xué)習(xí)超分辨顯微成像神經(jīng)網(wǎng)絡(luò)架構(gòu)
具體而言，李棟/戴瓊海研究團(tuán)隊(duì)提出的合理化深度學(xué)習(xí)結(jié)構(gòu)光超分辨重建架構(gòu)（rDL SIM）不同于現(xiàn)有超分辨神經(jīng)網(wǎng)絡(luò)模型的端到端（end-to-end）訓(xùn)練模式，而是采用分步重建策略，首先利用所提出的融合成像物理模型和結(jié)構(gòu)光照明先驗(yàn)的神經(jīng)網(wǎng)絡(luò)對原始SIM圖像進(jìn)行去噪和高頻信息增強(qiáng)，然后再通過經(jīng)典解析算法進(jìn)行SIM重建以獲得最終的超分辨圖像。相比于該團(tuán)隊(duì)去年在Nature Methods雜志上提出的超分辨重建神經(jīng)網(wǎng)絡(luò)模型DFCAN/DFGAN（詳見BioArt報(bào)道：Nat Methods | 李棟/戴瓊海團(tuán)隊(duì)開發(fā)深度學(xué)習(xí)超分辨顯微成像方法）【1】，rDL SIM可將超分辨重建結(jié)果的不確定性降低3~5倍，并實(shí)現(xiàn)更高的保真度和重建質(zhì)量；相比于其他去噪算法（如CARE【2】），rDL SIM可完美恢復(fù)出調(diào)制在原始圖像中的莫爾條紋，并將高頻信息增強(qiáng)10倍以上。
圖2 | rDL SIM與CARE-SIM對比
此外，針對晶格光片顯微鏡、共聚焦顯微鏡等寬場照明或點(diǎn)掃描成像模態(tài)，該研究團(tuán)隊(duì)提出了一種可學(xué)習(xí)的傅立葉域噪聲抑制模塊（FNSM），該模塊可以利用OTF信息對顯微圖像中的噪聲進(jìn)行自適應(yīng)濾除。然后，他們以此構(gòu)建了嵌入FNSM的通道注意力去噪神經(jīng)網(wǎng)絡(luò)架構(gòu)，并基于顯微成像數(shù)據(jù)本身的時(shí)空連續(xù)性，提出了時(shí)空交織采樣自監(jiān)督訓(xùn)練策略（TiS/SiS-rDL），無需額外采集訓(xùn)練數(shù)據(jù)、亦無需保證時(shí)序數(shù)據(jù)具有時(shí)間連續(xù)性，即可實(shí)現(xiàn)媲美監(jiān)督學(xué)習(xí)效果的去噪神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，解決了實(shí)際生物成像實(shí)驗(yàn)中高質(zhì)量訓(xùn)練數(shù)據(jù)難以獲取的難題。
圖3 | 合理化深度學(xué)習(xí)超分辨顯微成像方法應(yīng)用概覽
合理化深度學(xué)習(xí)超分辨顯微成像方法能夠適用于包括2D-SIM、3D-SIM、LLSM等在內(nèi)的多種顯微成像模態(tài)，提供高分辨率、高保真的顯微圖像重建性能，相較于傳統(tǒng)方法大幅提升成像時(shí)程和速度。借助rDL成像技術(shù)，研究團(tuán)隊(duì)進(jìn)行了諸多過去的成像手段無法開展的超分辨活體成像實(shí)驗(yàn)，并與HHMI Lippincott-Schwartz博士，中科院分子細(xì)胞科學(xué)卓越中心朱學(xué)良研究員、中科院遺傳發(fā)育所何康敏研究員一起深入探討了其潛在的生物學(xué)意義，包括：
（1）對滴落在玻片上的U2OS細(xì)胞貼壁生長過程進(jìn)行了雙色、長時(shí)程（1小時(shí)以上）、超分辨（97nm分辨率）觀測，清晰、真實(shí)地記錄了細(xì)胞粘附和遷移的動力學(xué)現(xiàn)象，而不會干擾這一漫長、脆弱的生命過程；
圖4 | 利用rDL TIRF-SIM對細(xì)胞貼壁生長進(jìn)行觀測
（2）對高速擺動纖毛以當(dāng)前最快的684Hz成像速率進(jìn)行了長達(dá)60,000個(gè)時(shí)間點(diǎn)的連續(xù)超分辨觀測，過程中無明顯光漂白或細(xì)胞活性損傷，并對纖毛擺動模式和頻率進(jìn)行了統(tǒng)計(jì)分析；
（3）對擺動纖毛及纖毛內(nèi)轉(zhuǎn)運(yùn)蛋白（IFT）進(jìn)行了超快、超分辨雙色成像，首次揭示了IFT在行進(jìn)途中碰撞、重組、掉頭等多種新行為；
圖5 | 利用rDL GI-SIM對內(nèi)質(zhì)網(wǎng)等結(jié)構(gòu)進(jìn)行動態(tài)觀測
（4）通過對cCAS-DNA與ER進(jìn)行雙色、長時(shí)程、超分辨成像，觀測到cGAS-DNA在保持與ER持續(xù)接觸過程中的定向運(yùn)動、轉(zhuǎn)向或擴(kuò)散等行為，拓展了對膜性細(xì)胞器與無膜細(xì)胞器相互作用機(jī)制的認(rèn)知；
（5）對HeLa 細(xì)胞分裂過程中的核仁磷酸蛋白（NPM1）、RNA聚合酶I亞基RPA49以及染色質(zhì)（H2B）進(jìn)行超長時(shí)程（12秒采集間隔，2.5小時(shí)以上）的三維超分辨活體成像，首次實(shí)現(xiàn)了對完整有絲分裂過程中NPM1與RPA49兩種結(jié)構(gòu)形態(tài)變化的三維超分辨活體連續(xù)觀測，揭示了細(xì)胞有絲分裂過程中核仁形成以及NPM1、RPA49兩種無膜亞細(xì)胞結(jié)構(gòu)的相變、互作規(guī)律；
圖6 | 利用TiS-rDL LLSM對高爾基體進(jìn)行高速三維觀測
（6）以10Hz的全細(xì)胞體成像幀率對高爾基體進(jìn)行了長達(dá)10,000時(shí)間點(diǎn)的連續(xù)拍攝，并實(shí)現(xiàn)了對完整細(xì)胞分裂過程內(nèi)質(zhì)網(wǎng)、溶酶體、線粒體等亞細(xì)胞結(jié)構(gòu)的三色、高速（秒量級）、超長時(shí)程（小時(shí)量級，>1000個(gè)時(shí)間點(diǎn)）三維觀測，深入探究了細(xì)胞有絲分裂過程中細(xì)胞器在子代細(xì)胞中的均勻分配機(jī)制。
綜上所述，李棟/戴瓊海合作團(tuán)隊(duì)通過人工智能算法與光學(xué)顯微成像技術(shù)的交叉創(chuàng)新，提出了一種合理化深度學(xué)習(xí)超分辨顯微成像框架，解決了現(xiàn)有深度學(xué)習(xí)成像方法分辨率損失、預(yù)測不確定性、訓(xùn)練集不易采集等難題，能夠?yàn)槎喾N活體顯微成像模態(tài)提供30倍以上的成像速度與時(shí)程的提升，為細(xì)胞生物學(xué)、發(fā)育生物學(xué)、神經(jīng)科學(xué)等領(lǐng)域的發(fā)展提供了重要的研究工具，而該研究團(tuán)隊(duì)所堅(jiān)持和倡導(dǎo)的人工智能算法與光學(xué)成像原理交叉創(chuàng)新、軟硬結(jié)合的研究思路也為現(xiàn)代光學(xué)顯微成像的發(fā)展開辟了新的技術(shù)路徑。
清華大學(xué)自動化系博士后喬暢、中國科學(xué)院生物物理所正高級工程師李迪、助理研究員劉勇、張思微為該論文共同第一作者，中國科學(xué)院生物物理所研究員李棟、清華大學(xué)自動化系教授戴瓊海和霍華德休斯醫(yī)學(xué)研究所研究員Jennifer Lippincott-Schwartz為共同通訊作者。
專家點(diǎn)評
徐濤/紀(jì)偉（中國科學(xué)院生物物理所）：
在2014年獲得諾貝爾化學(xué)獎后，超分辨顯微成像技術(shù)已經(jīng)成為研究細(xì)胞生物學(xué)、發(fā)育生物學(xué)等生命科學(xué)領(lǐng)域不可或缺的重要研究方向。結(jié)構(gòu)光照明超分辨顯微成像技術(shù)（SIM）在提升顯微成像分辨率的同時(shí)，依然能夠保持高成像速度和低光毒性，非常適合進(jìn)行活體超分辨顯微觀測。李棟/戴瓊海合作團(tuán)隊(duì)曾在去年提出傅立葉注意力神經(jīng)網(wǎng)絡(luò)和生成對抗網(wǎng)絡(luò)，在低信噪比條件下相較于傳統(tǒng)SIM取得了顯著的重建效果提升，從而拓展了超分辨成像的應(yīng)用范圍（報(bào)道鏈接：Nat Methods | 李棟/戴瓊海團(tuán)隊(duì)開發(fā)深度學(xué)習(xí)超分辨顯微成像方法）【1】。但對于端到端訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)來說，無論是圖像去噪還是超分辨重建，二者均為欠定問題（ill-posed problem），這也為深度神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果帶來了不確定性（uncertainty）——一個(gè)在生命科學(xué)研究中不能被忽略的問題。此外，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中的頻譜分量偏倚（spectral bias）特性，也使得神經(jīng)網(wǎng)絡(luò)無法充分重建出超分辨圖像的高頻細(xì)節(jié)，無法達(dá)到真值（GT-SIM）圖像的空間分辨率。
為解決上述問題，李棟/戴瓊海合作團(tuán)隊(duì)“另辟蹊徑”，將低信噪比條件下的SIM超分辨重建拆分為兩個(gè)子任務(wù)：保留調(diào)制信息的原始圖像去噪以及去噪后圖像的超分辨重建。對于第一個(gè)子任務(wù)，提出了一種SIM成像物理模型啟發(fā)的合理化深度學(xué)習(xí)圖像去噪算法（rDL SIM），在去噪的同時(shí)增強(qiáng)調(diào)制在低頻空間中的樣本高頻信息；對于第二個(gè)子任務(wù)，則使用經(jīng)典的解析算法將SIM圖像中高頻成分精確重建至正確頻域位置。這一重建方案的核心在于，神經(jīng)網(wǎng)絡(luò)只需要對原始圖像進(jìn)行去噪而無需進(jìn)行超分辨信息的預(yù)測，因而顯著降低了任務(wù)欠定性，同時(shí)由于去噪是在低頻空間中完成，避免了神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的頻譜分量偏倚問題。該技術(shù)的另一關(guān)鍵之處在于光學(xué)成像模型和成像先驗(yàn)信息的引入——借助SIM成像的物理模型巧妙地將結(jié)構(gòu)光調(diào)制圖案和光學(xué)傳遞函數(shù)（OTF）等先驗(yàn)信息融入到神經(jīng)網(wǎng)絡(luò)的預(yù)測和推斷過程，從而指導(dǎo)神經(jīng)網(wǎng)絡(luò)給出符合實(shí)際結(jié)構(gòu)光調(diào)制規(guī)律的去噪輸出。上述軟硬件深度融合的技術(shù)方法，使得rDL SIM技術(shù)可在低信噪比下獲得高質(zhì)量超分辨圖像，可用于生物問題的定量分析。借助所提出的rDL SIM技術(shù)，合作團(tuán)隊(duì)實(shí)現(xiàn)了目前最快且成像時(shí)程最長的超分辨活細(xì)胞觀測：684Hz超分辨成像速度和超過60,000個(gè)時(shí)間點(diǎn)的成像時(shí)程，并且對多種細(xì)胞生物學(xué)現(xiàn)象進(jìn)行了快速、長時(shí)程、超分辨活體觀測與定量分析，證明了rDL SIM發(fā)現(xiàn)全新生物規(guī)律的潛力和在生命科學(xué)領(lǐng)域的廣闊應(yīng)用前景。
此外，基于合理化深度學(xué)習(xí)概念中以物理和數(shù)據(jù)先驗(yàn)指導(dǎo)深度神經(jīng)網(wǎng)絡(luò)的思路，該合作團(tuán)隊(duì)還提出了時(shí)空交織采樣自監(jiān)督去噪方法（TiS/SiS-rDL），并應(yīng)用于自主開發(fā)的高速晶格光片顯微鏡（LLSM），利用生物數(shù)據(jù)自身的時(shí)空連續(xù)性，以待去噪數(shù)據(jù)本身完成神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，這在實(shí)際生物成像實(shí)驗(yàn)中可以極大程度地降低深度學(xué)習(xí)方法的使用成本。在細(xì)胞分裂過程中，內(nèi)質(zhì)網(wǎng)、染色體等亞細(xì)胞結(jié)構(gòu)會發(fā)生巨大的形態(tài)變化，因此很難采集到適配整個(gè)過程的理想訓(xùn)練集，而合作團(tuán)隊(duì)借助所提出的TiS/SiS-rDL LLSM技術(shù)巧妙地克服了這一難題，成功實(shí)現(xiàn)了對HeLa細(xì)胞有絲分裂過程中多種亞細(xì)胞結(jié)構(gòu)的高速、長時(shí)程、高分辨、多色成像，使得生物學(xué)家在更加精細(xì)的時(shí)空尺度下分析這一重要生命過程成為可能。TiS/SiS-rDL LLSM有望打破傳統(tǒng)成像技術(shù)和深度學(xué)習(xí)方法的使用局限，大幅拓寬光學(xué)成像技術(shù)在生命科學(xué)研究中的應(yīng)用范圍。
整體而言，rDL SIM與rDL LLSM共同構(gòu)成的合理化深度學(xué)習(xí)超分辨顯微成像技術(shù)（rDL-SRM）是超分辨活體顯微成像領(lǐng)域又一突破性進(jìn)展，它的出現(xiàn)將為細(xì)胞生物學(xué)、發(fā)育生物學(xué)等領(lǐng)域的研究創(chuàng)造更多可能性。
專家點(diǎn)評
田捷（北京航空航天大學(xué)醫(yī)工交叉創(chuàng)新研究院）
自17世紀(jì)列文虎克利用自己組裝的復(fù)式顯微鏡為人類打開微觀世界大門之后，顯微成像領(lǐng)域已經(jīng)發(fā)生了深遠(yuǎn)的變革。近年來，以深度學(xué)習(xí)為代表的人工智能發(fā)展為傳統(tǒng)顯微成像領(lǐng)域帶來新的技術(shù)進(jìn)步契機(jī)，深度學(xué)習(xí)與光學(xué)顯微成像的交叉方向也成為領(lǐng)域內(nèi)的一大研究熱點(diǎn)。自2016年以來，深度學(xué)習(xí)越來越多地被用于對生物顯微圖像進(jìn)行去噪、超分辨預(yù)測或重建，以較低的采集代價(jià)來獲取更高信噪比或分辨率的圖像，從而提升整體成像速度與時(shí)程，幫助生命科學(xué)家以更高的時(shí)空分辨率和更廣的時(shí)間窗跨度來研究細(xì)胞生物學(xué)、發(fā)育生物學(xué)和神經(jīng)科學(xué)問題【2】。但與此同時(shí)，科學(xué)成像是一項(xiàng)追求真實(shí)和嚴(yán)謹(jǐn)?shù)娜蝿?wù)，所謂“眼見為實(shí)”，成像數(shù)據(jù)的真實(shí)性對于生命科學(xué)研究來說至關(guān)重要，而不能僅僅追求圖像視覺效果的提升。這也為深度學(xué)習(xí)在光學(xué)顯微成像中的結(jié)合與應(yīng)用帶來更嚴(yán)苛的標(biāo)準(zhǔn)和更大的挑戰(zhàn)。
李棟/戴瓊海合作團(tuán)隊(duì)在這一問題上態(tài)度非常嚴(yán)謹(jǐn)，該研究團(tuán)隊(duì)為系統(tǒng)測評現(xiàn)有基于深度學(xué)習(xí)的超分辨成像方法的性能極限，曾在2021年利用自主搭建的多模態(tài)結(jié)構(gòu)光照明顯微鏡（multi-SIM）【3, 4】構(gòu)建了生物結(jié)構(gòu)的超分辨顯微圖像的公開數(shù)據(jù)集BioSR（DOI：10.6084/m9.figshare.13264793），并提出了矩陣測評分析方法（assessment matrix），將現(xiàn)有典型超分辨神經(jīng)網(wǎng)絡(luò)的重建結(jié)果與傳統(tǒng)SIM重建進(jìn)行系統(tǒng)比較與分析，標(biāo)定出深度學(xué)習(xí)超分辨方法的適用成像范圍【1】。但即使是在適用條件范圍內(nèi)，現(xiàn)有基于深度學(xué)習(xí)的超分辨算法依然存在輸出不確定性、高頻細(xì)節(jié)模糊與訓(xùn)練集難以采集這三大困境。為此，該研究團(tuán)隊(duì)在最新發(fā)表的NBT文章中提出一套融合光學(xué)成像物理模型的神經(jīng)網(wǎng)絡(luò)架構(gòu)，命名為合理化深度學(xué)習(xí)（rDL）顯微成像方法，利用特定成像模態(tài)的系統(tǒng)和數(shù)據(jù)先驗(yàn)，指導(dǎo)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和預(yù)測過程，從而實(shí)現(xiàn)弱光條件下對于SIM圖像的高質(zhì)量、高保真超分辨重建，以及對于多種模態(tài)成像數(shù)據(jù)的完全自監(jiān)督去噪。利用rDL方法和自主搭建的顯微成像儀器，該團(tuán)隊(duì)開展了包括TIRF/GI-SIM、LLS-SIM、LLSM等多種模態(tài)下的快速、長時(shí)程、高分辨活體成像實(shí)驗(yàn)，驗(yàn)證了所提出rDL成像方法的有效性和其在生命科學(xué)研究中的巨大應(yīng)用前景。
最后需要指出的是，當(dāng)今深度學(xué)習(xí)算法在計(jì)算機(jī)視覺等領(lǐng)域發(fā)展迅速，但簡單地將深度學(xué)習(xí)算法搬移至顯微成像領(lǐng)域無法從根本上促進(jìn)顯微成像技術(shù)的發(fā)展。在這一點(diǎn)上，rDL成像方法的巧妙之處在于充分利用了光學(xué)成像的物理模型和相關(guān)先驗(yàn)信息來構(gòu)建深度神經(jīng)網(wǎng)絡(luò)架構(gòu)、啟發(fā)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與推理策略，從而實(shí)現(xiàn)了僅憑深度學(xué)習(xí)算法或成像硬件改進(jìn)無法完成的成像性能提升，是人工智能與光學(xué)顯微成像技術(shù)交叉創(chuàng)新的典型成功范例。在未來，人工智能技術(shù)與光學(xué)顯微成像學(xué)科交叉、軟硬件深度融合的創(chuàng)新思路將有望引領(lǐng)新一輪顯微成像技術(shù)的變革。
原文鏈接：https://doi.org/10.1038/s41587-022-01471-3
參考文獻(xiàn)
1. Qiao, C. et al. Evaluation and development of deep neural networks for image super-resolution in optical microscopy. Nature Methods18, 194-202 (2021).
2. Weigert, M. et al. Content-aware image restoration: pushing the limits of fluorescence microscopy.Nat Methods15, 1090-1097 (2018).
3. Li, D. et al. Extended-resolution structured illumination imaging of endocytic and cytoskeletal dynamics. Science 349, aab3500 (2015).
4. Guo, Y. et al. Visualizing Intracellular Organelle and Cytoskeletal Interactions at Nanoscale Resolution on Millisecond Timescales. Cell175, 1430-1442 e1417 (2018).
