通過深度學習提高圖像質量的技術說明

技術說明
通過深度學習(xi) 提高圖像質量
利用殘差通道注意力網絡（RCAN）還原和增強容積延時熒光顯微鏡數據
Authors
作者
Luciano Lucas博士 
總監——Aivia
徠卡顯微係統，德國韋茨拉爾
Quyen Tran博士 
科學應用與(yu) 市場經理——Aivia 
徠卡顯微係統，美國貝爾維尤
Hoyin Lai
內(nei) 容營銷經理/高級應用專(zhuan) 員——Aivia
徠卡顯微係統，美國貝爾維尤
AIVIA - IMAGE RESTORATION WITH 3D RCAN NETWORKS
AIVIA - 利用3D RCAN還原圖像

雙色共焦圖像的分辨率增強。訓練用的原始圖像在Leica SP8係統上拍攝，（A）共焦模式的核孔複合物（白色）和微管（綠色）；（B）STED模式拍攝的圖像。（C）使用深度學習(xi) 模型將共焦圖像的空間分辨率提升到接近STED質量。
對於(yu) 收集到的活細胞3D數據，3D RCAN可以有效避免光漂白，允許我們(men) 拍攝長時間的超分辨率3D圖像數據。 實際應用中，圖像分辨率非常好，我們(men) 甚至能夠在3D圖像中長時間觀察到線粒體(ti) 和囊泡的相互作用。 3D RCAN的圖像去模糊效果也比其他測試方法更好。 

我們(men) 還使用受激發射損耗（STED）拍攝的實驗數據來訓練RCAN模型，用以測試RCAN的性能。相比共聚焦的空間分辨率，RCAN在多個(ge) 固定或活細胞樣品中實現了2.5倍的提升，與(yu) STED的提升效果類似。值得注意的是，反卷積共聚焦數據無法實現類似的分辨率提升。 

研究人員還開發了將RCAN與(yu) 膨脹顯微術（expansion microscopy）相結合以提升iSIM分辨率的方案。 在細胞爬片樣本，線粒體(ti) 和微管動力學的4D研究中，這種方法可以實現1.9倍的橫向分辨率和3.6倍的軸向分辨率提升。 需要注意的是，膨脹顯微術不能應用於(yu) 活體(ti) 樣本成像。 

基於(yu) 這些結果，作者認為(wei) ，相比現有方法（例如光片顯微鏡和轉盤共聚焦成像設備），3D RCAN與(yu) 高分辨率、多噪點的共聚焦顯微鏡或iSIM相結合可以成為(wei) 3D活細胞成像的精妙方案。作者還在考慮使用這種方法進一步改善其他顯微成像模式。

表達EGFP-Tomm20的U20S活細胞圖像。高放大倍率視圖，原始iSIM、去卷積iSIM和 RCAN預測進行比較。紅色剪頭表明RCAN可以比iSIM更好地解析線粒體(ti) 。圖片來源：Nature Methods
如何使用3D RCAN模式
在GitHub和我們(men) 的網頁上可以找到代碼、數據以及經過訓練的深度學習(xi) 模式。此外，我們(men) 還在Aivia中部署了所有預訓練模型，因此每個(ge) 人都能將其輕鬆用於(yu) 自己的數據。Aivia用戶還可以添加訓練數據，以針對自己的成像/采樣工作優(you) 化我們(men) 的預訓練模型。
本項研究刊載於(yu) 2021年6月出版的《Nature Methods》雜誌上。