“在科研之中，使用該技術(shù)有望發(fā)展出小型化的成像系統(tǒng)，以便安裝在活體動(dòng)物上，進(jìn)而有望對(duì)模型哺乳動(dòng)物器官進(jìn)行實(shí)時(shí)成像；在臨床應(yīng)用中，該技術(shù)有望發(fā)展成更安全的內(nèi)窺鏡系統(tǒng)，以用于臨床診斷或輔助手術(shù)操作。”MIT 博士后趙建表示。

(資料圖)

來到 MIT 之前，他在美國中佛羅里達(dá)大學(xué)光學(xué)與激光教育研究中心（CREOL，Center for Research and Education in Optics and Lasers）獲得博士學(xué)位。其表示：“美國只有三個(gè)大學(xué)可以授予光學(xué)與光子學(xué)博士學(xué)位，CREOL 便是其中之一。CREOL 的光學(xué)項(xiàng)目在全美排名第九名，在這里可以學(xué)習(xí)到豐富的光學(xué)課程以及受到完備和扎實(shí)的學(xué)術(shù)訓(xùn)練。”

圖 | 趙建（來源：趙建）

正是在 CREOL 讀博期間，他和當(dāng)時(shí)所在的團(tuán)隊(duì)研發(fā)出基于非監(jiān)督學(xué)習(xí)的新型光纖成像系統(tǒng)方案——Restore-CycleGAN-GALOF，也就是本文開頭提到的新技術(shù)。

這項(xiàng)新技術(shù)的研究背景在于，考慮到光纖成像系統(tǒng)（Fiber-Optic Imaging System, FOIS）的重要價(jià)值、以及此前的技術(shù)瓶頸，趙建等人研發(fā)了 Restore-CycleGAN-GALOF 的方案。

（來源：Light: Science & Applications）

無論是在硬件設(shè)計(jì)上，還是在深度學(xué)習(xí)算法上，該方案均具有一定創(chuàng)新之處。

在硬件設(shè)計(jì)上，課題組采用安德森局域光纖（GALOF）作為核心光纖器件。GALOF 具有隨機(jī)的微結(jié)構(gòu)、以及極高的魯棒性，在光學(xué)圖像信息傳輸過程中，可以非常穩(wěn)定地承受較強(qiáng)的光纖機(jī)械彎折和光纖溫度變化。

同時(shí)，GALOF 也能兼容寬光譜的光源，而且擁有很高的信息傳輸密度。在 GALOF 的基礎(chǔ)之上，該團(tuán)隊(duì)進(jìn)一步開發(fā)了透射式和反射式兩種成像系統(tǒng)。

在深度學(xué)習(xí)算法上，通過采用非監(jiān)督學(xué)習(xí)的循環(huán)生成對(duì)抗網(wǎng)絡(luò)（CycleGAN），課題組開發(fā)了適合 GALOF 系統(tǒng)的 Restore-CycleGAN 深度學(xué)習(xí)模型，并將其用于圖像的重建。

這種基于非監(jiān)督學(xué)習(xí)的新模型，突破了基于監(jiān)督學(xué)習(xí)的光纖成像系統(tǒng)的技術(shù)瓶頸。通過將 Restore-CycleGAN 與 GALOF 成像系統(tǒng)進(jìn)行有機(jī)結(jié)合，當(dāng)采用此次新方案進(jìn)行模型訓(xùn)練時(shí)，無需依賴嚴(yán)格標(biāo)記的訓(xùn)練圖像，并能極大減小所需要的圖像數(shù)量。

詳細(xì)來說，Restore-CycleGAN-GALOF 方案使用 1000 組無標(biāo)記的訓(xùn)練圖像，只需單次訓(xùn)練即可針對(duì)不同實(shí)驗(yàn)條件下的生物樣本，進(jìn)行高質(zhì)量的彩色圖像傳輸。

相比基于監(jiān)督學(xué)習(xí)的方案，Restore-CycleGAN-GALOF 方案在大大減少重復(fù)訓(xùn)練次數(shù)的同時(shí)，還能將訓(xùn)練圖像的數(shù)量至少壓縮十倍。

這種基于單次、無標(biāo)記、小數(shù)據(jù)集的模型訓(xùn)練方法，可以顯著提高成像速度，簡化實(shí)驗(yàn)系統(tǒng)和實(shí)驗(yàn)步驟，能夠更好地滿足實(shí)際需要。

基于非監(jiān)督學(xué)習(xí)模型 Restore-CycleGAN，研究人員在大角度光纖機(jī)械彎折、以及樣品距離變化的情況之下，實(shí)現(xiàn)了彩色圖像的高質(zhì)量傳輸。

這種高魯棒性的特點(diǎn)，非常適合用于復(fù)雜活體器官腔體之內(nèi)的成像。

（來源：Light: Science & Applications）

進(jìn)一步地，課題組還通過實(shí)驗(yàn)證明在不顯著增加訓(xùn)練圖像數(shù)量的情況下，他們的非監(jiān)督學(xué)習(xí)方案也可以提高光纖圖像重建的普適性。而這種普適性使得這種新方法可以有效應(yīng)對(duì)訓(xùn)練圖像數(shù)據(jù)中未曾出現(xiàn)過的樣本，也可以提高數(shù)據(jù)采集的速度，以及簡化實(shí)驗(yàn)裝置和步驟。

日前，相關(guān)論文以《基于無序光纖的無監(jiān)督全彩細(xì)胞圖像重建》（Unsupervised full-color cellular image reconstruction through disordered optical fiber）為題發(fā)在 Light: Science & Applications上[1]，胡瀟文是第一作者，趙建擔(dān)任通訊作者。

圖 | 相關(guān)論文（來源：Light: Science & Applications）

光纖成像系統(tǒng)的重要性

盡管本次新方案使用了深度學(xué)習(xí)技術(shù)，但其本質(zhì)還是一款光纖成像系統(tǒng)。那么，該類系統(tǒng)到底有著怎樣的重要性？

由于生物成像的對(duì)象和環(huán)境存在多樣性的特點(diǎn)，人們曾研發(fā)出多種生物成像光學(xué)儀器，比如熒光顯微鏡、相干拉曼顯微鏡、相位顯微鏡等。

在各種不同類型的成像系統(tǒng)中，光纖成像系統(tǒng)在某些特殊的生物成像環(huán)境中，扮演著不可替代的重要作用。

具體來講，在臨床應(yīng)用和科研之中，人們經(jīng)常需要深入活體動(dòng)物的器官腔體內(nèi)部或侵入動(dòng)物的大腦皮層深處，去采集細(xì)胞和組織的圖像。

這些特殊的成像環(huán)境和成像對(duì)象，要求光學(xué)成像系統(tǒng)必須具備以下特點(diǎn)：圖像采集部分體積小、對(duì)生物體的損傷小。同時(shí)，還要求所采集的圖像數(shù)據(jù)，能夠沿著變化的路徑，長距離地傳輸?shù)缴矬w外。

因此，很多常見的成像系統(tǒng)例如光學(xué)顯微鏡，受限于體積或圖像傳輸方式，很難滿足以上要求。

與其他方案相比，光纖成像系統(tǒng)可以有效應(yīng)對(duì)上述苛刻的生物成像環(huán)境。

光纖直徑一般在一百微米到幾百微米之間，與其配套的光學(xué)元器件尺寸，也大多在幾百微米到幾毫米之間，這可以最大限度地減小對(duì)于生物體的損傷，因此特別適合對(duì)器官腔體內(nèi)部或?qū)嶒?yàn)動(dòng)物的大腦皮層進(jìn)行成像。

更重要的是，光纖本身具有極高的柔韌性和超長的光學(xué)信號(hào)傳輸距離，因此可以滿足特殊成像環(huán)境之下絕大部分的光學(xué)圖像數(shù)據(jù)傳輸。由此可見在臨床醫(yī)學(xué)和生物科研中，光纖成像系統(tǒng)有著巨大的潛在價(jià)值。

（來源：Light: Science & Applications）

光纖成像系統(tǒng)面臨的挑戰(zhàn)

此前，光纖成像系統(tǒng)面臨的挑戰(zhàn)主要來自光纖器件和圖像重建算法。在現(xiàn)有解決方案之中，兩種最常見的方案是多模光纖（Multimode Optical Fiber, MMF）和相干光纖束（Coherent Fiber Bundle, CFB）。

這兩種光纖都是成熟的商業(yè)化產(chǎn)品，成本也較低。而且，基于多模光纖和相干光纖束的解決方案，已經(jīng)在成像方面取得較大進(jìn)展。尤其是多模光纖的直徑多數(shù)在 200 微米左右，因此可以最大限度地降低侵入損傷。

但是，二者又面臨著光纖器件本身帶來的局限性。多模光纖所面臨的最大挑戰(zhàn)在于，它對(duì)外界的微小擾動(dòng)呈現(xiàn)出高度敏感性，任何微小的光纖曲度變化或環(huán)境溫度變化，都會(huì)顯著地改變光學(xué)圖像數(shù)據(jù)的傳輸過程，因此基于多模光纖打造的成像系統(tǒng)，存在魯棒性不佳的缺點(diǎn)。

在實(shí)際的生物成像中，基于多模光纖的方案一般把光纖長度局限在幾厘米左右，只有這樣才能提高魯棒性。

對(duì)于相干光纖束來說，其傳輸圖像的方式是把光纖束中每一個(gè)單獨(dú)的纖芯作為一個(gè)像素來傳遞信息。盡管這種方式更加簡單，但是單位面積內(nèi)的信息傳輸密度相對(duì)較低。

并且，相鄰的纖芯之間存在倏逝波耦合的問題，為了減小倏逝波耦合，針對(duì)相干光纖束的設(shè)計(jì)必須滿足以下兩個(gè)條件：其一要保持每根纖芯之間的間距，這就導(dǎo)致光纖直徑比較大，大多在幾百微米到幾毫米之間；其二，在這種方案中只能對(duì)某一個(gè)波段優(yōu)化，因此很難適應(yīng)于寬光譜的光源。

而在圖像算法上，傳統(tǒng)的基于物理模型的方法，存在圖像重建質(zhì)量不高的問題，所以難以高質(zhì)量地處理復(fù)雜的生物圖像。

近年來，基于深度學(xué)習(xí)的算法，人們在光纖成像系統(tǒng)的圖像重建上取得了不少成果。采用深度學(xué)習(xí)算法的好處在于，既能處理光纖系統(tǒng)所對(duì)應(yīng)的復(fù)雜物理過程，又能得到高質(zhì)量的生物圖像。

盡管已經(jīng)取得了長足的進(jìn)步，但是現(xiàn)有的深度學(xué)習(xí)方案大多基于監(jiān)督學(xué)習(xí)，因此需要大量嚴(yán)格標(biāo)記的圖像數(shù)據(jù)，以便進(jìn)行深度學(xué)習(xí)模型的訓(xùn)練。

這給實(shí)驗(yàn)系統(tǒng)的設(shè)計(jì)、校準(zhǔn)和數(shù)據(jù)采集，帶來了極大的負(fù)擔(dān)。既增加了系統(tǒng)結(jié)構(gòu)和系統(tǒng)校準(zhǔn)的復(fù)雜度，又延長了數(shù)據(jù)的采集時(shí)間，嚴(yán)重阻礙著基于深度學(xué)習(xí)的光纖成像系統(tǒng)的推廣。

（來源：Light: Science & Applications）

一個(gè) YouTube 視頻帶來的靈感

正是基于這樣的背景，趙建開展了本次研究。

2016 年夏，趙建加入美國中佛羅里達(dá)大學(xué)阿克塞爾·舒爾茨根（Axel Schülzgen）教授課題組，后者讓趙建研究基于玻璃和空氣結(jié)構(gòu)的安德森局域光纖及其潛在應(yīng)用。

更早之前，Axel 的合作者新墨西哥大學(xué)的阿瑞仕·馬斐（ Arash Mafi）教授，研發(fā)了基于高分子聚合物材料的安德森局域光纖。

那時(shí)，Arash 團(tuán)隊(duì)初步證實(shí)了安德森局域光纖的圖像傳輸能力，并證明光纖內(nèi)的模式是以單模為主，因此具有較高的魯棒性。

但是，由高分子聚合物材料構(gòu)成的光纖，在可見光波段的功率損耗極大，傳播距離也比較短，所能傳輸和展示的圖像也僅僅局限于簡單的黑白雙色數(shù)字圖像。

因此，要想研究安德森局域光纖的相關(guān)物理問題，并推動(dòng)它在實(shí)際光纖成像中的應(yīng)用，就必須發(fā)展基于玻璃材料的安德森局域光纖。

盡管 Arash 團(tuán)隊(duì)曾研究過玻璃的安德森局域光纖，但是受限于制作工藝，只有在光纖橫截面的某些局部區(qū)域，他們的玻璃光纖器件才能觀察到安德森局域現(xiàn)象，而這遠(yuǎn)遠(yuǎn)無法用于圖像傳輸。

在趙建接手這個(gè)項(xiàng)目之后，他調(diào)研了一些相關(guān)文獻(xiàn)，并和中佛羅里達(dá)大學(xué)的羅德里戈·阿梅茲夸·科雷亞（Rodrigo Amezcua Correa ）教授團(tuán)隊(duì)開展合作。

經(jīng)過多次嘗試之后，趙建等人終于找到正確的方法，來制作具有圖像傳輸功能的高質(zhì)量 GALOF 光纖。期間，他們造出了第一種能用于實(shí)際光纖成像的 GALOF。

在 GALOF 的幫助之下，他們初步搭建了透射式的圖像傳輸系統(tǒng)。而在光學(xué)圖像傳輸過程之中，光纖的機(jī)械彎折和溫度變化也具有不錯(cuò)的穩(wěn)定性，并且圖像傳輸?shù)馁|(zhì)量超過了傳統(tǒng)光纖。

趙建的合作者也證明：GALOF 內(nèi)部是以單模為主，其局域模式即便在很寬的光譜范圍內(nèi)，也不會(huì)發(fā)生較大變化，這意味著 GALOF 具備高質(zhì)量傳輸圖像的巨大潛力。

大約六年之前，在圖像的處理上，深度卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)大放異彩。但是，當(dāng)時(shí)在光學(xué)上的應(yīng)用仍是方興未艾。

與此同時(shí)，該團(tuán)隊(duì)也意識(shí)到采用傳統(tǒng)的圖像處理方法，很難得到理想的光纖圖像重建結(jié)果。

為此，他們開發(fā)了基于監(jiān)督學(xué)習(xí)的 U-Net 模型架構(gòu)，進(jìn)一步地研發(fā)了 GALOF 透射式成像系統(tǒng)，可以高質(zhì)量地傳輸復(fù)雜的生物圖像。

在光纖大角度機(jī)械彎折、光纖溫度變化、以及樣品距離變化的情況下，課題組進(jìn)一步證明基于監(jiān)督學(xué)習(xí)的 GALOF 成像系統(tǒng)，在圖像傳輸中具有優(yōu)越的魯棒性。

（來源：Light: Science & Applications）

之后，趙建意識(shí)到監(jiān)督學(xué)習(xí)模型在光纖成像中的局限性。2019 年，他開始關(guān)注生成對(duì)抗網(wǎng)絡(luò)（Generative adversarial network，GAN）技術(shù)、以及各種衍生技術(shù)的發(fā)展。

作為生成對(duì)抗網(wǎng)絡(luò)的衍生技術(shù)，CyleGAN 技術(shù)可以助推非監(jiān)督學(xué)習(xí)光纖成像系統(tǒng)的研發(fā)。如前所述，基于監(jiān)督學(xué)習(xí)模型的方案存在種種弊端。而采用 CyleGAN 技術(shù)研發(fā)的方案，可以克服上述不足。

而決定采用 CyleGAN 技術(shù)，也來源于趙建的一次視頻學(xué)習(xí)經(jīng)歷。他說：“有一天，我在看一個(gè)關(guān)于 CycleGAN 的視頻，忽然意識(shí)到這或許可以用來生成非監(jiān)督學(xué)習(xí)的 GALOF 光纖成像解決方案。當(dāng)時(shí)，我已經(jīng)完成了反射式的系統(tǒng)并且擁有一些實(shí)驗(yàn)數(shù)據(jù)。于是，我試著寫了代碼并用一些黑白雙色數(shù)字圖像的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行測試，而這也是此次工作的最初起源?！?/span>

于是，在研發(fā) GALOF 成像系統(tǒng)的基礎(chǔ)之上，他們進(jìn)一步開發(fā)了 Restore-CycleGAN-GALOF 方案，該方案基于非監(jiān)督學(xué)習(xí) Restore-CycleGAN 的架構(gòu)。

此外，趙建等人還研發(fā)出透射式和反射式兩種系統(tǒng)，在單次、小樣本、無標(biāo)記的模型訓(xùn)練基礎(chǔ)之上，實(shí)現(xiàn)了高質(zhì)量、高魯棒性、高普適性的彩色生物圖像傳輸。

2019 年秋天，趙建的師弟胡瀟文開始接棒，后者推進(jìn)并完成了基于 CyleGAN 架構(gòu)的非監(jiān)督學(xué)習(xí) GALOF 成像工作。

趙建表示：“瀟文最重要的貢獻(xiàn)在于開發(fā)了 Restore-CycleGAN 模型以及數(shù)據(jù)預(yù)處理的方法，借此徹底實(shí)現(xiàn)了彩色的高質(zhì)量光纖生物成像?！?/span>

此外，胡瀟文還發(fā)展了新的反射式實(shí)驗(yàn)裝置，該裝置的意義在于它比透射式的裝置更加符合生物學(xué)成像的實(shí)際需求。此前胡瀟文已經(jīng)獲得博士學(xué)位，目前就職于位于美國加州的荷蘭光刻機(jī)公司 ASML。

接下來，趙建及其所在團(tuán)隊(duì)將進(jìn)一步優(yōu)化 GALOF 的制造工藝，通過改善器件性能，來發(fā)展更緊湊的小型化器件，并將發(fā)展對(duì)應(yīng)的新型非監(jiān)督學(xué)習(xí)算法，以便提高系統(tǒng)對(duì)于實(shí)際生物成像的適應(yīng)性，同時(shí)提高對(duì)應(yīng)的成像表現(xiàn)。此外，課題組未來還將展開動(dòng)物成像的研究，從固定的細(xì)胞和組織樣品邁向活體模型動(dòng)物。

參考資料：

1.Hu, X., Zhao, J., Antonio-Lopez, J.E. et al. Unsupervised full-color cellular image reconstruction through disordered optical fiber.Light Sci Appl 12, 125 (2023). https://doi.org/10.1038/s41377-023-01183-6