空間光調制器是一種可以在外部信號的控制下實時對入射光的振幅、相位及偏振態(tài)進行調制的動態(tài)元器件。將空間光調制器應用在散射成像領域，既可以用來替代傳統(tǒng)的毛玻璃來產生贗熱光場，也可以用做目標物體進行散射成像的研究，空間光調制器的應用，對散射光場調控實現了主動性和可操作性。

論文信息

光學記憶效應在復雜散射介質中，包括渾濁組織和斑點層，一直是宏觀和微觀成像方法的關鍵基礎。然而，在沒有光學記憶效應的強散射介質中實現圖像重建尚未成功。為此，本文通過開發(fā)一種多級卷積光神經網絡（ONN），該網絡集成了多個以光速運行的并行核，展示了在無光學記憶效應的散射層中進行圖像重建的能力。基于傅里葉光學、并行、一步卷積ONN訓練，直接提取特征，實現了無記憶圖像重建，視場擴大了高達271倍。該設備可動態(tài)重新配置，用于超快多任務圖像重建，計算能力達到每秒1.57peta操作（POPS），成功建立了一個超快速且高效的圖形處理光學機器學習平臺。

部分實驗過程及實驗結果

卷積ONN的實驗設置如圖1所示。實驗中使用反射式強度型調制器SLM0（我司型號FSLM-HD70-A/P，像素大小8μm，1920×1080）來生成卷積ONN的可編程像素級輸入。然后，由SLM0調制的光場通過一個4f系統(tǒng)被傳遞到卷積ONN的輸入平面上。4f系統(tǒng)由兩個焦距分別為100 mm（L1）和50 mm（L2）的鏡頭組成，用于為編碼成SLM0的物體提供0.5倍的放大倍數。然后，將輸入平面發(fā)送到三層卷積ONN中進行進一步處理。卷積ONN由三個相位型調制器SLMs（我司型號FSLM-4K70-P02）組成，相位型SLMs有4094×2400像素，像素大小為3.74μm×3.74μm。第一個卷積層被編碼為SLM1，輸入平面與SLM1之間的距離為10cm。經過SLM1調制后，光束通過分束器BS2和BS3的反射傳輸到SLM2。第二個卷積層被編碼成SLM2，以及SLM1和SLM2是20cm。然后，將由SLM2調制的光束傳輸到SLM3。第三個全連接層被編碼到SLM3中，SLM2與SLM3之間的距離為10 cm。由SLM3調制的光束通過分束器BS4的反射傳播到卷積ONN的輸出平面上，SLM3與輸出平面之間的距離為20cm。采集相機（像素大小4.8μm，1280×1024）放置在卷積ONN的輸出平面上，記錄推理結果。需要注意的是，卷積ONN的不同層之間的不對齊會顯著降低其性能。

圖1 三層卷積網絡ONN的實驗裝置示意圖。(A)卷積ONN的每一層的參數和坐標。(B)卷積ONN的實驗裝置。M，反射鏡；POL，線性偏振器；BS，分束器；L，透鏡；SLM，空間光調制器。

圖2 通過散射層堆疊實現無記憶圖像重建的機制。(A)通過多個散射片的散射示意圖。每個散射片可以建模為一個薄的散射層，N表示散射片的數量，d表示散射片之間的間距。(B)不同散射情況下生成的斑點圖案。左側圖比較了光學記憶效應（N = 1，d = 0）和無光學記憶效應（N > 1，d > 0）的斑點。右側圖展示了每種情況下的角相關曲線，虛直線表示單個平面玻璃層的角相關曲線。這些曲線的半高寬決定了成像的視場。(C)在三層卷積ONN中無記憶圖像重建的概念。

圖3 光學卷積神經網絡原理。(A)三層卷積ONN由兩層光學卷積層和一層光學全連接層組成。(B)第一卷積層的結構包含九種不同的核。每個核包括三種結構：渦旋相位、隨機相位和光柵相位。(C)第二卷積層的相位結構分為3×3區(qū)域。每個區(qū)域的相位通過與第一卷積層相同的過程構建，從而產生81個核。(D)基于MNIST和FashionMNIST數據集的推理分類任務中訓練的卷積ONN性能。上圖展示了每種情況下的學習曲線。下圖展示了卷積ONN輸出平面上的實驗分類結果，紅色虛線方塊表示為相應數字訓練的檢測器區(qū)域。

圖4 實驗驗證無記憶圖像重建。(A)訓練的具有兩個散射層（N = 2）的卷積ONN的實驗重建結果。第一行顯示了物體的真實圖像，第二至第四行分別對應d = 3 cm、d = 4 cm和d = 5 cm的重建結果。(B)訓練的具有多個散射層（N > 2）的卷積ONN的實驗重建結果。第一至第四行分別對應N = 2、3、4和5的情況。(C)展示了渦旋相位對卷積ONN的影響。右側圖比較了在散射情況d = 5 cm下，有無渦旋相位的卷積核曲線和重建結果。左側圖表明，不同的渦旋相位結構可用于提取輸入物體的不同方向邊緣信息。

圖5可訓練卷積ONN的動態(tài)和多任務性能演示。(A)使用卷積ONN進行無記憶圖像重建的動態(tài)推理過程（S1和S2)。輸入斑點圖案加載到60Hz的SLM上。(B)在S3中展示了兩個任務的卷積ONN框架，用于視頻幀多任務推理以實現無記憶圖像重建，第三層全連接光柵的輪廓見圖S17。

本實驗中所采用振幅型空間光調制器的參數規(guī)格如下：

本實驗中所采用相位型空間光調制器的參數規(guī)格如下：

寫在最后

在計算成像領域，光學神經網絡已經被廣泛用于解決鬼成像、數字全息、傅里葉疊層顯微等領域的問題。同時，深度學習強大的數據擬合能力和優(yōu)化求解能力也在散射成像領域發(fā)揮著巨大的作用。隨著空間光調制器的精細化調制和精準控制，空間光調制器與光學神經網絡結合將會摩擦出更多的火花。

文章信息：

DOI: 10.1126/sciadv.adn2205

審核編輯 黃宇