以深度學習為代表的人工智能技術發展迅猛，已為計算機視覺、自然語言處理、自動駕駛、生命科學等領域帶來巨大變革。然而，隨著晶體管物理尺寸逼近極限，電子計算性能提升面臨瓶頸，運行大規模深度神經模型亟需新的計算范式。

利用光子作為計算的載體，具備高速、高通量、低功耗的優勢。構建光子神經網絡并實現光電融合的計算處理器，如光學衍射神經網絡、光子干涉神經網絡、光子脈沖神經網絡等，已經在語音識別、圖像分類等人工智能任務中取得重要進展，光子計算有望引領全新的人工智能計算范式，在信息技術前沿研究領域引起了廣泛興趣。

然而，現有的光子神經網絡都只探索了向量、矩陣等規則形式的數據結構，而不能處理圖（Graph）等非歐氏空間數據結構。眾多科學領域分析的數據都超越了歐氏空間范疇。其中，圖結構數據作為一個典型的代表，能夠編碼復雜系統中節點之間豐富的關系，已在動作識別、推薦系統、交通網絡、化學分子性質預測等領域取得廣泛應用。 ?

基于課題組在智能光電計算領域的積累（Nature Photonics 2021 [4], Physical Review Letters 2019 [5]），2022年6月15日，清華大學戴瓊海院士團隊與上海交通大學熊紅凱教授團隊合作在 Science Advances 雜志在線發表了題為“All-optical graph representation learning using integrated diffractive photonic computing units”的研究論文，基于衍射光子計算單元（DPU）和硅基片上光電子器件庫，提出了衍射光學圖神經網絡架構（Diffractive Graph Neural Network，DGNN）。 ?

DGNN 能夠全光學學習圖節點信息和結構特征，在 Cora-ML，Citeseer，Amazon Photo 等基準數據集上取得與電子圖神經網絡相當的性能，打開了利用集成光子芯片高效處理大規模圖結構數據的新思路。 ?

清華大學自動化系博士生嚴濤、上海交通大學電子工程系博士生楊睿為該論文共同第一作者；清華大學電子工程系林星助理教授、上海交通大學電子工程系熊紅凱教授、清華大學自動化系戴瓊海教授為該論文共同通訊作者。

?

DGNN 基于消息傳遞的思想，通過 DPU 實現可訓練的變換矩陣，提取節點特征生成消息。通過光波導及波導耦合傳遞消息到相鄰圖節點并聚合節點特征。最后通過多頭（Muti-head）策略生成圖的拓撲特征，應用于節點分類和圖分類等任務。其中，DPU模塊使用一維衍射線（Metaline）超表面結構作為衍射層來調制輸入光場，多條衍射線級聯構成衍射網絡以實現光學特征提取。

每條衍射線由在硅-絕緣體（SOI）襯底的硅上蝕刻的矩形二氧化硅槽陣列構成，每個二氧化硅槽被稱為超原子（Meta-atom），其對光場的幅度和相位調制系數由矩形槽的高度和寬度決定。DPU 模塊既可以在水平方向并行擴展，來增加感受野，捕捉任意數量相鄰節點的復雜特征，也可以在垂直方向上并行擴展，來提取更高維度的節點特征，提升學習能力。此外，相比采用其它片上光子計算器件，如干涉儀等，基于一維超表面結構的 DPU 模塊能夠實現更高集成度。

圖1：DGNN原理與結構示意圖。（A）具有6個節點和5條邊的圖結構。（B）圖節點消息傳遞機制。（C）基于片上衍射計算單元的全光學圖特征學習。（D）基于多頭策略的圖節點分類。 ?

為了驗證方法的準確性和可靠性，作者首先將 DGNN 應用于合成的隨機塊模型（SBM）圖數據集。DPU 會根據每個目標節點的三維節點屬性生成一個二維神經消息，通過波導聚合不同數量鄰接節點的特征來表示目標節點，再通過訓練輸出分類器，執行半監督圖節點分類任務。作者利用有限差分時域（FDTD）方法和角譜分析方法，驗證了在相同的網絡規模下?DGNN?的分類性能優于電子圖神經網絡?PPRGo?和多層感知器（MLP）。

圖2：DGNN應用于SBM半監督節點分類。（A）合成隨機塊模型（SBM）圖數據集。（B）片上衍射計算單元（DPU）結構和光學圖節點特征提取過程。（C）超原子（Meta-atom）結構。（D）DGNN與電子神經網絡分類準確率對比。 ?

然后，DGNN 被應用于Cora-ML，Citeseer，Amazon Photo等基準數據集，并與PCA、MLP 和 PPRGo 等電子計算方法進行比較，結果顯示：

（1）考慮圖結構特點的網絡模型性能大大超過了忽略圖結構的模型；

（2）DGNN 的全光推理取得了與 PPRGo 相當的性能；

（3）DGNN 相比于PPRGo 在 Cora-ML 數據集上取得一定的精度提升，表明用光學方法實現特征提取和消息傳遞比電子方式更加有效。



圖3：DGNN應用于標準數據集（Cora-ML，Citeseer，Amazon Photo）半監督圖節點分類 ? 進一步的，DGNN 還被應用于基于人類骨架的動作識別任務，驗證了 DGNN 在圖層面特征學習和分類的性能。作者采用 UTKinect-Action3D 數據集中的骨架動作視頻進行評估，其中骨架的圖結構包含 20 個關節的位置信息。 ?

DGNN 學習并聚合所有節點特征，并將視頻子序列的所有圖層面特征連接起來輸入分類器，對所有視頻子序列應用贏家通吃策略得到動作識別結果。最終，DGNN 架構實現了 83.3%?的子序列準確率和 90.0%?的視頻準確率，驗證了所提方法在圖層面學習的有效性。

圖4：DGNN應用于人類骨架動作識別 ? 值得注意的是，一旦 DGNN 架構設計優化完成并進行物理制造，用于圖特征學習的片上光學器件是無源的，基于圖的人工智能任務的推理過程能夠以光速處理，只受限于輸入數據調制速度和輸出探測速度。理論計算速度能夠達到?82.6?TOPs?1，能量效率能夠達到為?8.26?POPs?1W?1，計算密度達到?130 TOPs?1mm?2，與電子計算方式相比能夠實現幾個數量級的提升。未來通過提升DPU的能量傳輸效率可以進一步提升DGNN的計算性能。 ?

DGNN 提供了高效的圖結構數據處理方法，將為未來基于集成光子計算的人工智能研究提供啟發，使其超越歐幾里得空間范疇，得到更加廣泛的應用。 ?

審核編輯：劉清