電子發燒友網報道（文/李寧遠）5月30日，來自清華大學類腦計算研究中心團隊的類腦互補視覺芯片“天眸芯”登上了《Nature》封面。 文章名為“A vision chip with complementary pathways for open-world sensing”，即面向開放世界感知的具有互補路徑的視覺芯片。

這是世界上首款類腦互補視覺芯片，基于視覺原語的互補雙通路類腦視覺感知新范式，突破了傳統視覺感知芯片在穩定性和安全性等方面的性能瓶頸。

天眸芯：受人類視覺系統啟發的互補雙通路類腦視覺感知

視覺傳感器發展到現在，在應用上已經表現得很成熟，但目前常用的視覺成像硬件系統的功能仍然不能像人類視覺系統那樣靈活，這一類圖像傳感器在處理開放世界應用中的動態、多樣和不可預測的場景時仍舊面臨著巨大的挑戰。

具體來說傳統視覺感知芯片在高速、高分辨率、大動態范圍和高精度方向上同時發展受到了功率和帶寬的嚴重限制。在處理開放世界中的動態不可預測情景時，這些感知芯片感知器件面臨失真、失效抑或高延遲等問題，嚴重影響了系統的穩定性和安全性。

為解決這些限制，清華大學類腦計算研究中心團隊解析了人類視覺系統，論文中講解到，人類視網膜由視桿細胞和視錐細胞組成，它們以相反的方式運行以擴大靈敏度范圍。在下一個系統層級上，外側膝狀體（LGN）中的M通路和P通路以互補的方式編碼視覺信息。然后，來自LGN的輸出信息被重組為一系列primitive基元，這些基元包含了顏色、方向、深度和方向等信息。

傳入的感覺信息通過與感官相對應的特定模式通道發送到大腦，這些通道中的每一個都進一步將輸入的信號解析為并行流，向大腦提供緊湊、高效的輸入。

受到這種構造的啟發，團隊提出了一種類腦的互補感知范式，該范式將視覺信息解析為primitive-based，并將這些原始的primitive-based信息組合在一起形成兩種互補的視覺通路，一是以準確認知為導向的認知通路，另一種是以行動為導向的快速響應通路。

為了實現這一范式，團隊開發了“天眸”視覺芯片，該芯片結合了混合像素陣列和并行異構讀出架構。該芯片采用90納米背照式CMOS，對認知導向的通路COP和行動導向通路AOP電路做了并行的異構組合，再通過稀疏時空差分分組器生成壓縮數據。

互補通路構筑的類腦視覺感知，已在實際應用中展現超強性能

利用互補視覺路徑的特性，天眸芯實現了高達10000幀/秒的高速傳感，動態范圍為130 dB，在空間分辨率、速度和動態范圍方面具有明顯的優勢。

天眸芯公布的功耗中，最高的是在10000fps@±1-bit（threshold=50mV）下的419.7mW，也是極低的功耗水平。不同像素、模擬、數字和接口電路下，最低為757fps@±7-bit（threshold=0）下的328.4mW。

在天眸芯中，不同的數據原始組合被編碼形成AOP數據和COP數據。這兩種通路有獨立的緩沖區，并支持獨立的反饋控制。然后，AOP和COP的處理數據被發送到不同光流求解器中。推理結果最終被集成到多對象跟蹤器。這種方法優化了兩條互補通路，同時保留了低延遲響應能力和高性能特征。

天眸芯測試板與處理系統示意圖，來源：Nature

在整個視覺重建中，有自監督訓練管道，使用兩個通路提供的彩色圖像并根據這些圖像之間的差異數據來提供訓練樣本。不斷調整輸入數據量就能獲得任何時間點的高速彩色圖像，最終完成圖像輸出。

清華大學團隊在論文中展示了實際應用中的芯片特性，如捕捉快速移動中的乒乓球、記錄車輪旋轉以及抓拍閃電。車輪抓拍中該芯片COP部分記錄下的車輪混疊通過高速AOP消除并進行了抗鋸齒重建，閃電拍攝中COP遺漏的閃電在AOP進行了補全，表現十分亮眼。

天眸芯特別在開放環境的車載平臺上進行了多項性能驗證，在多種極端場景下，該系統實現了低延遲、高性能的實時感知推理，展現了其在智能無人系統領域的應用潛力。

值得一提的是AOP中的稀疏數據流，加上特殊的編碼方法，使天眸能夠自適應地調整其傳輸帶寬。即使大多數情況下芯片處于小于80 MB/s的帶寬下，但在這種互補感知下，大量測試案例已經表明了該帶寬已經足以解決許多現實應用中動態不可預測的場景感知難題。

清華大學表示，“天眸芯的成功研制無疑是智能感知芯片領域的一個重大突破。它不僅為智能革命的發展提供了一個強大的技術支持，還為自動駕駛、具身智能等重要應用開辟了新的道路”。

繼異構融合類腦計算芯片“天機芯”后，清華大學類腦計算研究中心團隊憑借“天眸芯”再次登上《自然》雜志封面。此前天機芯的發布標志著我國在類腦計算上的突破，此次天眸芯發布，意味著我國在類腦感知方向上同樣取得了至關重要的突破。天眸芯的出現，讓視覺感知進入了全新的篇章。

不斷突破的類腦技術正在推動智能應用顛覆性變革

本次“天眸芯”的公布，加之“天機芯”積累的技術與應用基礎，無疑將進一步完善類腦智能生態，有力地推動通用人工智能的發展。國內也有不少科研機構和企業在這條賽道上持續突破，用類腦技術推動智能應用變革。

北京靈汐科技是國內領先的類腦計算企業，靈汐科技研發經理楊哲宇博士也是本次天眸芯論文的共同第一作者之一。靈汐科技已經發布并量產了具有完全自主產權的商用類腦芯片——領啟KA200(-S)。該款芯片采用了異構融合、眾核并行、存算一體的架構，單芯片集成25萬神經元和2500萬突觸，可擴展支持200萬神經元和20億突觸的集成計算。目前已在云邊端AI應用領域取得了不錯的落地。據悉未來還會繼續推動類腦技術在機器人及具身智能、大模型、智算中心等新興應用領域的應用。

SynSense時識科技今年也戰略收購了瑞士類腦視覺傳感器公司iniVation，成為全球首家完整擁有類腦傳感和類腦計算技術的公司，可以充分發揮類腦感算的高效協同作用。SynSense時識科技目前正在推進工業安防、眼動追蹤、消費電子、航空航天和自動駕駛等領域的類腦技術落地。

人工智能的飛速發展有目共睹，人工智能的應用已經從早年前的理論和小型測試發展到現在的企業級用例。類腦技術正是為了解決人工智能思考的難題，模擬人類大腦處理信息的機制使得相關芯片及相應的硬件系統能夠像人類一樣思考，成為真正意義上的人工智能。現在不斷突破的類腦技術正推動著智能應用走向顛覆性的變革。

小結

前沿技術的突破為類腦技術的落地提供了強有力的支持，類腦技術與視覺傳感的融合打破了傳統視覺傳感的局限，為下一代智能視覺傳感指明了一條清晰的技術道路。可以說，類腦技術正在為智能應用開辟新的道路。