華盛頓大學教授 Arka Majumdar 和他的學生與普林斯頓大學合作，構建了一種專為計算機視覺設計的新型緊湊型相機。他們的原型(如上圖所示)使用光學器件進行計算，顯著降低了功耗，并使相機能夠以光速識別物體。

協作可以是一件美妙的事情，尤其是當人們共同努力創造出新事物時。以華盛頓大學(UW)電氣與計算機工程及物理學教授阿爾卡·馬宗達爾(Arka Majumdar)與普林斯頓大學計算機科學助理教授費利克斯·海德(Felix Heide)之間的長期合作為例。

他們與學生們共同完成了一些令人矚目的研究，包括將相機縮小至鹽粒大小，同時仍能捕捉清晰、銳利的圖像。

如今，這對搭檔正在此基礎上繼續推進，他們在《科學進展》(Science Advances)期刊上發表了一篇論文，描述了一種為計算機視覺設計的新型緊湊型相機。計算機視覺是一種人工智能技術，使計算機能夠識別圖像和視頻中的物體。

Majumdar 和 Hide 的研究原型利用光學進行計算，顯著降低了功耗，并使相機能夠以光速識別物體。他們的設備還代表了計算機視覺領域的一種新方法。

Majumdar說：“這是一種全新的光學思維方式，與傳統光學截然不同。這是一種端到端的設計，光學與計算模塊協同設計。在這里，我們用工程光學取代了相機鏡頭，這使得我們可以將大量計算任務轉移到光學中。”

該論文的主要研究者和資深作者Hide補充道：“這項研究有非常廣泛的應用，從自動駕駛汽車、自動駕駛卡車和其他機器人到醫療設備和智能手機。如今，每一部iPhone都內置了人工智能或視覺技術。這項工作仍處于非常早期的階段，但所有這些應用未來都可能從我們的研究中受益。”

Hide和他在普林斯頓的學生們設計了相機原型，這是一種緊湊的光學計算芯片。Majumdar貢獻了他在光學領域的專業知識，幫助設計相機，他和他的學生在華盛頓納米加工實驗室制造了芯片。

這項多機構研究團隊的華盛頓大學成員包括華盛頓大學電氣與計算機工程系(UW ECE)的博士后學者Johannes Froech和James Whitehead博士，他在研究期間是Majumdar實驗室的博士生。

用工程光學元件取代相機鏡頭

與使用由玻璃或塑料制成的傳統相機鏡頭不同，這種相機的光學系統依賴于50層超透鏡(meta-lenses)——一種利用微觀納米結構操控光線的扁平、輕質光學元件。這些超透鏡還充當光學神經網絡，這是一種基于人腦建模的人工智能計算機系統。

這種獨特的方法有幾個關鍵優勢。首先，它速度快。由于大部分計算以光速進行，該系統識別和分類圖像的速度比使用傳統計算機硬件的神經網絡快200倍以上，且精度相當。其次，由于相機的光學系統依賴入射光而非電力運行，功耗大大降低。

這款相機中的光學元件不是使用由玻璃或塑料制成的傳統相機鏡頭，而是依賴于 50 個超透鏡層——扁平、輕便的光學元件，使用微觀納米結構來縱光線。這些超透鏡安裝在一個緊湊的光學計算芯片(如上圖所示)中，該芯片由 Majumdar 和他的學生在華盛頓納米制造實驗室制造。

Heide說：“我們的想法是利用阿爾卡在超表面(metasurfaces)方面的開創性工作，將傳統上由電子完成的部分計算轉移到光學中以光速進行。通過這種方式，我們開發了一種新的計算機視覺系統，能夠以光學方式完成大量計算。”

Majumdar和Heide表示，他們打算繼續合作。這項研究的下一步包括進一步迭代，改進原型，使其更適用于自動駕駛車輛的自主導航。

這是他們共同認為有前景的應用領域。他們還計劃處理更復雜的數據集和需要更大計算能力解決的問題，例如目標檢測(在圖像中定位特定物體)，這是計算機視覺的重要功能。

Majumdar說：“目前，這種光學計算系統是一個研究原型，適用于特定應用。然而，我們預計它最終將廣泛應用于許多技術領域。當然，這還有待觀察，但在這里，我們展示了第一步。與所有其他現有的神經網絡光學實現相比，這是一個巨大的進步。”

審核編輯 黃宇