一般來說，低功耗的物聯網設備如果涉及到復雜的運算，都需要將傳感器的數據上傳到的云端處理，所以搭載的主要芯片為通信和控制芯片；至于邊緣處理需求不大的物聯網設備，所需的MCU性能也不會太高，足以完成尋常的傳感器數據計算。此外，傳感器與計算單元之間的數據移動也進一步增加了能耗和延遲。

隨著工藝對能耗比的提升逐漸變得有限起來，處理器能提供的助力越來越小，但時值緣AI興起之際，有的公司開始將目光望向傳感器，思索如何在這上面做文章。因為明眼人都可以看出，在電子設備小型化的進程上，我們已經遇到了瓶頸，不少產品形態苦于計算而束手束腳，連蘋果自己都開始堆芯片面積來提升算力，更不用說穿戴設備了，尤其是AR/VR產品。

AR/VR設備的傳感器內計算系統

就拿此前被炒熱過一陣的智能/AR眼鏡來說，這一產品形態給了消費者不少遐想，但到手體驗后多半以失望告終。以Meta不久前和雷朋合作的一款智能眼鏡為例，這一產品根本稱不上智能，充其量算作一個用于社交分享的硬件而已，并沒有什么計算能力。這是因為這類智能眼鏡計算單元可以少，但傳感器卻少不了，攝像頭、麥克風和揚聲器等都是該硬件的重要組成部分。但沒有CPU、GPU、AI加速器這些計算單元，智能/AR眼鏡只會被視為名不副實。

在堅定AR/VR道路的Meta看來，半導體上依然面臨著不小的挑戰。早在2020年，Meta就提出了AR/VR半導體面臨的多重挑戰，比如能耗比要做到如今的100倍、靠近皮膚的散熱問題、無線傳輸的帶寬問題以及如何做到高算力和低延遲。

解決方案分為三個維度，比如先進封裝上，需要用到定制接口、異構集成和3D封裝，而內存上需要嘗試STTRAM、PCM和RRAM等新型內存，CMOS工藝也將從FinFET逐漸演進到5nm、GAA。然而這些解決方案中有的已經被證實可行，有的還在試驗階段。

分布式的傳感器內計算系統 /Meta

Meta現實實驗室的研究科學家Jorge Gómez提出了一個新思路，那就是打造傳感器內的計算系統。首先需要的就是一個分布式的計算系統，集成了傳感器內處理器的智能圖像傳感器對數據進行預處理，再通過MIPI接口傳給聚合器。如此一來不僅減小了功耗和延遲，還大大提高了隱私安全。

智能圖像傳感器 / Meta

這個智能圖像傳感器采用了3層結構，分別是CIS、ADC和AI，通過μTSV或混合鍵合這樣的3DIC技術集成在一起，至于AI層的存儲，則選擇低漏電高密度的MRAM來進一步減小功耗。

與傳統中心化傳感器計算系統的對比 / Meta

這樣就得到了一個降低功耗的分布式傳感器內計算系統，從模擬結果圖中可以看出，在應用處理器與傳感器內處理器都選用7nm工藝的情況下，分布式計算系統要比傳統的中心化計算系統功耗低上24%，即便后者換為16nm工藝，功耗依然獲得了減少。從這一模擬結果來看，這種思路是完全可行的。但如果想要做到百倍的功耗比，這樣的提升還遠遠不夠，何況傳感器依然是這套系統中耗電大頭。

省去冗余的數據移動

對于近傳感器計算和傳感器內計算來說，省去冗余的數據移動可以說是對功耗和延遲最關鍵的一步。如果模擬傳感器可以直接處理模擬信號，ADC和計算單元的負擔都要小上很多，AIStorm公司的MantisAI傳感器SoC就是一個很好的例子。

CMOS/CCD在記錄信息時，每個像素產生的電荷量就是接收到的光子數量，也就是明暗信息。而Mantis作為一個成像芯片，可以直接以原生電荷的形式接收像素數據，對人體、面部或物體進行基于圖像的喚醒。根據AIStorm的說法，Mantis可以實現最高1000 TOPS/W的算力，50000FPS的成像幀率，始終開啟的情況下可以做到5uA以下的功耗，近乎忽略不計的延遲。

Mantis人體識別演示 / AIStorm

不過，從Mantis的人體識別演示視頻來看，這類芯片目前還存在一些不成熟的地方，比如無法替代其他常見的圖像傳感器，只能用于基于事件的智能喚醒，比如人從鏡頭前走過等；而且在成像的過程中，單憑模擬數據還是無法一些分類和識別的工作，比如同一個人再次走過對其來說依然是個新的對象。再者，TOPS/W這樣的單位對這類模擬計算芯片來說有著天然的優勢，正如與之類似的存內計算等模擬計算一樣，它們往往計算精度不高，但低位數與高位數的乘積累加運算又不可相提并論，所以按運算次數來衡量性能并不是一個準確的對比方法。

話雖如此，這類在傳感器上集成模擬AI方案依然有它的定位，像語音喚醒、圖像喚醒等應用，它們在功耗、成本上有著極大的優勢，而這種喚醒方案可以顯著減少AI硬件的整體功耗，所以依然不可小覷。