遠程邊緣 AI 應用程序依賴于嵌入式硬件設備的大小，這些硬件設備具有在源頭處理邊緣數據的所有計算能力和能力。大型嵌入式 AI 加速器在空間受限的系統中面臨多項挑戰，例如突兀和隱蔽。

在題為“用于智能邊緣監控的毫米級超低功耗成像系統”的文章中，研究人員開發了一種具有深度學習和圖像處理能力的微型毫米級成像系統，適用于邊緣應用，尤其是家庭監控場景。該系統使用垂直堆疊的超低功耗 IC，并采用動態行為特定的電源管理、分層事件檢測和數據壓縮方法的組合。

對于毫米級系統，設計方法面臨技術挑戰，例如設計高度受限的系統、能量預算和峰值功率的限制、有限的數據存儲、昂貴的無線通信、毫米級鏡頭的非理想性以及超低-電源前端。

從毫米級尺寸系統開始，該設計需要集成超低功耗 IC 并對其進行組裝以減少占用空間。為了為毫米級系統供電，設計單元需要一個小型電池來支持電源要求。由于空間受限的系統，成像系統將具有有限數量的片上和片外可用存儲器，這限制了圖像數據的存儲和算法的復雜性。

針對這些毫米級成像系統設計中的技術難點，團隊借鑒了現有在低功耗圖像傳感器、超低功耗處理器和混合信號視覺集成電路、低功耗無線通信、高效的神經網絡加速器，優化邊緣計算應用的機器學習算法。

現有研究的局限性包括排除邊緣計算或不滿足面積和功率需求。該研究論文提出完全集成的毫米級成像系統是“同類中的第一個”。

圖：成像系統橫截面

一種具有邊緣智能的新型毫米級成像系統

該系統尺寸僅為 6.7×7×5mm，重量僅為 460mg，采用垂直堆疊設計的 150μm 超低功耗集成電路。垂直堆疊的方法允許在更小的占位面積內互連更多的集成電路。這與傳統的平面 2D 芯片到芯片連接相比。

該系統由一個基礎層組成，將多個功能硬件設備集成到單個 IC 芯片上，例如主控制器、電源管理單元和無線電 IC。毫米級成像系統的核心是帶有 16kB SRAM 的 Arm Cortex-M0 處理器內核。電源管理單元從單個電池源生成多個電壓域，以在負載下保持高轉換效率。

下一個重要層是超低功耗圖像傳感器和圖像信號處理。圖像傳感器層支持運動觸發的 12 位 VGA 圖像捕獲和對子采樣像素幀的近像素運動檢測，最大速率為每秒 170 幀，而圖像信號處理執行動態 JPEG（解）壓縮、光學黑色像素校準、去拜耳、RGB 到 YUV 轉換和場景變化檢測。神經引擎提供 1.5 TOPs/W 的性能，支持基于深度神經網絡的幀分析。另一層包括超低泄漏閃存、能量收集器、太陽能電池、可充電鋰電池和聚四氟乙烯 （PTFE） 管。

系統集成采用兩塊4層10×10×0.8mm PCB，正面用于引線鍵合，無源元件和太陽能電池層置于背面。此類毫米級系統的代碼開發具有挑戰性，因此該團隊在外緣上包括了城堡形通孔以暴露內部信號。

圖：（從左到右）堆疊 IC、被測封裝系統、PCB 背面、獨立毫米級成像系統

對毫米級成像系統的修改

由于始終在線的圖像傳感器執行基于 DNN 的分析會產生巨大的功耗，因此電源管理是能量最小化技術的關鍵要素。該過程需要計算能量和存儲在芯片內外的數兆字節 DNN 參數。

動態節能模式（如閃存 IC）在運動監控、圖像捕捉和基于 DNN 的場景分析期間設置為睡眠模式，僅消耗 0.003μW。電源管理單元針對每個節點進行調整，通過修改電流消耗、頻率控制和上/下轉換比來最大化動態負載的效率。另一方面，分層事件檢測 （HED） 算法用于刪除不相關的事件，否則這些事件會消耗能量，特別是在卸載數據而未確定其對應用程序的價值時。

結合權重剪枝、非均勻量化、卷積層量化權重的霍夫曼編碼和其他幾種方法，DNN 的壓縮率最高可達 1.5 位/權重。對于圖像壓縮，結合使用 JPEG 和 H.264 壓縮方法來減少數據占用空間并最大限度地降低無線傳輸成本。

H.264 幀內壓縮引擎將 VGA 幀的內存占用減少了 23 倍。然而，通過 H.264 壓縮，系統需要比 JPEG 多 138% 的處理能量。使用的其他方法是變化檢測引擎，以實現與 VGA 幀相比 135 倍的壓縮，以及用于減少無線數據傳輸的系統外圖像重建。對于毫米級鏡頭和超低功耗前端的圖像校正，該團隊提出了可以使用矩陣乘法和卷積等指令在 ISP 神經引擎 （NE） 上執行的圖像校正層。

結論

該論文提出了一種新穎的毫米級成像系統，它集成了用于遠程物聯網和邊緣應用的邊緣智能，平均功耗為 49.6μW，預期壽命為 7 天，無需充電。為了實現小尺寸，該系統使用超低功耗 IC 的垂直堆疊，并通過數據和能源管理方法管理內存和能源預算限制。“已經展示了一個微型物聯網智能成像系統，通過社會技術和道德視角進行分析是下一步必不可少的；我們邀請未來就安全和隱私等主題開展工作，”該團隊總結道。

審核編輯：郭婷