? ?　人工智能應用需要大量的能源消耗，通常以服務器群或昂貴的現場可編程門陣列（FPGA）的形式出現。挑戰在于提高計算能力，同時保持較低的能耗和成本。現在，人工智能應用正在經歷由強大的智能邊緣計算實現的巨大轉變。與傳統的基于固件的計算相比，基于硬件的卷積神經網絡加速現在以其令人印象深刻的速度和功能開創了計算性能的新時代。通過使傳感器節點能夠做出自己的決策，智能邊緣技術大大降低了 5G 和 Wi-Fi 網絡上的數據傳輸速率。這為以前不可能實現的新興技術和獨特應用提供了動力。例如，遠程位置的煙霧/火災探測器或傳感器級別的環境數據分析成為現實，所有這些都需要使用電池電源多年。為了研究這些功能是如何實現的，本文探討了使用專用 AI 微控制器對 CNN 進行硬件轉換。

　　具有超低功耗卷積神經網絡加速器的人工智能微控制器

　　MAX78000是一款具有超低功耗CNN加速器的AI微控制器，這是一種先進的片上系統。它能夠以超低功耗為資源受限的邊緣設備或物聯網應用提供神經網絡。此類應用包括物體檢測和分類、音頻處理、聲音分類、降噪、面部識別、用于心率/健康信號分析的時間序列數據處理、多傳感器分析和預測性維護。

　　圖 1 顯示了該MAX78000的框圖，該器件由帶有浮點單元的 Arm Cortex-M100F 內核提供高達 4 MHz 的電源。為了給應用提供足夠的內存資源，此版本的微控制器配備了 512 kB 閃存和 128 kB SRAM。該器件包括多個外部接口，如I2C、SPI和UART，以及I2S，這些接口對于音頻應用非常重要。此外，還集成了一個 60 MHz RISC-V 內核。RISC-V將數據從各個外設模塊和存儲器（閃存和SRAM）復制到/復制到各個外設模塊和存儲器，使其成為智能直接存儲器訪問（DMA）引擎。RISC-V 內核為 AI 加速器預處理傳感器數據，因此 Arm 內核在此期間可以處于深度睡眠模式。如有必要，推理結果可以通過中斷觸發 Arm 內核，然后 Arm CPU 在主應用程序中執行操作，以無線方式傳遞傳感器數據或通知用戶。??

　　.A MAX78000模塊原理圖。

　　MAX7800x系列微控制器具有獨特的功能，用于卷積神經網絡的推理，有別于標準微控制器架構和外設。該硬件加速器可以支持完整的 CNN 模型架構以及所有必需的參數（權重和偏差）。CNN 加速器配備 64 個并行處理器和一個集成存儲器，其中 442 kB 用于存儲參數，896 kB 用于輸入數據。由于模型和參數存儲在SRAM存儲器中，因此可以通過固件進行調整，并且可以實時調整網絡。根據模型中使用的是 1 位、2 位、4 位還是 8 位權重，此內存足以容納多達 3 萬個參數。由于存儲器功能是加速器不可或缺的一部分，因此每次連續的數學運算都不必通過微控制器總線結構獲取參數。由于高延遲和高功耗，此活動成本高昂。神經網絡加速器可以支持 5 或 32 層，具體取決于池化功能。每層可編程圖像輸入/輸出尺寸高達 64 × 1024 像素。

　　CNN 硬件轉換：能耗和推理速度比較

　　CNN 推理是一項復雜的計算任務，由矩陣形式的大型線性方程組成。利用 Arm Cortex-M4F 微控制器的強大功能，可以對嵌入式系統的固件進行 CNN 推理;但是，有一些缺點需要考慮。在微控制器上運行基于固件的推理時，需要從內存中檢索計算所需的命令以及相關的參數數據，然后才能寫回中間結果，因此會消耗大量能源和時間。

　　表 1 比較了使用三種不同解決方案的 CNN 推理速度和能耗。此示例模型是使用 MNIST 開發的，MNIST 是一種手寫數字識別訓練集，它對視覺輸入數據中的數字和字母進行分類，以得出準確的輸出結果。測量每種處理器類型所需的推理時間，以確定能耗和速度之間的差異。

　　表 1.利用MNIST數據集進行手寫數字識別的三種不同場景的CNN推理時間和每次推理的能量

　　在第一種場景中，集成在MAX4中的 Arm Cortex-M32630F 處理器（運行頻率為 96 MHz）用于計算推理。在第二個場景中，為了處理計算，使用了MAX78000基于硬件的CNN加速器。當使用帶有基于硬件的加速器 （MAX400） 的微控制器時，推理速度（即在網絡輸入和結果輸出時呈現視覺數據之間的時間）會降低 78000 倍。此外，每次推理所需的能量要低 1100 倍。在第三次比較中，MNIST網絡經過優化，每次推理的能耗最小。在這種情況下，結果的準確度從 99.6% 下降到 95.6%。但是，該網絡的速度要快得多，每次推理只需要 0.36 毫秒。每次推理的能耗降低到僅 1.1 μWs。在使用兩節 AA 堿性電池（總能量為 6 Wh）的應用中，可以進行 《》 萬次推斷（省略電路其余部分消耗的功率）。

　　這些數據說明了硬件加速計算的強大功能。硬件加速計算對于無法利用連接或持續電源的應用來說是一種非常寶貴的工具。該MAX78000支持邊緣處理，無需大量能源、寬帶互聯網接入或延長推理時間。

　　MAX78000 AI 微控制器的示例用例

　　該MAX78000支持多種潛在應用，但讓我們以以下用例為例。要求是設計一個電池供電的攝像頭，該攝像頭可以檢測貓何時在其圖像傳感器的視野中，從而能夠通過貓門的數字輸出進入房屋。

　　圖 2 描繪了此類設計的示例框圖。在這種情況下，RISC-V內核會定期打開圖像傳感器，并將圖像數據加載到由MAX78000供電的CNN中。如果貓識別的概率高于先前定義的閾值，則啟用貓門。然后系統返回待機模式。

　　圖2.智能寵物門的框圖。

　　開發環境和評估套件

　　開發邊緣 AI 應用程序的過程可分為以下幾個階段：

　　第 1 階段：人工智能——網絡的定義、訓練和量化

　　第 2 階段：Arm 固件 – 將第 1 階段生成的網絡和參數包含在 C/C++ 應用程序中，并創建和測試應用程序固件

　　開發過程的第一部分涉及對 AI 模型進行建模、訓練和評估。在此階段，開發人員可以利用 PyTorch 和 TensorFlow 等開源工具。GitHub 存儲庫提供了全面的資源，可幫助用戶規劃使用 PyTorch 開發環境構建和訓練 AI 網絡的旅程，同時考慮MAX78000的硬件規格。存儲庫中包含一些簡單的 AI 網絡和應用程序，例如面部識別 （Face ID）。

　　圖 3 顯示了 PyTorch 中的典型 AI 開發過程。首先，對網絡進行建模。必須注意的是，并非所有MAX7800x微控制器的硬件都支持PyTorch環境中的所有數據操作。因此，ADI公司提供的文件 ai8x.py 必須首先包含在項目中。此文件包含使用MAX78000所需的 PyTorch 模塊和運算符。基于此設置，可以構建網絡，然后使用訓練數據進行訓練、評估和量化。此步驟的結果是一個檢查點文件，其中包含最終合成過程的輸入數據。在最后的流程步驟中，網絡及其參數被轉換為適合硬件 CNN 加速器的形式。這里應該提到的是，網絡訓練可以在任何PC（筆記本電腦、服務器等）上完成。但是，如果沒有 CUDA 顯卡支持，這可能需要花費大量時間——即使對于小型網絡，幾天甚至幾周也是完全現實的。

　　3.AI 開發過程。

　　在開發過程的第 2 階段，使用將數據寫入 CNN 加速器并讀取結果的機制創建應用程序固件。在第一階段創建的文件通過 #include 指令集成到 C/C++ 項目中。Eclipse IDE 和 GNU 工具鏈等開源工具也用于微控制器的開發環境。ADI公司提供軟件開發套件（Maxim Micros SDK （Windows））作為安裝程序，已包含所有必要的元件和配置。軟件開發套件還包含外設驅動程序以及示例和說明，以簡化應用程序開發過程。

　　一旦項目被編譯和鏈接而沒有任何錯誤，就可以在目標硬件上對其進行評估。為此，ADI公司開發了兩種不同的硬件平臺。圖 4 顯示了MAX78000EVKIT，圖 5 顯示了 MAX78000FTHR，這是一個稍小的羽毛外形板。每個板都配有一個 VGA 攝像頭和一個麥克風。

　　圖4.MAX78000評估套件。

　　圖5.MAX78000FTHR評估套件。

　　結論

　　以前，人工智能應用需要以服務器群或昂貴的FPGA的形式消耗大量能源。現在，借助具有專用 CNN 加速器的 MAX78000 系列微控制器，可以使用單個電池長時間為 AI 應用供電。這一在能源效率和功耗方面的突破使邊緣人工智能比以往任何時候都更容易獲得，并釋放了以前不可能實現的令人興奮的新的邊緣人工智能應用的潛力。

審核編輯：黃飛