為什么選擇邊緣AI？

AI市場已經(jīng)發(fā)生了根本性變革。過去，AI處理主要在云端完成。End Point設(shè)備從傳感器收集數(shù)據(jù)并將其發(fā)送到云端進(jìn)行推理處理和決策，結(jié)果被發(fā)送回End Point設(shè)備。這種方法需要巨大的帶寬才能將海量數(shù)據(jù)傳輸?shù)皆贫恕?/p>

邊緣設(shè)備越來越多地使用AI推理技術(shù)，以實(shí)現(xiàn)快速實(shí)時(shí)響應(yīng)并提高數(shù)據(jù)隱私和安全性，同時(shí)避免與云連接產(chǎn)生的延遲和成本。這也降低了功耗，使其適用于電池供電的IoT應(yīng)用。因此，邊緣AI具有自主性、低延遲、低功耗、低成本、更低的云端帶寬、安全性更高的優(yōu)勢，這使其對新興應(yīng)用具有吸引力。

圖 1：從云端的推理遷移到邊緣的推理

MCU越來越多地用于邊緣AI。與MPU相比，它們提供更好的實(shí)時(shí)響應(yīng)、更低的功耗、更低的成本，以及簡化產(chǎn)品設(shè)計(jì)并降低開發(fā)和BOM成本的全面集成解決方案，使其成為低功耗和成本經(jīng)濟(jì)型應(yīng)用的理想選擇。

現(xiàn)已推出具有集成硬件加速器的高性能MCU，可以處理神經(jīng)網(wǎng)絡(luò)處理所需的線性代數(shù)運(yùn)算，例如點(diǎn)積和快速、并行矩陣乘法、卷積和轉(zhuǎn)置。此外，還提供針對資源有限的MCU而優(yōu)化的小型神經(jīng)網(wǎng)絡(luò)模型、軟件庫和生態(tài)系統(tǒng)解決方案。

使用RA8P1 AI加速M(fèi)CU構(gòu)建高能效AI應(yīng)用

RA8P1 MCU是瑞薩電子首款A(yù)I加速的單核和雙核MCU，具有高性能ArmCortex-M85（CM85）和Cortex-M33（CM33）CPU內(nèi)核以及ArmEthos TM-U55神經(jīng)網(wǎng)絡(luò)處理器（NPU），是邊緣AI和物聯(lián)網(wǎng)應(yīng)用的理想選擇，可在AI/ML、DSP和標(biāo)量性能方面提供更大的提升和更低的功耗。

RA8P1 MCU基于先進(jìn)的臺積電22nmULL工藝構(gòu)建，提供前所未有的7300+ CoreMark原始性能和256 GOPS的AI性能，并滿足了邊緣AI應(yīng)用對低功耗的需求。

這類MCU與大內(nèi)存和豐富的外設(shè)集相結(jié)合，可以直接在MCU本身上實(shí)現(xiàn)要求苛刻的語音、視覺AI和實(shí)時(shí)分析應(yīng)用程序。雙核RA8P1 MCU可實(shí)現(xiàn)高處理能力、兩個(gè)內(nèi)核之間的高效任務(wù)劃分以及優(yōu)化的實(shí)時(shí)性能。此外，還內(nèi)置了高級安全性、不可變內(nèi)存和 TrustZone，以實(shí)現(xiàn)真正安全的AI應(yīng)用程序。

RA8P1中嵌入的Ethos-U55 NPU是一款專用處理器，經(jīng)過優(yōu)化，可與CPU內(nèi)核協(xié)同工作，更高效、更低功耗地執(zhí)行神經(jīng)網(wǎng)絡(luò)模型的核心運(yùn)算，例如矩陣乘法和卷積。Ethos-U55針對AI模型中使用的低精度算術(shù)（8位整數(shù)）進(jìn)行了優(yōu)化，可在不降低推理精度的情況下降低復(fù)雜性、內(nèi)存使用和功耗。

瑞薩電子已經(jīng)成功地展示了使用Ethos-U55進(jìn)行推理處理的RA8P1 MCU的性能提升，并在一些AI/ML用例中展示了Ethos-U55NPU與CPU內(nèi)核相比的顯著性能提升。

圖 2：與CPU內(nèi)核相比，Ethos-U55 NPU的AI性能顯著提升

使用的型號：

圖像分類：ResNet8、MobileNet v2、MobileNet v3

關(guān)鍵詞識別：DS-CNN

視覺喚醒詞：MobileNet v1

對象檢測：Yolo_fastest、Yolov8N

異常檢測：ad_medium

使用RUHMI框架實(shí)現(xiàn)更快的應(yīng)用程序開發(fā)

RA8P1 AI解決方案采用高度可配置和優(yōu)化的RUHMI框架，為AI開發(fā)人員提供更快、更高效的AI開發(fā)所需的所有工具。這是瑞薩電子第一個(gè)用于MCU和MPU 的綜合AI框架，并集成到e2中，以與框架無關(guān)的方式生成和部署高度優(yōu)化的神經(jīng)網(wǎng)絡(luò)模型。

RUHMI支持模型優(yōu)化、量化、圖形編譯和轉(zhuǎn)換為MCU友好格式。包括對常用ML框架TensorFlow Lite、Pytorch和ONNX的原生支持，以及針對RA8P1優(yōu)化的即用型應(yīng)用程序示例和模型。

圖 3：使用瑞薩電子RUHMI框架的AI工作流程

使用RUHMI框架的典型AI工作流程：

模型優(yōu)化和編譯（離線）：預(yù)先訓(xùn)練的AI模型通過Tensorflow Lite、Pytorch或ONNX等常用框架輸入。使用RUHMI優(yōu)化和轉(zhuǎn)換工具，首先將模型量化為Int8中間格式并進(jìn)行優(yōu)化。此過程涉及圖形分區(qū)、在NPU和CPU之間分離運(yùn)算符，以及編譯為MCU友好格式（通常為*.c/*.h）。

數(shù)據(jù)輸入和預(yù)處理：RA8P1 MCU捕獲原始輸入數(shù)據(jù)（來自攝像頭的圖像、來自麥克風(fēng)的音頻），并由高性能Cortex-M85內(nèi)核進(jìn)行預(yù)處理，以輸入到AI模型。

在NPU上執(zhí)行：然后，CPU內(nèi)核將預(yù)處理后的輸入數(shù)據(jù)和編譯后的AI模型的命令流發(fā)送到Ethos-U55 NPU執(zhí)行。NPU讀取命令流，并使用輸入數(shù)據(jù)和模型權(quán)重（通常存儲在本地內(nèi)存中）處理神經(jīng)網(wǎng)絡(luò)的每一層。

輸出和后處理：一旦NPU處理完神經(jīng)網(wǎng)絡(luò)的所有層，它就會將推理結(jié)果輸出回主CPU，然后主CPU可以執(zhí)行任何必要的后處理和操作。

RA8P1支持的AI應(yīng)用

RA8P1 MCU具有高推理性能、低功耗和實(shí)時(shí)處理能力，是各個(gè)細(xì)分市場的不同AI應(yīng)用的理想選擇。

以下是RA8P1支持的一些關(guān)鍵應(yīng)用程序：

語音人工智能：關(guān)鍵詞識別、語音識別、語速識別、降噪、發(fā)音人識別。

視覺AI：目標(biāo)檢測、圖像分類、手勢識別、人臉識別、圖像分析、駕駛員/車輛監(jiān)控。

實(shí)時(shí)分析：異常檢測、振動(dòng)分析、預(yù)測性維護(hù)。

多模式應(yīng)用：具有語音和視覺功能的智能HMI、使用語音和視覺檢測事件的增強(qiáng)型監(jiān)控?cái)z像頭、具有視覺和聽覺輸入的機(jī)器人技術(shù)，用于環(huán)境傳感和交互。

在下一節(jié)中，我們將一起來看看RA8P1如何通過兩個(gè)應(yīng)用示例幫助簡化AI實(shí)現(xiàn)。