作者： Stephen Evanczuk

設(shè)計(jì)一款基于傳感器的簡(jiǎn)單物聯(lián)網(wǎng) (IoT) 設(shè)備并非難事，但要打造具備邊緣機(jī)器學(xué)習(xí) (ML) 處理能力的聯(lián)網(wǎng)設(shè)備則完全是另一回事。NXP Semiconductors 推出的專用處理器系列、開(kāi)發(fā)板及配套軟件，旨在解決功能、性能與開(kāi)發(fā)方面的關(guān)鍵難題，助力在工業(yè)和物聯(lián)網(wǎng)應(yīng)用中更快地部署復(fù)雜的邊緣人工智能 (AI) 功能。

設(shè)計(jì)師們已經(jīng)開(kāi)始利用邊緣 AI 解決方案，這些方案能夠在低功耗設(shè)備上執(zhí)行 ML 推理，而無(wú)需依賴云端資源。諸如喚醒詞檢測(cè)、傳感器數(shù)據(jù)模式分析和基本物體檢測(cè)等功能，通常可以由運(yùn)行 ML 模型（使用模型優(yōu)化工具和框架構(gòu)建）的節(jié)能處理器來(lái)處理。然而，當(dāng)您試圖擴(kuò)展處理器資源以處理更復(fù)雜的問(wèn)題，尤其是那些需要實(shí)時(shí)或接近實(shí)時(shí)響應(yīng)的問(wèn)題時(shí)，就會(huì)出現(xiàn)瓶頸。

多核處理器如何顯著加速M(fèi)L 推理

NXP Semiconductors 憑借其 i.MX 93 系列應(yīng)用處理器可輕松應(yīng)對(duì)這些新興的實(shí)時(shí)邊緣 AI 設(shè)計(jì)在功能和性能方面的挑戰(zhàn)（圖 1）。

圖 1：i.MX 93 應(yīng)用處理器融合了處理資源、安全系統(tǒng)、存儲(chǔ)器以及一系列完整的時(shí)鐘、定時(shí)器、連接選項(xiàng)和接口，為邊緣 AI 設(shè)計(jì)奠定了基礎(chǔ)。（圖片來(lái)源：NXP Semiconductors）

該系列處理器集成了豐富的功能，包括多媒體、存儲(chǔ)器、接口和連接選項(xiàng)，并組合了引人注目的處理資源：

· 多達(dá)兩個(gè)高性能 Arm Cortex-A55 應(yīng)用處理器核心，用于基于 Linux 的應(yīng)用處理任務(wù)

· 一個(gè)超低功耗 Arm Cortex-M33 平臺(tái)，用于低延遲實(shí)時(shí)控制處理

· 一個(gè) Arm Ethos-U65 microNPU 神經(jīng)處理單元 (NPU)，用于高效執(zhí)行 ML 推理

· NXP 的集成 EdgeLock 安全飛地 (ESE) 為安全引導(dǎo)和密鑰管理、實(shí)時(shí)加密功能以及保護(hù)邊緣應(yīng)用所需的其他功能提供信任根

借助這些處理器的能力，可將大型邊緣 AI 應(yīng)用拆分為多個(gè)易于管理的部分：NPU 會(huì)接管密集型神經(jīng)網(wǎng)絡(luò)算法的計(jì)算任務(wù)，減輕 Cortex-A55 核心的負(fù)荷并避免搶占其運(yùn)行的應(yīng)用代碼資源。與此同時(shí)，Cortex-M33 核心持續(xù)專注處理如傳感器數(shù)據(jù)采集或過(guò)程控制等低延遲任務(wù)，而嵌入式 ESE 則全程守護(hù)系統(tǒng)安全、軟件代碼及關(guān)鍵數(shù)據(jù)。下文將介紹：NPU 從 Cortex-A55 核心卸載機(jī)器學(xué)習(xí)推理的能力，這正是實(shí)現(xiàn)近實(shí)時(shí)響應(yīng)邊緣 AI 應(yīng)用的關(guān)鍵支撐。

硬件開(kāi)發(fā)板與軟件如何加速應(yīng)用的開(kāi)發(fā)

盡管處理器的功能和性能是關(guān)鍵，但邊緣 AI 應(yīng)用的高效開(kāi)發(fā)更依賴于能否快速掌握處理器特性并迅速構(gòu)建有效的軟件。NXP 的 FRDM-IMX93 開(kāi)發(fā)板（圖 2）與配套軟件開(kāi)發(fā)資源相結(jié)合，可提供開(kāi)始創(chuàng)建應(yīng)用所需的一切。

圖 2：FRDM-IMX93 開(kāi)發(fā)板集成了 i.MX 93 應(yīng)用處理器和多個(gè)支持芯片，可提供完整的開(kāi)發(fā)系統(tǒng)。（圖片來(lái)源：NXP Semiconductors）

FRDM-IMX93 開(kāi)發(fā)板旨在簡(jiǎn)化采用 i.MX 93 系列處理器的應(yīng)用開(kāi)發(fā)。該開(kāi)發(fā)板尺寸僅為 105 × 65 mm，配備 2 GB 低功耗雙倍數(shù)據(jù)速率 4X (LPDDR4X) 動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器 (DRAM)、一個(gè) 32 GB 嵌入式多媒體卡 5.1 (eMMC5.1)、一個(gè)電源管理集成電路 (PMIC) 和一個(gè)支持 Wi-Fi 6、藍(lán)牙 5.4 及 802.15.4 無(wú)線個(gè)域網(wǎng)的無(wú)線收發(fā)器模塊，以及其他所需的支持芯片。此外，其板載針座、連接器和調(diào)試接口有助于輕松添加擴(kuò)展板，對(duì)系統(tǒng)進(jìn)行調(diào)試。

該開(kāi)發(fā)板雖然提供了多種配置選項(xiàng)，但即便在默認(rèn)模式下也能直接投入使用。使用隨附的 USB 線纜連接顯示器和鼠標(biāo)并為開(kāi)發(fā)板供電后，開(kāi)發(fā)板從預(yù)燒錄了 NXP Linux 二進(jìn)制演示鏡像的 eMMC 啟動(dòng)。

預(yù)構(gòu)建應(yīng)用會(huì)加速邊緣 AI 的部署

FRDM-IMX 93 開(kāi)發(fā)板的真正優(yōu)勢(shì)在于其配套的軟件和相關(guān)工具。NXP 的 GoPoint for i.MX Applications Processors 軟件包包含在默認(rèn)演示鏡像中，提供了一組可通過(guò) GoPoint 圖形用戶界面 (GUI) 訪問(wèn)的實(shí)例應(yīng)用。當(dāng)啟動(dòng)一個(gè)應(yīng)用時(shí)，GoPoint 會(huì)引導(dǎo)用戶完成所有必要的配置步驟，例如指定攝像頭視頻源。

或許更令人同樣感興趣的是，NXP 的應(yīng)用實(shí)例庫(kù)包含了每個(gè) GoPoint 應(yīng)用的完整 Python 源代碼。此外，每個(gè)應(yīng)用的文檔都包含軟件架構(gòu)描述、所使用的 ML 模型以及啟動(dòng)設(shè)置。例如，GoPoint i.MX 93 低功耗機(jī)器學(xué)習(xí)應(yīng)用的文檔清晰描述了 Cortex-A55 和 Cortex-M33 雙核間的執(zhí)行流程——Cortex-M33 如何全程擔(dān)負(fù)檢測(cè)喚醒詞的重任，直至最終喚醒 Cortex-A33 上的 Linux 系統(tǒng)以通知用戶。

NXP 的 GoPoint 駕駛員監(jiān)測(cè)系統(tǒng) (DMS) 應(yīng)用展示了另一種重要概念：如何在更復(fù)雜的應(yīng)用中交織多個(gè)模型的執(zhí)行過(guò)程，以檢測(cè)多種不同的狀態(tài)。調(diào)用此應(yīng)用后，選擇攝像頭源和推理處理器（例如應(yīng)用處理器或 NPU），然后運(yùn)行。在執(zhí)行過(guò)程中，會(huì)顯示攝像頭拍攝對(duì)象（駕駛員）的當(dāng)前狀態(tài)，指示對(duì)象是否出現(xiàn)分心、打瞌睡、打哈欠、吸煙或使用手機(jī)（圖 3）。

圖 3：在 i.MX 93 應(yīng)用處理器上運(yùn)行時(shí)，一個(gè) GoPoint 實(shí)例應(yīng)用可進(jìn)行多個(gè) ML 模型的推理，以檢測(cè)不同的駕駛員狀態(tài)，延遲僅為幾毫秒。（圖片來(lái)源：NXP Semiconductors）

在每個(gè)應(yīng)用庫(kù)中，都有一項(xiàng)引人注目的信息，即性能數(shù)據(jù)。該信息顯示了 NPU 助力實(shí)現(xiàn)更高效邊緣 AI 應(yīng)用的能力。例如，在 DMS 應(yīng)用中，NXP 發(fā)現(xiàn)基于 CPU 的吸煙/打電話檢測(cè)推理在單線程運(yùn)行時(shí)需要 407.963 ms 的時(shí)間。雙線程運(yùn)行時(shí)，推理時(shí)間降至 303.159 ms，但真正的優(yōu)勢(shì)在于使用 NPU；在 NPU 上進(jìn)行推理，時(shí)間可大幅縮短至僅 23.008 ms。

總結(jié)

低功耗 i.MX 93 應(yīng)用處理器能夠以接近實(shí)時(shí)的延遲執(zhí)行大量推理任務(wù)，這為工業(yè)和物聯(lián)網(wǎng)應(yīng)用中的邊緣 AI 解決方案創(chuàng)造了諸多可能性。通過(guò)使用配套的開(kāi)發(fā)板和軟件，用戶可以快速高效地構(gòu)建這些應(yīng)用。