在萬物皆可AI（人工智能）的今天，市場上幾乎每家企業(yè)都在宣稱自己的業(yè)務(wù)中有了AI成分。因此，將AI接入極靠近終端客戶的網(wǎng)絡(luò)邊緣也就沒什么懸念了。這里的邊緣人工智能（即Edge AI，或邊緣AI）主要是指將人工智能系統(tǒng)（如預(yù)測分析、語音或圖像識別或異常檢測）與邊緣計算相結(jié)合的技術(shù)實踐。

直白地說，這樣做的好處是提升了系統(tǒng)反應(yīng)速度，并減少對網(wǎng)絡(luò)帶寬的需求。邊緣AI的這些特性使之非常適合于對時間敏感的應(yīng)用場景，例如自動駕駛汽車、智慧城市和工業(yè)物聯(lián)網(wǎng)（IoT）以及可穿戴健康監(jiān)測設(shè)備等。

邊緣AI的優(yōu)勢

對于傳統(tǒng)的人工智能而言，人工智能模型通常位于中央服務(wù)器的后端，例如公共云或數(shù)據(jù)中心，在那里處理和分析發(fā)送到中央位置的數(shù)據(jù)。如果同時處理和分析太多的數(shù)據(jù)，很可能導(dǎo)致服務(wù)器的延遲。

有了邊緣人工智能，機器學(xué)習(xí)算法可以直接在給定網(wǎng)絡(luò)的邊緣運行，在那些更靠近生成運行系統(tǒng)所需的數(shù)據(jù)和信息的地方，例如物聯(lián)網(wǎng)設(shè)備或配備邊緣計算設(shè)備的機器。每個邊緣設(shè)備都可以使用安裝在設(shè)備上的集成AI或機器學(xué)習(xí)模型來分析它收集的數(shù)據(jù)，并做出智能決策，且不會將所有原始數(shù)據(jù)發(fā)送出去，只是將關(guān)鍵的數(shù)據(jù)傳輸?shù)街醒敕?wù)器。

分布式人工智能的概念介于邊緣人工智能和傳統(tǒng)人工智能之間。通過分布式系統(tǒng)，數(shù)據(jù)在一系列互連設(shè)備上進行處理和分析，包括中央服務(wù)器和邊緣設(shè)備，每個節(jié)點都處理其中的一小部分，其思想是借助分布式處理來應(yīng)對大量工作負(fù)載。分布式人工智能的缺點是比邊緣人工智能具有更大的延遲，隱私性和安全性較低，管理起來也更復(fù)雜。

生成式人工智能、大型語言模型（LLM）和人工智能能力的激增，為AI PC等創(chuàng)新解決方案鋪平了道路，提高了各個行業(yè)的生產(chǎn)力和效率。邊緣AI PC是專門為推理和訓(xùn)練等任務(wù)設(shè)計的專用計算設(shè)備，可以直接在源頭完成復(fù)雜的數(shù)據(jù)處理和機器學(xué)習(xí)。這種本地化的計算能力對于工業(yè)自動化、安全和監(jiān)控中的應(yīng)用至關(guān)重要。

邊緣AI可以在各種硬件上運行，從現(xiàn)有的CPU到微控制器，以及高級神經(jīng)網(wǎng)絡(luò)處理設(shè)備。一些常用的邊緣計算芯片是由Intel、NXP和NVIDIA等大型科技公司制造并提供。據(jù)Markets and Markets的分析預(yù)測，未來5年邊緣AI硬件市場規(guī)模預(yù)計將從2024年的242億美元增長到2029年的547億美元，在2024年至2029年的預(yù)測期內(nèi)將以17.7%的復(fù)合年增長率增長。

物聯(lián)網(wǎng)（loT）設(shè)備在智能家居、工業(yè)自動化、醫(yī)療保健、農(nóng)業(yè)和交通等各個行業(yè)的快速增長是邊緣人工智能硬件發(fā)展的重要驅(qū)動力。

誰在用邊緣AI？

人工智能正日益成為所有行業(yè)和廣泛用例中的普遍和關(guān)鍵工具。隨著邊緣人工智能的成熟，邊緣處理的應(yīng)用范圍不斷擴展。Grand View Research的研究數(shù)據(jù)顯示，截至2022年，邊緣人工智能市場規(guī)模為147.88億美元，預(yù)計2023年至2030年的復(fù)合年增長率將達到21%。

邊緣AI能夠以更高的速度、更低的成本和更低的功耗，更安全地完成數(shù)據(jù)的實時分析，這使其成為云計算AI極具吸引力的替代品，制造業(yè)、醫(yī)療保健、智慧城市以及自動駕駛汽車等行業(yè)的公司都在加緊Edge AI的應(yīng)用和部署。

在醫(yī)療保健和健康監(jiān)測行業(yè)，醫(yī)院及其醫(yī)療服務(wù)提供者將從邊緣AI中深深獲益。由于邊緣AI能夠在設(shè)備本地處理數(shù)據(jù)，從而在緊急情況下可快速生成決策并執(zhí)行關(guān)鍵操作。基于人工智能的血糖監(jiān)測儀和生命體征追蹤器等醫(yī)療設(shè)備，可以為醫(yī)生的決策提供數(shù)據(jù)支持，減輕了他們的工作量。借助邊緣AI，從心臟追蹤器和血壓傳感器等健康監(jiān)測設(shè)備收集的所有數(shù)據(jù)都可以在本地進行處理和分析，從而實現(xiàn)實時分析，助力醫(yī)療專業(yè)人員為患者提供更好的護理。此外，邊緣AI還能直接在設(shè)備上處理敏感數(shù)據(jù)，減少了個人健康數(shù)據(jù)在易受攻擊的網(wǎng)絡(luò)中傳輸?shù)娘L(fēng)險。

邊緣AI的實現(xiàn)需要結(jié)合恰當(dāng)?shù)挠布④浖⒁约鞍踩⑦B接和傳感等支持技術(shù)，非常重要的是，能將它們集成到降低復(fù)雜性、開發(fā)進程快的系統(tǒng)中。

在今年的CES上，NXP發(fā)布了其醫(yī)療保健AI控制器（AICHI），這是一個能夠?qū)崟r安全收集并分析多模態(tài)健康數(shù)據(jù)的邊緣AI平臺。作為一項概念驗證，AICHI充分展示了邊緣AI在醫(yī)療保健領(lǐng)域的巨大潛力。該AI控制器利用環(huán)境傳感器以及非侵入式健康設(shè)備（如血壓監(jiān)測儀、心電圖貼片、血糖貼片或醫(yī)療智能手表）采集的信息，通過結(jié)合邊緣AI和調(diào)優(yōu)后的大語言模型（LLM）用于會話界面（針對i.MX 95 MPU的eIQ Neutron NPU進行了優(yōu)化），AICHI能夠安全、實時地收集并分析多模態(tài)健康與傳感器數(shù)據(jù)。這一能力實現(xiàn)了早期異常檢測、個性化護理以及積極干預(yù)，同時始終保持較高的安全性與效率標(biāo)準(zhǔn)。

在汽車行業(yè)，相比那些層出不窮的新功能，安全的重要性永遠排在第一位。當(dāng)一輛自動駕駛汽車在繁忙的道路上行駛時，每一毫秒都很重要，邊緣AI實現(xiàn)的快速數(shù)據(jù)處理是系統(tǒng)能夠快速響應(yīng)周圍環(huán)境的基礎(chǔ)。

在智能家居系統(tǒng)中，從視頻門鈴到語音控制燈泡以及可監(jiān)控食品消費和保質(zhì)期的冰箱，這些設(shè)備今后將不必將所有數(shù)據(jù)從家里發(fā)送到集中式遠程服務(wù)器進行處理，邊緣AI可在現(xiàn)場完成所有操控。此外，利用邊緣AI還可以監(jiān)控供暖、制冷、照明等設(shè)施，以優(yōu)化能源效率。

在智慧城市建設(shè)中，邊緣AI設(shè)備是其關(guān)鍵的組成部分。交通信號燈上的邊緣AI設(shè)備可以按時間分析交通模式，調(diào)整交通信號，優(yōu)化交通流量，避免或減少道路的擁堵。邊緣AI對計算機視覺、物體檢測和面部識別的使用使一些安全攝像頭特別有效，它們允許從任何位置進行雙向音頻、數(shù)字變焦和遠程監(jiān)控。智能電表、位于非常偏遠地區(qū)的管道和電網(wǎng)設(shè)備的自我監(jiān)控等都將從邊緣AI的應(yīng)用中獲益。

邊緣AI的技術(shù)基石

半導(dǎo)體是邊緣AI的基石，它在技術(shù)上的不斷演進保障了邊緣AI任務(wù)所需的高性能和效率。現(xiàn)在，領(lǐng)先的半導(dǎo)體供應(yīng)商已經(jīng)為高效的邊緣AI設(shè)備設(shè)計了專用的硬件，一系列的關(guān)鍵組件包括CPU、GPU、NPU等，每個組件在實現(xiàn)高級AI功能方面都發(fā)揮著獨特的作用。

CPU

CPU是計算系統(tǒng)的大腦，在AI PC中，它是處理和管理復(fù)雜任務(wù)的中心樞紐。在堅固的邊緣AI設(shè)計中，通常會在Arm和x86 CPU架構(gòu)之間進行選擇。X86架構(gòu)的優(yōu)先考慮是芯片的原始計算能力，用以實現(xiàn)多功能性，而Arm架構(gòu)則強調(diào)芯片的高效能和低功耗特性。具體選用哪種架構(gòu)的芯片需依實際需求而定。

例如Intel的第14代酷睿處理器，旨在處理密集的計算工作負(fù)載，CPU在速度、效率和多任務(wù)處理能力方面均有顯著提高，是需要強大數(shù)據(jù)處理和快速決策的人工智能應(yīng)用的理想選擇。

在基于Arm架構(gòu)的方案選擇中，NXP的i.MX 8M Plus系列是一款專注于機器學(xué)習(xí)和視覺、高級多媒體以及具有高可靠性的工業(yè)自動化的應(yīng)用處理器，它內(nèi)置四核或雙核Arm Cortex-A53處理器，帶有神經(jīng)處理單元（NPU），運行速率高達2.3TOPS，完全滿足智慧家庭、智能樓宇、智慧城市和工業(yè)4.0等應(yīng)用中的邊緣AI需求。

圖：i.MX 8M Plus系列系統(tǒng)框圖（圖源：NXP）

GPU

GPU對于邊緣AI任務(wù)的順利完成至關(guān)重要。能夠執(zhí)行并行處理這一特性對于處理大型數(shù)據(jù)集和復(fù)雜算法是極其關(guān)鍵的。在AI PC中，NVIDIA RTX系列或A100 Tensor Core GPU等GPU加速了機器學(xué)習(xí)模型的訓(xùn)練和推理，大大減少了這些過程所需的時間。這些GPU在圖像識別、自然語言處理和復(fù)雜模擬等任務(wù)中特別有效。

NPU

NPU是更大SoC上的一種新的專用處理器或處理單元，專門用于加速AI PC的神經(jīng)網(wǎng)絡(luò)操作和AI任務(wù)。與通用CPU和GPU不同，NPU針對數(shù)據(jù)驅(qū)動的并行計算進行了優(yōu)化，使其在處理視頻和圖像等大量多媒體數(shù)據(jù)以及處理神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)方面非常高效。

TMS320F28P55x系列C2000 MCU，是Taxes Instruments面向邊緣AI應(yīng)用推出的一款具有集成神經(jīng)處理單元（NPU）的實時微控制器產(chǎn)品，可實現(xiàn)高精度、低延遲的故障檢測。在電動汽車充電基礎(chǔ)設(shè)施電源模塊的設(shè)計和建設(shè)中，可有效執(zhí)行儲能系統(tǒng)中的電弧故障檢測。

TMS320F28P55x系列MCU使用NPU運行卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型，能夠減輕主CPU的負(fù)擔(dān)，其延遲時間比軟件實現(xiàn)低 5 到 10 倍，可實現(xiàn)更快、更準(zhǔn)確的決策。此外，在集成NPU上運行的模型通過訓(xùn)練學(xué)習(xí)和適應(yīng)不同的環(huán)境，能幫助系統(tǒng)實現(xiàn)高于99%的故障檢測準(zhǔn)確率，從而在邊緣做出更明智的決策。

Taxes Instruments完整的AI工具鏈包括針對特定應(yīng)用進行優(yōu)化和測試的模型，可幫助不同經(jīng)驗水平的工程師輕松完成 AI 模型開發(fā)過程。利用Taxes Instruments的Edge AI Studio - Model Composer或Tiny ML Modelmaker加載與訓(xùn)練模型，還可獲得高級功能集。

圖：使用NPU運行CNN模型的TMS320F28P55x系列MCU系統(tǒng)框圖（圖源：Taxes Instruments）

為了豐富自己的NPU產(chǎn)品系列，NXP于2025年2月宣布斥資3.07億美元收購可編程NPU企業(yè)Kinara。Kinara的產(chǎn)品支持廣泛的邊緣AI應(yīng)用，包括多模態(tài)生成式AI模型，Ara-1是Kinara第一代分立NPU，能夠進行先進的邊緣AI推理。Ara-2作為第二代NPU，其運算能力高達40TOPS（每秒萬億次運算），并針對生成式AI實現(xiàn)系統(tǒng)級高性能進行了優(yōu)化。Ara-1和Ara-2NPU可以輕松地與嵌入式系統(tǒng)集成，以增強其AI性能，包括對現(xiàn)有現(xiàn)場系統(tǒng)進行升級。這兩款器件均采用創(chuàng)新的架構(gòu)，能夠映射推理圖，以便在Kinara的可編程專有神經(jīng)處理單元上高效執(zhí)行，更大限度地提高邊緣AI性能。

鑒于AI算法未來將不斷從CNN演進至生成式AI，甚至發(fā)展出智能體AI等新方法，這種可編程NPU確保了系統(tǒng)的適應(yīng)性。Ara-1和Ara-2在性能和能效方面表現(xiàn)出色，非常適合用于視覺、語音、手勢等新興AI應(yīng)用，以及其他各種由生成式AI驅(qū)動的多模態(tài)實現(xiàn)。收購?fù)瓿珊螅髦瞧挚蓪⒎至PU及其AI軟件集成到公司的處理器、連接、安全和高級模擬解決方案產(chǎn)品組合中，以進一步增強NXP提供從TinyML到生成式AI的完整、可擴展AI平臺的能力。

AI開發(fā)工具

在一系列專用芯片的基礎(chǔ)上，先進的算法和AI開發(fā)工具將進一步加速邊緣AI的應(yīng)用進程。當(dāng)然，從零開始創(chuàng)建AI/機器學(xué)習(xí)模型需要海量的數(shù)據(jù)和一大批數(shù)據(jù)科學(xué)家。現(xiàn)在，通過遷移學(xué)習(xí)可以加快模型開發(fā)過程。

遷移學(xué)習(xí)是一種熱門技術(shù)，可以將現(xiàn)有神經(jīng)網(wǎng)絡(luò)模型中已經(jīng)學(xué)到的特征提取到新的自定義模型中。NVIDIA TAO工具套件基于TensorFlow和PyTorch構(gòu)建，是NVIDIA TAO框架的低代碼版本，通過抽象出AI/深度學(xué)習(xí)框架的復(fù)雜性來加速模型訓(xùn)練過程。有了TAO工具套件，AI設(shè)計人員將無需具備強大的AI專業(yè)知識或者大型訓(xùn)練數(shù)據(jù)集，只需利用遷移學(xué)習(xí)的強大功能和自己的數(shù)據(jù)對預(yù)訓(xùn)練模型進行微調(diào)，并針對推理進行優(yōu)化，即可自定義構(gòu)建人工智能模型。

NXP是首家將NVIDIA TAO工具套件API直接集成到其人工智能產(chǎn)品（eIQ機器學(xué)習(xí)開發(fā)環(huán)境）中的半導(dǎo)體供應(yīng)商，并已將NVIDIA經(jīng)過訓(xùn)練的人工智能模型部署在恩智浦邊緣處理設(shè)備中。借助eIQ機器學(xué)習(xí)軟件開發(fā)環(huán)境，用戶可在恩智浦的微控制器和微處理器產(chǎn)品組合中利用人工智能算法。

本文小結(jié)

邊緣人工智能是一種利用邊緣位置的有價值數(shù)據(jù)為深度機器學(xué)習(xí)提供動力的概念。邊緣計算代表了數(shù)據(jù)處理發(fā)生的位置的轉(zhuǎn)變。現(xiàn)代技術(shù)使得在網(wǎng)絡(luò)邊緣的遠程位置執(zhí)行大部分計算任務(wù)成為可能，這些位置更靠近終端用戶，而不是在距離關(guān)鍵數(shù)據(jù)源非常遙遠的傳統(tǒng)數(shù)據(jù)中心。

在邊緣結(jié)合人工智能可以實現(xiàn)原本不可能或不切實際的功能。除了減少延遲和邊緣計算固有的安全優(yōu)勢外，將AI添加到應(yīng)用中還帶來了由復(fù)雜的ML推動的前所未有的可擴展性。現(xiàn)在，邊緣AI不再是一種概念，它們已經(jīng)在醫(yī)療保健、智能駕駛、智慧城市、智能家居、智能制造等行業(yè)獲得廣泛應(yīng)用。

在此過程中，專用的高性能半導(dǎo)體器件以及先進的人工智能開發(fā)工具是邊緣AI發(fā)展的基石，并將伴隨著邊緣AI技術(shù)和市場的進步而不斷演進。