作者：e絡盟技術團隊

AI與物聯網系統的融合改變了數據的處理、分析與使用方式。多年以來，各種 AI解決方案始終基于云端部署，而如今邊緣 AI的興起，在提升運行效率、增強安全性和改善運營可靠性方面提供了頗有潛力的解決方案。本文旨在深入剖析邊緣 AI的復雜性，探究其構成要素、應用優勢及其快速演進的硬件支持體系。

AI演變：從云端到邊緣

傳統物聯網設備直接依賴云端基礎設施進行 AI處理。邊緣設備傳感器產生的數據需要傳輸至云端進行分析和推理運算。然而，隨著物聯網應用對網絡邊緣實時決策需求的激增，這種模式面臨著嚴峻挑戰。涉及到海量的數據規模、延遲問題以及帶寬限制，這讓云端處理模式在許多應用場景中難以為繼。

邊緣AI的出現，將處理能力更靠近數據源——也就是物聯網設備本身。這樣的轉變減少了持續將數據傳輸到云端的需求，并實現了一種對許多應用至關重要的實時處理方式，例如自動駕駛汽車、工業自動化和醫療保健等領域。

邊緣 AI系統的核心組件

邊緣 AI系統由專用硬件與軟件組件構成，具備本地化采集、處理和分析傳感器數據等核心能力。邊緣 AI模型通常包含以下要素：

• 數據采集硬件：若未配備專用傳感器并集成處理單元及存儲器，數據采集將無法實現。現代傳感器內置數據處理能力，可對數據進行初步篩選與轉換。
• 訓練與推理模型：邊緣設備需搭載預訓練的專用場景模型。由于邊緣設備的計算資源有限，可在訓練階段根據特征選擇和轉換對模型進行訓練，以提升其性能表現。
• 應用軟件：邊緣設備上的軟件通過微服務觸發 AI處理，微服務通常基于用戶請求來調用；此類軟件可運行訓練階段就已具備定制化功能和聚合特性的 AI模型。

圖 1：邊緣 AI 工作流程

邊緣 AI的優勢

與傳統云端模型相比，邊緣 AI具有許多顯著優勢：

• 安全性提升：本地數據處理降低了敏感信息在云端傳輸過程中的泄露風險。
• 運行可靠性增強：邊緣 AI系統減少了對網絡連接的依賴，在間歇性或低帶寬的網絡環境下仍能保持穩定運行。
• 靈活性：邊緣 AI支持根據具體應用需求定制模型與功能，這對需求各異的多樣化物聯網環境至關重要。
• 低延遲：該模式將數據處理與決策時間降至最低限度，是契合自動駕駛和醫療診斷等實時應用的關鍵特性。

圖2

實施邊緣 AI所面臨的挑戰

盡管邊緣 AI具備諸多顯著優勢，其實施仍面臨多重挑戰。為邊緣設備開發機器學習模型，意味著需要處理海量數據、選擇合適的算法，并優化模型以適應受限的硬件環境。對于許多制造商，尤其是專注于大規模生產低成本設備的制造商而言，從頭開發這些功能所需的投入可能令人望而卻步。

這種困境催生了對可編程平臺的需求。當前，業界正加速向專用 AI架構轉型，支持在廣泛的功耗性能區間實現彈性擴展。這些架構在保持通用設計靈活性的同時，又能滿足特殊的處理需求。

專用硬件在邊緣 AI中的作用

隨著 AI和機器學習應用場景的不斷拓展，市場對定制化硬件的需求與日俱增，這類專用硬件能夠有效應對 AI技術領域的獨特需求。然而，傳統的通用處理器在滿足 AI特殊需求，特別是神經網絡處理方面表現乏力，盡管其在制造工業和通用工具鏈方面仍具重要價值。

為填補這一空白，半導體制造商紛紛推出新型 AI加速器，既能提升通用處理器的性能，又可保留其優勢。此類加速器專為神經網絡所需的并行處理而設計，為 AI運算提供更高效的執行路徑。

• 并行架構和矩陣處理器：這些并行架構（比如圖形處理器中的架構）對神經網絡訓練非常奏效。矩陣處理器正是基于此原理設計而成，比如谷歌的張量處理單元專為加快神經網絡處理的核心環節——矩陣運算而開發。

• 存內計算：這項創新技術通過可變電阻器與存儲單元的互聯，將內存陣列直接轉化為神經網絡結構，這樣有效規避了傳統內存訪問的瓶頸問題，從而在運算速度和能效方面實現重大突破。

邊緣 AI的未來：創新與機遇

隨著邊緣 AI領域的持續進化，為應對日益增長的 AI 處理需求，新技術與新架構不斷涌現。其中，微型機器學習 (TinyML)的進展尤為矚目，它將 AI能力延伸至超低功耗設備。雖然 TinyML并非適用于所有應用場合，但它無疑推動了 AI在更廣泛設備中的普及。

• 現場可編程門陣列 (FPGA):FPGA具備動態可重構架構，完美契合 AI技術的快速發展。相較于 GPU和 CPU，FPGA賦予設計者快速構建和測試神經網絡的能力，并能針對特定應用需求定制硬件。這種靈活性在航空航天、國防裝備、醫療設備等高風險領域至關重要，這些領域的產品生命周期通常較長，且需要支持現場部署新算法。
• 圖形處理器 (GPU)：盡管 GPU擁有強大的并行計算能力，但其能效與散熱管理代價不菲。即便如此，在虛擬現實、機器視覺等需要強勁算力的應用中，GPU仍是首選方案。
• 中央處理器 (CPU)：盡管 CPU在并行處理方面存在固有缺陷，但仍被廣泛集成于各類設備中。Arm推出的單指令多數據 (SIMD)架構等創新技術，雖提升了 CPU運行 AI算法的性能，但與 GPU、FPGA等其他計算設備相比，通常存在速度較慢、功耗較高的局限性。

結語

從云端 AI到邊緣 AI的轉型，正在深刻改變物聯網系統處理與運用數據的方式。邊緣 AI通過將 AI處理能力部署至數據源頭，顯著提升了安全性、可靠性和靈活性，因而得到廣泛的應用。然而，邊緣 AI的實施需要全面考量硬件與軟件組件的協同，并妥善解決在資源受限環境中部署 AI的特殊挑戰。

隨著 AI普及程度的提高，市場愈發需要擅長解決邊緣計算特殊問題的專用硬件。從矩陣處理器、存內計算到 FPGA和 TinyML，這些新興技術將重塑新一代邊緣 AI 解決方案。如此一來，應用工程師得以緊跟技術發展浪潮，從而充分釋放邊緣 AI的潛力，打造更具創新性和競爭力的解決方案。

在 AI技術日新月異的發展環境中，工程師與開發者必須持續跟進最新技術趨勢。如需深入探索 AI、掌握核心要素，并學習如何在實際項目中應用 AI技術，歡迎訪問我們的AI中心（AI Hub）。無論是圖像分類、語音與手勢識別，還是狀態監測與預測性維護，AI中心都能提供全方位支持，為您提供全面的產品解決方案、技術資源和專業知識，助您充分解鎖 AI技術的最大潛能。