物聯網 (IoT) 的戰(zhàn)略潛力推動工程師部署了越來越多的邊緣設備。這些設備可在沒有持續(xù)互聯網連接的情況下收集、處理和運行數據推斷。一直以來，各個機構都是將在邊緣收集的數據發(fā)送到云中，由機器學習模型進行處理，因為設備缺乏處理這些數據所需的算力。

隨著更強大的處理器和模型壓縮軟件的發(fā)展，對云計算的依賴已有所減少。相反，邊緣設備現在有能力在本地執(zhí)行密集的 AI 計算，而這種計算以前是在云中完成的。互聯網連接設備的數量預計在 2030 年將達到 290 億臺[1]，隨之而來的是對邊緣 AI 的需求的指數級增長。預計到 2027 年，邊緣 AI 將融入 65% 的邊緣設備中[2]。

推動邊緣 AI 發(fā)展的賦能技術

邊緣 AI 市場預計將從 2022 年的 156 億美元增長到 2029 年的 1074 億美元[3]。邊緣 AI 并非新概念，但最新技術進步使得邊緣 AI 的實現更加簡單和經濟。如今推動邊緣 AI 的四項主要進步是：

微控制器 (MCU) 和數字信號處理器 (DSP) - 矢量處理器變得更加強大，同時芯片供應商也在對其進行自定義以滿足 AI 處理的需求。這些類型的處理器目前在 AI 硬件中占據著主導地位。

GPU（圖形處理單元）- 最初用于圖形密集型應用，如游戲和視頻編輯，GPU 現在已用于訓練 AI 模型和運行推斷。

AI 加速器 ASIC - 雖然在 AI 相關任務中 GPU 的性能優(yōu)于 CPU，但為 AI 工作負載量身定制的自定義專用集成電路 (ASIC) 可以提供更高的速度和效率。神經處理單元 (NPU) 是一種專門為處理 AI 模型而設計的 ASIC，因此它們比 CPU 更適合這項任務。

模型壓縮方法 - 由于邊緣設備通常在內存和處理能力方面存在限制，因此在保持類似準確性和性能水平的同時壓縮模型至關重要。如今最常見的 AI 壓縮方法有：

剪枝 - 刪除不必要或不太重要的參數，以提高 AI 模型的效率、速度和內存需求，同時最大限度地避免性能下降。

量化 - 通過降低模型中數值的精度來降低內存負載，提高模型的推斷速度和能效。

知識蒸餾 - 將復雜模型的知識遷移到更緊湊的模型中，以模擬原始模型的行為和性能。

低秩分解 - 通過將高維數據分解為低維表示來壓縮高維數據，以簡化復雜的神經網絡模型，同時保留辨識特征。

使用邊緣 AI 減少對云計算的依賴

雖然邊緣 AI 可能不會完全取代基于云的計算，但處理日益增長的海量數據的需求清楚地表明了一點：工程師無法忽視當今邊緣 AI 改變游戲規(guī)則的優(yōu)勢。邊緣 AI 的主要優(yōu)勢是實時的處理和決策，這會縮短延遲并降低與耗電和云處理相關聯的成本。基于局部數據運行推斷會減少發(fā)送到公共云、私有云或混合云進行處理的原始數據。云服務在特定應用中至關重要，并且可以通過在邊緣設備上運行數據推斷來得到增強。

通過減少對持續(xù)互聯網連接的依賴，工程師能夠在許多行業(yè)更高效地實現邊緣 AI 模型。現已有超出 400 個邊緣計算用例[4]，涵蓋 19 個行業(yè)和 6 個技術領域。集成到邊緣設備中的 AI 模型在一些應用中（例如汽車和醫(yī)學）可能能夠拯救生命。

邊緣 AI 支持在設備上的實時智能決策，可顯著提高許多應用的效率、響應能力和自適應性。

汽車安全關鍵型系統(tǒng)

汽車就是一個邊緣設備在本地收集和處理數據從而減少必須發(fā)送到云的數據量的一個示例。由于汽車電子控制單元 (ECU) 的自包含性質，數據處理必須在本地執(zhí)行，安全關鍵決策必須實時作出。汽車 ECU 等邊緣設備上的機器學習模型通過使用實時數據來適應路況并減少碰撞，從而確保乘客安全。

一家汽車制造商訓練機器學習模型來檢測過度轉向 - 車輛后輪在轉彎時失去對路面的抓地力時會出現過度轉向。制造商采集了成千上萬個與車輛加速度、轉向和偏航率（角速度）相關的數據點。通過將數據加載到 MATLAB 中，工程師可以使用 Statistics and Machine Learning Toolbox [5] 訓練機器學習模型來識別過度轉向。然后，他們使用 MATLAB Coder [6] 將機器學習模型部署并集成到 ECU 中。



MATLAB 和 Simulink 的自動代碼生成功能支持在嵌入式設備上進行快速原型構建和部署邊緣 AI 應用，彌合理論和實踐之間的差距。

醫(yī)療器械中的實時決策

邊緣 AI 在醫(yī)療設備領域的一個優(yōu)勢是能夠快速作出決策。實時數據分析和異常檢測可實現及時干預，并降低與威脅生命和長期健康狀態(tài)相關聯的風險。醫(yī)療邊緣設備還可以與云中的應用程序進行通信以記錄數據，而這不是一項時間敏感型任務。這樣，云計算并不會阻礙反而增強了邊緣設備上的數據推斷，從而創(chuàng)建了更加強大的設備網絡。

例如，某技術研究所研究小組為人工胰腺 (AP) 系統(tǒng)開發(fā)了預測算法，可檢測即將發(fā)生的低血糖和高血糖。該小組創(chuàng)建了虛擬患者，并使用 MATLAB 模擬心率和能量消耗等生理信號。完整的算法部署在移動設備上，該設備與胰島素泵、血糖監(jiān)測儀和可穿戴腕帶通信以實現有效的血糖濃度控制。最終，該研究小組創(chuàng)建了一個邊緣設備網絡，作為一個集成的健康監(jiān)控系統(tǒng)協同工作。

結束語

工程師必須管理的數據量日益增長，邊緣 AI 的實現有助于保持運營和成本效率，同時減少對云處理的依賴。隨著工程師構建云推斷和 AI 賦能技術的不斷發(fā)展，將 AI 集成到邊緣設備很快成為公司打造特色產品的必要條件。最重要的是，邊緣 AI 應被視為云推斷的附加工具，而不是當前基于 AI 的系統(tǒng)的替代或全面革新。通過在邊緣實現 AI 并將云用于允許時間延遲的應用，任何行業(yè)的工程師都可以擴展其 AI 工具箱。

審核編輯：劉清