過去十年里，人工智能 (AI) 和機器學習 (ML) 經歷了重大變革——卷積神經網絡 (CNN) 和循環(huán)神經網絡 (RNN) 正在向Transformer和生成式人工智能 (GenAI) 過渡。這一變革背后，是產業(yè)對高效、準確、具有上下文能力、能夠處理復雜任務的模型的迫切需求。

最初，AI和ML模型嚴重依賴數字信號處理器 (DSP) 來執(zhí)行音頻、文本、語音和視覺處理等任務。這些模型雖然有效，但在準確性和可擴展性方面存在局限性。神經網絡的引入，尤其是CNN，顯著提高了模型準確率。例如，作為開創(chuàng)性的CNN，AlexNet在圖像識別方面實現(xiàn)了65%準確率，超過了DSP的50%準確率。

下一個行業(yè)里程碑是Transformer的發(fā)展。2017 年，谷歌在其論文《Attention is All You Need》中提出了Transformer概念，帶來一種更高效的順序數據處理方式，徹底改變了AI模型的發(fā)展。不同于CNN以局部方式處理數據，Transformer使用注意力機制來評估輸入數據中不同部分的權重。這使得Transformer能夠捕捉數據中的復雜關系和依賴關系，從而在自然語言處理 (NLP) 和圖像識別等任務中表現(xiàn)出色。

Transformer推動了GenAI的興起。GenAI利用Transformer模型根據學習到的模式生成新數據，例如文本、圖像甚至音樂。Transformer理解和生成復雜數據的能力使其成為ChatGPT和DALL-E等熱門AI應用的基礎，這些模型已展示出非凡的能力，如生成連貫的文本和根據文本描述創(chuàng)建圖像，彰顯了GenAI的潛力。

圖 1：Transformer正在取代機器視覺和RNN/CNN，使GenAI實現(xiàn)更高的準確性

邊緣設備部署GenAI的優(yōu)勢

在邊緣設備上部署GenAI具有諸多優(yōu)勢，特別是在實時處理、隱私和安全至關重要的應用中。比如，智能手機、物聯(lián)網設備和自動駕駛汽車等邊緣設備都可以受益于GenAI。

在邊緣設備上部署GenAI可滿足對低延遲處理的需求。自動駕駛、實時翻譯和語音助手等應用需要即時響應，而云端處理帶來的延遲可能會阻礙這一點。通過在邊緣設備上直接運行GenAI模型，可以最大限度地減少延遲，從而確保更快、更可靠的性能。

隱私和安全也是重要的考慮因素。將敏感數據發(fā)送到云端進行處理會帶來數據泄露和未經授權訪問的風險。通過在設備上本地處理數據，邊緣GenAI可以增強隱私并減少潛在的安全漏洞。這在醫(yī)療保健等應用中尤為重要，比如患者數據必須得到極其謹慎的處理。

連接受限也在推動邊緣GenAI的發(fā)展。在互聯(lián)網接入不可靠的偏遠地區(qū)或無服務地區(qū)，配備GenAI的邊緣設備可以在沒有云連接的情況下獨立運行，以確保持續(xù)的功能。這對于災難響應等應用至關重要，因為在這些場景中，通信基礎設施可能無法使用。

邊緣設備部署GenAI的挑戰(zhàn)

在邊緣設備上部署GenAI有諸多益處，但也帶來了一系列挑戰(zhàn)，包括計算復雜性、數據要求、帶寬限制、功耗和硬件限制等，需要加以解決以確保模型有效實施和運行。

先來看GenAI模型的計算復雜性。作為GenAI模型的基礎，Transformer由于注意力機制和廣泛的矩陣乘法而需要進行密集計算，也就需要大量的計算資源和內存，可能會給邊緣設備上有限的資源造成壓力。此外，邊緣設備通常需要執(zhí)行實時處理，尤其是在自動駕駛或實時翻譯等應用中，GenAI模型的高計算需求，使得在邊緣設備上實現(xiàn)必要的速度和響應頗具挑戰(zhàn)。

表1：GenAI模型（包括大型語言模型 (LLM) 和圖像生成器）參數明顯大于CNN

?

數據需求也是一個重大挑戰(zhàn)。訓練GenAI模型需要大量數據，例如GPT-4模型是在數TB的數據上進行訓練的，對于存儲和內存容量有限的邊緣設備來說，處理和存儲這些數據是不切實際的。即使在推理過程中，GenAI模型也可能需要大量數據才能生成準確且相關的輸出。由于存儲限制，在邊緣設備上管理和處理這些數據有很大的挑戰(zhàn)。

帶寬限制進一步增加了在邊緣設備上部署GenAI的難度。邊緣設備通常使用低功耗內存接口，如低功耗雙倍數據速率 (LPDDR) ，與數據中心使用的高帶寬內存（HBM）相比，其提供的帶寬較低，可能會限制邊緣設備的數據處理能力，從而影響GenAI模型的性能。在內存和處理單元之間高效地傳輸數據對于發(fā)揮GenAI模型性能至關重要，有限的帶寬可能會導致處理速度變慢和效率降低。

功耗是另一個關鍵問題。由于計算需求高，GenAI模型可能會產生較大的功耗，對于邊緣設備來說這是一個關鍵問題，特別是那些依賴電池供電的設備，如智能手機、物聯(lián)網設備和自動駕駛汽車。高功耗還會增加散熱，需要有效的熱管理解決方案。在緊湊的邊緣設備中管理散熱也具有挑戰(zhàn)性，并可能影響其使用壽命和性能。

硬件限制也是挑戰(zhàn)之一。與數據中心服務器相比，邊緣設備的處理能力通常有限。選擇能夠在保持能效和性能的同時，滿足GenAI需求的合適處理器至關重要。邊緣設備的內存和存儲容量有限，可能會限制可部署的GenAI模型的大小和復雜性。這就需要開發(fā)優(yōu)化的模型，使其能夠在這些限制內運行而不會影響性能。

模型優(yōu)化可以幫助解決這些挑戰(zhàn)。模型量化（降低模型參數的精度）和剪枝（去除冗余參數）等技術可以幫助降低GenAI模型的計算和內存需求。但是，這些技術需要謹慎應用，以保持模型的準確性和功能。開發(fā)專門針對邊緣部署優(yōu)化的模型有助于解決其中一些挑戰(zhàn)，涉及創(chuàng)建輕量級的GenAI模型，這些模型可以在邊緣設備上高效運行而不會犧牲性能。

軟件和工具鏈支持也很關鍵。在邊緣設備上有效地部署GenAI需要強大的軟件工具和框架來支持模型優(yōu)化、部署和管理，還需確保軟件資源與邊緣硬件的兼容性，并提供高效的開發(fā)流程。對于實時應用來說，優(yōu)化推理過程需減少延遲并提高效率，涉及對模型進行微調，并利用硬件加速器來實現(xiàn)最佳性能。

還必須解決安全和隱私問題——確保在邊緣設備上處理的數據的安全性至關重要，強大的加密和安全的數據處理實踐有助于保護敏感信息。在邊緣設備本地處理數據，可以盡量減少將敏感數據傳輸到云端，來幫助解決隱私問題。但是，也要確保GenAI模型本身不會意外泄露敏感信息。

通過仔細選擇硬件、優(yōu)化模型以及利用先進的軟件工具來應對這些挑戰(zhàn)，在邊緣設備上部署GenAI變得更加可行和有效，使廣泛的應用能夠從GenAI的能力中受益，同時保持邊緣計算的優(yōu)勢。

邊緣設備部署GenAI的處理器選擇

如上所述，選擇合適的嵌入式處理器有助于克服邊緣部署GenAI的挑戰(zhàn)，必須在計算能力、能源效率和負載靈活性之間取得平衡。

GPU和CPU具有靈活性和可編程性，因此適用于各種AI應用。但是，它們可能不是最節(jié)能的選擇。特別是會消耗大量電力的GPU，對電池供電的設備來說并不理想。ASIC 提供了針對特定任務優(yōu)化的解決方案，具有高效率和高性能。然而，其缺乏靈活性，使其很難適配不斷發(fā)展的AI模型和工作負載。

神經處理單元 (NPU) 在靈活性和效率之間取得了平衡。包括新思科技ARC NPX NPU IP在內的NPU專為AI工作負載而設計，為矩陣乘法和張量運算等任務提供優(yōu)化的性能，以及可編程且低功耗的解決方案，使其適用于邊緣設備。

圖 2：邊緣AI/ML的 CPU、GPU、NPU和ASIC比較，NPU提供最高效的處理能力以及可編程性和易用性。

例如，在NPU上運行Stable Diffusion這樣的GenAI模型，功耗僅為2瓦，而在GPU上運行則需要200瓦，功耗顯著降低。NPU還支持混合精度算法和內存帶寬優(yōu)化等高級功能，能夠更好地滿足GenAI模型的計算需求。

結論

向Transformer和GenAI的轉變代表了AI和ML領域的重大進步。這些模型提供了卓越的性能和多功能性，支持從自然語言處理到圖像生成等廣泛的應用。在邊緣設備上部署GenAI可以釋放無限可能，提供低延遲、安全且可靠的AI能力。

然而，要充分發(fā)揮邊緣GenAI的潛力，必須解決計算復雜性、數據需求、帶寬限制和功耗等挑戰(zhàn)。選擇合適的處理器（如NPU）可以提供一個平衡的解決方案，為邊緣應用提供必要的性能和效率。

隨著AI技術的不斷發(fā)展，邊緣設備集成GenAI將在推動創(chuàng)新和擴大智能技術覆蓋范圍方面發(fā)揮關鍵作用。通過應對這些挑戰(zhàn)并利用先進處理器的優(yōu)勢，我們可以讓AI無縫融入日常生活。