本文由TechSugar編譯自electronicdesign

當大多數人想到人工智能（AI）時，他們通常能想到的是能夠生成新文本、圖像或語音內容的應用。像ChatGPT這樣流行的文本應用（在幾天內就吸引了超過100萬用戶）在市場上迅速崛起并被廣泛采用。而手機用戶則經常使用語音搜索功能。

這些應用有什么共同點呢？它們都依賴于云端來處理AI工作負載。盡管云端生成式AI的成本高昂，但其具有的幾乎無限的內存能力和電力容量意味著基于云的應用將繼續推動這些流行的生成式AI應用的發展。

然而，令許多設計工程師、嵌入式工程師和數據科學家更為擔憂的是，邊緣AI應用的爆炸式增長。在邊緣設備上執行復雜的生成式AI任務帶來了許多新的挑戰，如：

實時處理需求

嚴格的成本要求

有限的內存資源

緊湊的空間要求

強制性的功耗預算

挑戰1：實時處理需求

AI云最大的缺點之一就是在數據的發送和接收過程中存在延遲。對于像ChatGPT這樣的應用來說，這并不是問題，因為用戶不會注意到這幾秒鐘的延遲，他們可以等待幾秒鐘來完成文本生成。然而，在許多邊緣應用中，這種延遲是不可接受的。

例如，在自動駕駛汽車應用中，根據識別到的人和其他車輛等圖像來進行轉向和制動，做這些攸關生死的決定至關重要。等待與云端通信的延遲是完全不可接受的。邊緣AI應用必須能夠在數據被收集的邊緣位置實時處理數據，以滿足這些對時間敏感應用的要求。

挑戰2：嚴格的成本要求

對于擁有龐大客戶基礎的公司而言，使用昂貴的云解決方案來處理其AI工作負載，從財務上而言是合理的。然而，在大多數邊緣應用中，成本是一個關鍵因素，也是市場上打造具有競爭力產品的關鍵因素。在合理的成本范圍內有效增加生成式AI功能，對AI設計師和數據科學家來說將是一個挑戰。

例如，在智慧城市應用中，雖然希望為攝像頭和電力監控系統增加高級功能，但這些功能必須保持在政府緊張的預算范圍內。因此，云方案變得不切實際。低成本邊緣AI處理是必需的。

挑戰3：有限的內存資源

AI云的另一個優勢是其具有幾乎無限的內存容量，這對于處理像精確文本分析和生成所需的大型數據集特別有用。然而，邊緣應用并沒有這種奢侈的“條件”，因為它們的內存容量受到尺寸、成本和功耗的限制。在這種資源有限的情況下，如何以最大帶寬、高效地利用內存對于邊緣應用來說變得至關重要。

挑戰4：緊湊的空間要求

數據中心位于寬敞的空間內，因此，這些AI應用不會像邊緣設計那樣經常遇到空間問題。無論是汽車設計中的有限儀表板下空間，還是航空航天應用中的尺寸和重量考慮，邊緣設計通常都會遇到實施AI功能的空間限制。

這些設計必須滿足對計算和內存資源的特定尺寸要求，以便在邊緣高效地處理AI工作負載。

挑戰5：強制性的功耗預算

功耗預算時基于邊緣的設計所面臨的最終挑戰，可能也是最為關鍵的。AI云消耗了大量的電力，但由于其可以直接接入電源，所以最終可歸結為電力成本。

在邊緣AI應用中，電力可能很容易獲得。然而，功耗仍然是一個關鍵因素，因為它在應用的總體成本中可能占比比較高。在電池供電的邊緣AI應用中，功耗的重要性更為突出，因為高功耗設備會縮短產品的使用壽命，這成為了一個關鍵考量因素。

解決邊緣AI設計挑戰的解決方案

因此，問題就變成了：“工程師如何在實現所需功能的同時，應對這些挑戰并開發出成功的邊緣AI產品？”需要考慮的五個關鍵點如下：

1. 認識到邊緣GPU的局限性

GPU在AI云應用中具有許多優勢，其特性與AI云應用的需求高度契合。GPU具有強大的處理能力，AI云應用可以充分利用這一優勢，并且GPU能夠很好地滿足實時處理要求。然而，在考慮將GPU用于邊緣應用時，還需要審視使用GPU的弱點。GPU的成本高于AI加速器，通常高出5倍至10倍，因此它們無法滿足邊緣AI的成本要求。GPU通常應用于相當大的封裝設備和大盒子中，往往無法滿足邊緣應用的尺寸要求。最后，GPU消耗的功率遠高于典型的AI加速器，也很難實現功耗預算。

2. 認識到完整軟件解決方案的必要性

從歷史角度來看，許多AI加速器開發者首先關注芯片設計，這是可以理解的。這仍然是高質量邊緣AI解決方案的重要組成部分。然而，由于這些解決方案必須創建和修改軟件以適應已經確定的芯片設計，因此它們可能無法充分利用高效AI處理的所有可能方面。與過去工程設計公司中大多數設計師專注于硬件不同，現在軟件工程師的數量遠遠超過了硬件設計師，這使得軟件能力和易用性變得越來越重要。一個出色的整體AI解決方案需要軟件開發，使芯片能夠盡可能高效地處理AI模型。先設計軟件，然后再設計芯片，這樣可以得到最佳的AI解決方案。

3. 輕松集成到現有系統

雖然一些AI設計可能要從頭開始的，但更多時候，設計師們試圖將AI功能集成到現有系統中。通過添加AI處理能力，這些現有系統可以在保持相同外觀尺寸的同時，為終端用戶提供更多功能。能夠與當前設計輕松集成的重要性不言而喻。因此，提供對廣泛現有處理器的異構支持的AI解決方案將更容易將AI功能添加到現有設計中。

4. 高效的神經網絡處理

最終，AI解決方案的整體有效性取決于神經網絡能否高效地正確處理AI工作負載。盡管在眾多供應商的方案中進行篩選可能頗具挑戰性，但了解AI解決方案“內核”的結構和能力至關重要。我們需要了解模型是如何處理的，實施了哪些創新來提高處理效率，以及對比特定模型的處理性能。

5. DRAM的容量和帶寬

AI設計中一個經常被忽視的方面是解決方案能夠有效利用內存的能力。一些加速器解決方案的片上內存有限或根本沒有，這會降低AI處理能力。訪問片外內存資源非常耗時，從而會顯著增加延遲。其他解決方案可能具備片上內存，但如果DRAM帶寬不夠高，訪問內存的延遲也會限制AI處理能力。

尋找合適的邊緣AI解決方案供應商

隨著AI從云端向邊緣端遷移，并在各行各業中得到越來越廣泛的應用，嵌入式設計師正面臨諸多挑戰。選擇能夠支持當前和未來邊緣AI解決方案的合適AI硬件供應商，對于產品的成功實施至關重要。