作者：Majeed Ahmad，特約作家

硬件加速器——用于執行特定任務（如對對象進行分類）的專用設備——越來越多地嵌入到為各種 AI 應用程序服務的片上系統 (SoC) 中。它們有助于創建緊密集成的定制處理器，提供更低的功耗、更低的延遲、數據重用和數據局部性。

首先，有必要對 AI 算法進行硬件加速。AI 加速器專門設計用于更快地處理 AI 任務；它們以傳統處理器不可行的方式執行特定任務。

此外，沒有任何一個處理器可以滿足 AI 應用程序的多樣化需求，在這里，集成到 AI 芯片中的硬件加速器可為特定工作負載提供性能、電源效率和延遲優勢。這就是為什么基于 AI 加速器的定制架構開始挑戰將 CPU 和 GPU 用于 AI 應用程序的原因。

AI 芯片設計人員必須確定要加速什么、如何加速以及如何將該功能與神經網絡互連。以下是定義在不斷發展的 AI 工作負載中使用硬件加速器的主要行業趨勢的快照。不可避免地，它始于可集成到各種 AI 芯片和卡中的 AI 加速器。

AI 加速器 IP硬件加速器廣泛用于 AI 芯片中，用于分割和加速數據密集型任務，例如計算機視覺和深度學習，用于訓練和推理應用。這些 AI 內核可加速 Caffe、PyTorch 和 TensorFlow 等 AI 框架上的神經網絡。

Gyrfalcon Technology Inc. (GTI) 通過 IP 許可模式設計 AI 芯片并提供用于定制 SoC 設計的 AI 加速器。這家總部位于加利福尼亞州米爾皮塔斯的 AI 新貴 分別為邊緣和云應用程序提供 Lightspeeur2801和2803 AI 加速器。

值得注意的是，Gyrfalcon 還圍繞這些硬件加速器開發了 AI 芯片，這使得這些 AI 加速器 IP 經過硅驗證。該公司用于邊緣設計的 2801 AI 芯片每秒每瓦 (TOPS/W) 執行 9.3 tera 運算，而其用于數據中心應用的 2803 AI 芯片可提供 24 TOPS/W。

除了 IP 開發工具和技術文檔，Gyrfalcon 還為 AI 設計人員提供 USB 3.0 加密狗，用于模型創建、芯片評估和概念驗證設計。被許可方可以在 Windows 和 Linux PC 以及 Raspberry Pi 等硬件開發套件上使用這些加密狗。

硬件架構AI 加速器的基本前提是比以往更快地處理算法，同時盡可能降低功耗。它們在邊緣、數據中心或介于兩者之間的某個地方執行加速。人工智能加速器可以在 ASIC、GPU、FPGA、DSP 或這些設備的混合版本中執行這些任務。

這不可避免地會導致針對機器學習 (ML)、深度學習、自然語言處理和其他 AI 工作負載進行優化的幾種硬件加速器架構。例如，一些 ASIC 設計為在深度神經網絡 (DNN) 上運行，而后者又可以在 GPU 或其他 ASIC 上進行訓練。

使 AI 加速器架構至關重要的是 AI 任務可以大規模并行。此外，人工智能加速器設計與多核實現交織在一起，這凸顯了人工智能加速器架構的重要性。

接下來，人工智能設計通過添加越來越多的加速器來對算法進行越來越精細的分割，以提高神經網絡的效率。用例越具體，就越有機會細粒度地使用多種類型的硬件加速器。

在這里，值得一提的是，除了將人工智能加速器整合到定制芯片中外，加速器卡也被用于提高云服務器和本地數據中心的性能并減少延遲。例如，賽靈思公司的Alveo加速器卡與 CPU 相比，可以從根本上加速數據庫搜索、視頻處理和數據分析（圖 1）。

圖 1：與高端 GPU 等固定功能加速器相比，Alveo U250 加速器卡將實時推理吞吐量提高了 20 倍，并將低于 2 毫秒的延遲降低了 4 倍以上。（圖片：賽靈思公司）

可編程性 AI 設計中發生了很多動態變化，因此，軟件算法的變化速度超過了 AI 芯片的設計和制造速度。它強調了在這種情況下往往成為固定功能設備的硬件加速器面臨的一個關鍵挑戰。

因此，加速器中必須具有某種可編程性，使設計人員能夠適應不斷變化的需求。可編程特性帶來的設計靈活性還允許設計人員處理各種 AI 工作負載和神經網絡拓撲。

英特爾公司通過以大約 20 億美元的價格收購了一家位于以色列的可編程深度學習加速器開發商，響應了這一對人工智能設計可編程性的呼吁。Habana 用于訓練的Gaudi處理器和用于推理的Goya處理器提供了易于編程的開發環境（圖 2）。

圖 2：這就是開發平臺和工具如何使用 Gaudi 訓練加速器加速 AI 芯片設計。（圖片：哈瓦那）

邊緣的人工智能現在很明顯，人工智能推理的市場比人工智能訓練要大得多。這就是為什么業界見證了各種芯片正在針對從訓練到推理的各種 AI 工作負載進行優化。

這將微控制器 (MCU) 帶入了主要與強大的 SoC 相關聯的 AI 設計領域。這些 MCU 正在整合 AI 加速器，為對象檢測、面部和手勢識別、自然語言處理和預測性維護等應用中資源受限的工業和物聯網邊緣設備提供服務。

以 Arm 的Ethos U-55microNPU ML 加速器為例，NXP Semiconductors 正在將其集成到其基于 Cortex-M 的微控制器、跨界 MCU 和應用處理器中的實時子系統中。Ethos U-55 加速器與 Cortex-M 內核協同工作以實現小尺寸。其先進的壓縮技術可顯著節省電力并減少 ML 模型大小，從而能夠執行以前僅在較大系統上運行的神經網絡。

NXP 的eIQML 開發環境為 AI 設計人員提供了多種開源推理引擎選擇。根據具體的應用要求，這些 AI 加速器可以集成到各種計算元素中：CPU、GPU、DSP 和 NPU。

審核編輯 黃昊宇