數(shù)據(jù)中心對高性能硬件加速器的需求不斷增長，這些芯片在深度學習、圖像分類、對象檢測和識別以及自然語言處理等應用中采用人工智能技術。這些基于硬件加速器的芯片正在迅速取代傳統(tǒng)的 CPU 和 GPU，因為它們能夠以更低的功耗更快地處理 AI 任務。

硬件加速器——執(zhí)行基于云的訓練、數(shù)據(jù)分析、基因組學和搜索排名等特定任務的專用設備——被嵌入到 CPU、GPU、FPGA 和 ASIC 中，以服務于大規(guī)模并行的 AI 工作負載。還有 AI 加速卡，例如 Xilinx 的 Alveo U50和 Intel 的 D5005，可以處理更專業(yè)和計算密集型的工作負載。

FPGA 為數(shù)據(jù)中心服務器設計中的 CPU 提供工作負載加速。（圖片：英特爾）

那么對于從事以人工智能為中心的數(shù)據(jù)中心和云計算環(huán)境的工程師來說，與硬件加速器相關的基本設計考慮是什么？本文深入探討了一些值得關注的關鍵問題。

電源效率AI 芯片和加速器卡的設計和構建優(yōu)先考慮數(shù)據(jù)中心中的兩個關鍵現(xiàn)實世界考慮因素：盡可能快地執(zhí)行訓練和推理任務，并在給定的功率預算內(nèi)完成。AI 芯片為視頻內(nèi)容流和大規(guī)模模擬等數(shù)據(jù)中心應用程序提供高耗電工作負載，因此這些 AI 芯片中的硬件加速器必須在處理復雜工作負載時確保能源效率。

當總部位于中國上海的燎原科技宣布與 GlobalFoundries （GF） 合作推出用于數(shù)據(jù)中心培訓的深度學習解決方案時，基于云的 AI 培訓平臺的高能效數(shù)據(jù)處理被提及為關鍵價值主張。該公司的 深度思考單元 （DTU）加速器芯片基于格芯的 12LP FinFET 平臺，采用 2.5D 封裝。

數(shù)據(jù)中心正在膨脹，運營商正在尋找新的方法來加速從深度學習到自然語言處理等一系列數(shù)據(jù)驅(qū)動的工作負載。我們在即將到來的數(shù)據(jù)中心特別項目中深入研究了加速模型訓練和推理、數(shù)據(jù)分析和其他分布式應用程序的敏捷和超融合數(shù)據(jù)中心架構。

硬件加速器架構除了能效這一數(shù)據(jù)中心環(huán)境中的主要問題之外，AI 芯片設計人員還必須確定要加速什么、如何加速以及如何在各種神經(jīng)網(wǎng)絡（CNN、DNN 和 RNN）上運行加速器，以及廣泛的數(shù)據(jù)類型。這反過來又強調(diào)了如何在 AI 芯片上構建多個硬件加速器的重要性。

AI 設計人員正在對算法進行越來越精細的切片，同時添加更多硬件加速器，以滿足現(xiàn)代數(shù)據(jù)中心工作負載處理和分析龐大數(shù)據(jù)集的不斷變化的需求。這使得硬件架構對于處理機器視覺、深度學習和其他 AI 工作負載至關重要。

英偉達收購 Mellanox就是一個很好的例子。Mellanox 的互連技術可以幫助領先的 AI 芯片制造商創(chuàng)建更全面的架構，并支持包含數(shù)萬個計算節(jié)點的數(shù)據(jù)中心規(guī)模的工作負載。高效的互連技術提高了神經(jīng)網(wǎng)絡訓練的速度和準確性，并降低了數(shù)據(jù)中心的功耗。

可編程加速器另一項收購指出了對 AI 加速器的另一個關鍵要求：可編程性。當英特爾 以大約 20 億美元的價格收購總部位于以色列的深度學習加速器開發(fā)商Habana Labs時，主要是 Habana 數(shù)據(jù)中心加速器的可編程性成為頭條新聞。隨后，英特爾停止了其內(nèi)部 Nervana 神經(jīng)網(wǎng)絡處理器系列的開發(fā)。

可編程性功能使 AI 設計人員能夠滿足各種工作負載和神經(jīng)網(wǎng)絡拓撲的需求。當軟件算法的變化速度超過人工智能芯片的開發(fā)速度時，這一點尤其重要，這使得硬件加速器成為固定功能的設備。

在這里，可編程性使 AI 加速器能夠適應不斷變化的數(shù)據(jù)中心設計需求。例如，具有可編程功能的靈活架構可以幫助 AI 設計人員管理不斷變化的工作負載、新標準和更新的算法。

人工智能設計生態(tài)系統(tǒng)上述兩項收購也表明人工智能芯片制造商正在努力拼湊包括硬件和軟件在內(nèi)的廣泛技術組合。英特爾和英偉達等公司的目標是提供從人工智能處理器到人工智能軟件工具包的產(chǎn)品。

因此，人工智能設計人員必須仔細審查用于模型創(chuàng)建、芯片評估和概念驗證設計的開發(fā)工具的可用性。檢查硬件加速器支持哪些 AI 框架（Caffe、PyTorch、TensorFlow 等）也是值得的。

然后是軟件開發(fā)工具包，將 TensorFlow 等 AI 框架作為學習環(huán)境，并提供迎合學習模型和推理處理的數(shù)據(jù)轉(zhuǎn)換工具。

開發(fā)套件如何促進數(shù)據(jù)中心工作負載的 AI 加速（圖片：Xilinx）

硬件加速器 IP集成到芯片中的 AI 加速器也可用作硬件 IP。幾家半導體公司通過 IP 許可模式提供用于定制芯片的 AI 加速器。

以加州米爾皮塔斯的 Gyrfalcon Technology Inc. （GTI） 為例，該公司為數(shù)據(jù)中心設計 AI 芯片，并為數(shù)據(jù)中心芯片提供 Lightspeeur 2803加速器 IP。Gyrfalcon 為被許可方提供 USB 3.0 加密狗，人工智能芯片設計人員可以在 Windows 和 Linux PC 以及 Raspberry Pi 等硬件開發(fā)套件上使用這些加密狗。