將人工智能（AI）應用到許多復雜的應用程序中正在成為一種新趨勢。在某種意義上，這些應用程序需要大量的人工智能推理操作，但很少有架構師能夠準確地說出這些操作將做什么。自動駕駛可能是最好的例子，改進的人工智能模型研究正以瘋狂的速度進行。當人工智能推理模型不確定時，計算環境應該是什么樣子？

軟件增加了人工智能推理的靈活性，但要付出代價

面對不確定性，一個熟悉的反應是選擇可編程性軟件。這種動態主導了幾代人的大規模CPU內核開發。更快的處理器首次亮相，程序員編寫更多的軟件，直到它占用所有新開發的容量，然后又一輪更快的處理器出現。但是，在人工智能推理中，龐大的CPU內核與細粒度的并行工作負載之間存在不匹配，效率低下變得勢不可擋。

然后GPU出現在AI推理工作中，有許多更小的并行內核和多線程。從表面上看，擴展快速GPU內核的軟件可編程領域似乎更適合細粒度推理工作負載。如果有一個基于GPU的硬件機架的空間，則可以在系統中裝入大量TOPS。但更大的GPU開始以次優互連和內存訪問的形式為AI推理提出其他問題。硬件利用率不高，確定性和延遲值得懷疑。功耗和冷卻也朝著錯誤的方向發展。

硬件可以圍繞已知的工作負載進行優化

如果這聽起來像是工作負載優化的定制SoC，那是因為它確實如此。設計高性能執行單元，優化內存訪問和互連，并圍繞運行AI推理模型來組織它們。

我們看到現成的AI推理SoC層出不窮——主要針對一類特定的AI推理問題。有一些SoC設計用于運行YOLO模型進行面部識別。還有些優化了輔助駕駛功能，如車道保持或緊急制動。人工智能推理在制藥研究等領域也開始受到重視。如果人工智能推理模型定義明確，則可以實現硬件工作負載的優化。

但不同的AI推理模型并不以相同的方式映射到層或執行單元。圍繞一個模型優化硬件對于其他模型可能是完全低效的。更糟糕的是，一些更復雜的問題需要在同時運行不同類型的人工智能推理模型。

過于嚴格地細分定制SoC可能會導致鎖定，可能會妨礙增強的AI推理模型在不重新設計硬件的情況下有效運行。對于一個生命周期較長的項目來說，這是一個可怕的消息，因為在這個項目中，突破性的人工智能推理創新尚未出現。如果定制SoC上的容量太低，也不利于投資回報。

需要快速、可編程的人工智能推理硬件

一些IP供應商正在研究可重構AI推理引擎的細節，以提高利用率和效率。大多數都是在共同設計的前提下進行的，在這個前提下，我們可以查看手頭的人工智能推理模型，然后決定如何配置引擎以最佳地運行它們。

總而言之，當我們開始項目時，我們不知道最佳硬件解決方案是什么樣子。我們需要一個平臺來快速探索IP的組合，并相應地改變設計，可能在開發過程中多次改變。我們必須迅速做出反應，跟上新研究中最先進的人工智能推理方法。此外，如果我們要定制SoC，我們需要在使用芯片之前先使用一個廉價的軟件開發平臺。

在考慮設計一個工作負載優化的SoC之前，或者甚至在容量較低的情況下考慮一個SoC，我們應該考慮一個基于FPGA的解決方案。應用程序可能依賴于當前不斷變化的人工智能推理模型這一事實強化了這種選擇。

在此背景下，Achronix VectorPath加速卡與BittWare聯合設計，現已全面上市。它搭載Achronix Speedster 7t1500 FPGA，其獨特的多可分解MAC陣列與高性能LRAM和BRAM相匹配。這種設計的大部分注意力都集中在其用于高頻交易等應用的熾熱以太網連接上。它也是一個86 TOPS引擎，具有用于優化IP互連的二維NoC，以及到GDDR6內存的4 TB帶寬。傳感器數據可以通過這些以太網端口或MCIO通道以PCIe Gen5數據速率或GPIO上的傳統接口傳輸。

簡而言之，它是一個強大的人工智能推理平臺，無論是從第三方IP開始還是內部設計。它憑借其PCIe外形尺寸輕松融入主機系統。

審核編輯：劉清