芯片行業正在朝著特定領域的計算發展，而人工智能（AI）則朝著相反的方向發展，這種差距可能會迫使未來芯片和系統架構發生重大變化。

這種分裂的背后是設計硬件和軟件所需的時間。自ChatGPT在全球推出以來的 18 個月里，大量軟件初創公司紛紛探索新架構和技術。考慮到映射到它們身上的任務變化速度之快，這種趨勢可能會持續下去。但生產一塊定制芯片通常需要超過 18 個月的時間。

在標準的世界中，軟件不會隨著時間的推移而發生太大變化，定制硬件以滿足應用程序或工作負載的確切需求是值得的，僅此而已。這是RISC-V背后的主要驅動因素之一，其中處理器ISA可以專門為給定任務設計。但是，隨著 AI 的多種變化，硬件在投入批量生產時可能已經過時了。因此，除非規范不斷更新，否則專門針對應用程序優化的硬件不太可能足夠快地進入市場以供使用。

因此，特定領域 AI 芯片首次運行失敗的風險會增加。在修復該問題的同時，生成式 AI 將繼續發展。

但這并不意味著定制硅片的末日。數據中心正在部署越來越多的處理架構，其中每一種架構在特定任務上都比單個通用 CPU 更勝一籌。Quadric 首席營銷官 Steve Roddy 表示：“隨著數據中心 AI 工作負載的激增，隨著數據中心芯片和系統被迫適應快速發展的形勢，即使是普通計算能力的最后一道堡壘也已崩潰 。”

但它確實指出了超高速、低功耗硅片與更多通用芯片或小芯片之間平衡的架構。

“在人工智能領域，人們強烈要求將事物變得盡可能通用和可編程，因為沒人知道下一個 LLM 事物何時會出現，并徹底改變他們做事的方式，”Blue Cheetah 首席執行官 Elad Alon 說道。“你越是陷入困境，就越有可能錯過潮流。與此同時，很明顯，幾乎不可能滿足使用完全通用系統所需的計算能力，因此也幾乎不可能滿足功率和能源要求。人們強烈要求定制硬件，使其在當今已知的特定事物上更加高效。”

挑戰在于如何高效地將軟件映射到這種異構處理器陣列上，而目前業界尚未完全掌握這一技術。共存的處理器架構越多，映射問題就越困難。“現代芯片中有一個 GPU、一個神經處理單元，還有核心處理，”Arteris 解決方案和業務開發副總裁 Frank Schirrmeister 在接受采訪時表示（他目前擔任 Synopsys 戰略項目和系統解決方案執行董事）。“你至少有三個計算選項，你必須決定將東西放在何處，并設置適當的抽象層。我們過去稱之為軟件協同設計。當你將算法或算法的一部分移植到NPU或 GPU 中時，你會重新調整軟件，將更多的軟件執行轉移到更高效的實現中。計算中仍有一個通用組件支持不同的元素。”

追逐領先者

AI 的出現得益于 GPU 的處理能力，圖形處理所需的功能與 AI 核心部分所需的功能非常接近。此外，創建了軟件工具鏈，使非圖形功能能夠映射到架構上，這使得 NVIDIA GPU 成為最容易定位的處理器。

“當有人成為市場領導者時，他們可能是市場上唯一的競爭者，每個人都會試圖對其做出反應，”Keysight 新機遇業務經理 Chris Mueth 表示。“但這并不意味著它是最優架構。我們可能暫時還不知道這一點。GPU 適用于某些應用，例如執行重復的數學運算，在這方面很難被超越。如果你優化軟件以與 GPU 配合使用，那么速度會非常快。”

成為通用加速器領導者可能會帶來阻力。西門子 EDA高級綜合項目總監Russell Klein說：“如果你要構建通用加速器，你就需要考慮面向未來的問題。當 NVIDIA 坐下來構建 TPU 時，他們必須確保 TPU 能夠滿足盡可能廣泛的市場，這意味著任何構想新神經網絡的人都需要能夠將其放入這個加速器中并運行它。如果你要為某個應用程序構建某個東西，則幾乎不需要考慮面向未來的問題。我可能希望構建一點靈活性，這樣我才有能力解決問題。但如果只是將其固定為一種能夠非常好地執行一項工作的特定實現，那么再過 18 個月就會有人想出一種全新的算法。好消息是我將領先于其他所有人，使用我的定制實現，直到他們能夠趕上他們自己的定制實現。我們利用現成的硬件能做的事情很有限。”

但特異性也可以分層構建。“IP 交付的一部分是硬件抽象層，它以標準化方式向軟件公開，”Schirrmeister 說。“如果沒有中間件，圖形核心就毫無用處。應用程序特異性在抽象中向上移動。如果你看看 CUDA，NVIDIA 核心本身的計算能力相當通用。CUDA 是抽象層，然后在其上具有用于生物學的各種事物的庫。這很棒，因為應用程序特異性上升到更高的水平。”

這些抽象層在過去非常重要。Expedera 首席科學家兼聯合創始人 Sharad Chole 表示：“Arm 在應用處理器之上整合了軟件生態系統。此后，異構計算使每個人都可以在該軟件堆棧上構建自己的附加組件。例如，高通的堆棧完全獨立于蘋果的堆棧。如果你將其延伸，就會有一個接口可用于獲得更好的性能或更好的功率分布。然后就有了協處理器的空間。這些協處理器將允許你進行更多的差異化，而不僅僅是使用異構計算進行構建，因為你可以添加或刪除它，或者你可以構建一個更新的協處理器，而無需啟動新的應用程序流程，而這要昂貴得多。”

經濟因素是一個重要因素。“接受 C++ 或其他高級語言的完全可編程設備以及功能特定的 GPU、GPNPU 和 DSP 的普及減少了新設計中對專用、固定功能且財務風險較高的硬件加速模塊的需求，”Quadric 的 Roddy 說道。

這既是技術問題，也是商業問題。Blue Cheetah 的 Alon 表示：“有人可能會說，我要做這個非常具體的目標應用，在這種情況下，我知道我將在 AI 或其他堆棧中做以下幾件事，然后你只需讓它們發揮作用。”“如果這個市場足夠大，那么對一家公司來說，這可能是一個有趣的選擇。但對于 AI 加速器或 AI 芯片初創公司來說，這是一個更棘手的賭注。如果沒有足夠的市場來證明整個投資的合理性，那么你必須預測尚不存在的市場所需的能力。這實際上是你正在采取什么樣的商業模式和賭注的混合體，因此可以采取什么樣的技術策略來盡可能地優化它。”

專用硬件的情況

硬件實現需要選擇。Expedera 的 Chole 說：“如果我們可以標準化神經網絡并說這就是我們要做的全部，那么您仍然必須考慮參數的數量、必要的操作數量以及所需的延遲。但情況從來都不是這樣的，尤其是對于 AI 而言。從一開始，我們就從 224 x 224 的郵票圖像開始，然后轉向高清，現在我們要轉向 4k。LLM 也是一樣。我們從 300 兆位模型（例如 Bert）開始，現在我們要朝著數十億、數十億甚至數萬億的參數邁進。最初我們只從語言翻譯模型（例如令牌預測模型）開始。現在我們有了多模式模型，可以同時支持語言、視覺和音頻。工作量在不斷發展，這就是正在發生的追逐游戲。

現有架構有許多方面值得質疑。Mythic 首席執行官兼聯合創始人 Dave Fick 表示：“設計一個好的系統的關鍵部分是找到系統性能的顯著瓶頸并找到加速它們的方法。”“人工智能是一項令人興奮且影響深遠的技術。然而，它需要每秒數萬億次操作的性能水平和標準緩存和 DRAM 架構完全無法支持的內存帶寬。這種實用性和挑戰性的結合使人工智能成為專用硬件單元的首選。”

通用設備數量不足以滿足需求，這可能是迫使行業開始采用更高效硬件解決方案的因素。“生成式人工智能領域的進展非常快，”Chole 說。“目前沒有任何東西可以在成本和功率方面滿足硬件的要求。什么都沒有。甚至 GPU 的出貨量也不夠。有訂單，但出貨量不夠。這是每個人都看到的問題。沒有足夠的計算能力來真正支持生成式人工智能的工作負載。”

小芯片可能有助于緩解這個問題。“即將到來的小芯片海嘯將加速數據中心的這種轉變，”Roddy 說。“隨著小芯片封裝取代單片集成電路，混合和匹配完全可編程 CPU、GPU、GPNPU（通用可編程 NPU）和其他處理引擎以完成特定任務的能力將首先影響數據中心，然后隨著小芯片封裝成本隨著產量的增加而不可避免地降低，慢慢輻射到更大批量、更成本敏感的市場。”

多個市場，多個權衡

雖然大多數注意力都集中在訓練新模型的大型數據中心上，但最終的收益將歸于使用這些模型進行推理的設備。這些設備無法承擔用于訓練的巨額電力預算。“用于訓練人工智能的硬件有點標準化，”Ansys產品營銷總監馬克·斯溫寧 (Marc Swinnen) 說。“你購買 NVIDIA 芯片，這就是你訓練人工智能的方式。但是一旦你建立了模型，你如何在最終應用程序中（也許是在邊緣）執行該模型。這通常是為該人工智能算法的特定實現量身定制的芯片。獲得高速、低功耗人工智能模型的唯一方法是為其構建定制芯片。人工智能將成為執行這些模型的定制硬件的巨大驅動力。”

他們要做一系列類似的決定。“并不是每個 AI 加速器都是一樣的，”Mythic 的 Fick 說。“關于如何解決 AI 帶來的內存和性能挑戰，有很多很棒的想法。特別是，有新的數據類型可以一直到 4 位浮點甚至 1 位精度。可以使用模擬計算來獲得極高的內存帶寬，從而提高性能和能效。其他人正在考慮將神經網絡精簡到最關鍵的位，以節省內存和計算。所有這些技術都將產生在某些領域強大而在其他領域薄弱的硬件。這意味著更大的硬件和軟件協同優化，以及需要建立一個具有各種 AI 處理選項的生態系統。”

這正是 AI 和 RISC-V 的利益交匯之處。Sigasi 首席執行官 Dieter Therssen 表示：“在 LLM 等軟件任務方面，它們將占據主導地位，足以推動新的硬件架構，但不會完全停止差異化，至少在短期內不會。”“即使 RISC-V 的定制也是基于進行一些 CNN 或 LLM 處理的需求。這里的一個關鍵因素是如何部署 AI。目前，有太多方法可以做到這一點，因此成像融合仍然遙不可及。”

結論

AI 是新興事物，發展速度如此之快，以至于沒有人能給出明確的答案。對于現有的應用程序來說，最佳架構是什么？未來的應用程序是否看起來足夠相似，以至于現有架構只需擴展？這似乎是一個非常幼稚的預測，但今天它可能是許多公司的最佳選擇。

GPU 和在其之上構建的軟件抽象使 AI 的快速崛起成為可能。它為我們看到的擴展提供了足夠的框架，但這并不意味著它是最高效的平臺。模型開發在一定程度上被迫朝著現有硬件支持的方向發展，但隨著更多架構的出現，AI 和模型開發可能會根據可用的硬件資源及其對電力的需求而出現分歧。電力很可能成為主導兩者的因素，因為目前的預測是，AI 將很快消耗掉全球發電能力的很大一部分。這種情況不能繼續下去。