前言： 鑒于ChatGPT的廣泛應用，引發了AI算力需求的迅猛增長，使得英偉達的AI芯片供不應求，出現大規模短缺。如今，英偉達似乎在面對更多挑戰。

比英偉達GPU快10倍的LPU

近兩天，一家名為Groq的美國人工智能公司受到了廣泛關注，其主要原因在于其自主研發的LPU芯片在人工智能推理技術上取得了突破。

通過優化架構和減少內存瓶頸，Groq的LPU芯片在大模型處理方面展現出高效率和低延遲的特點，速度遠超英偉達GPU，每秒生成速度接近500 tokens，而GPT-4僅40 tokens。

因此，Groq LPU被譽為[史上最快的大模型技術]。

Groq LPU的工作原理與英偉達的GPU不同，它采用了名為時序指令集計算機（Temporal Instruction Set Computer）架構，使用存儲器為靜態隨機存取存儲器（SRAM），其速度比GPU所用的高帶寬存儲器（HBM）快約20倍。

據Groq在2024年1月的第一個公開基準測試，由Groq LPU驅動的Meta Llama 2-70B模型，推理性能比其他頂級云計算供應商快18倍。

artificialanalysis.ai給出的測評結果也顯示，Groq的吞吐量速度稱得上是[遙遙領先]。

總結起來，Groq的架構建立在小內存，大算力上，因此有限的被處理的內容對應著極高的算力，導致其速度非常快。

有分析人士稱，在A100和H100相對緊缺的時代，LPU或許會成為大模型開發商的新選擇。

Grop部署起來甚至比英偉達要貴

當初Groq以其閃電般的速度令AI行業為之震撼。

然而，在震撼之余，許多業界人士核算后發現，這種速度背后的代價可能過于高昂。

Groq的LPU芯片摒棄了HBM，僅依賴SRAM進行計算。

盡管這種方式確實帶來了令人矚目的計算速度，但其成本效益問題卻備受質疑。

值得關注的是，盡管Groq在速度上表現出色，但其背后的成本卻相當高昂。

若以未來三年運行成本計算，Groq的硬件采購成本高達1144萬美元，而運營成本至少為76.2萬美元。

據此估算，在同等吞吐量下，Groq的硬件成本約為H100的40倍，能耗成本則是10倍。

若考慮運營三年，Groq硬件的購買成本為114.4萬美元，運營成本為76.2萬。

另一方面，對于一個8卡的H100盒子，硬件購買成本為30萬美元，運營成本約為7.2萬或稍低。

由于Groq內存容量相對較小（230MB），在運行Llama-270b模型時，需配備305張Groq卡才能滿足需求，而使用H100僅需8張卡。

因此，從當前價格來看，在同等吞吐量下，Groq的硬件成本是H100的40倍，能耗成本是10倍。

換言之，Groq的高速性能是建立在有限的單卡吞吐能力基礎之上的。

為實現與H100相同的吞吐量，Groq需采用更多張顯卡。

在此背景下，[速度]成為了Groq的一把雙刃劍。

Groq喊話[三年內趕超英偉達]

近期，一位自稱為Groq員工的用戶在與網絡用戶互動時表示，Groq致力于成為最快速的大規模模型硬件，并誓言在三年內超越英偉達。

然而，截至2月20日美股收盤，英偉達股價單日跌幅達4.35%，創下去年10月以來最大單日跌幅，市值一夜之間縮水780億美元（約合5600億元人民幣）。

盡管Groq速度迅猛，但價格較高，目前尚不能與英偉達抗衡。SRAM技術面積大、功耗高，早已以IP內核形式集成至系統級芯片（SoC），而非單獨應用，其未來發展潛力遠不及HBM（高帶寬內存）。

在單位容量價格、性能及功耗方面，英偉達GPU所采用的HBM技術均優于SRAM。

從技術和性能角度看，Groq目前尚無法撼動英偉達的地位。

原因在于，英偉達GPU產品具有通用性，而Groq產品為ASIC（專用集成電路），并非通用產品，而是定制產品。

換言之，任何人工智能算法均可使用英偉達的H200，但僅Mixtral和Llama2能采用Groq的LPU。

欲使用Groq產品，大模型公司需先明確需求、指定規格，然后進行功能驗證，最終生產出的產品方可投入使用。

英偉達財報再次印證了其在人工智能浪潮中成為最大贏家的地位。

英偉達于北京時間2月22日發布截至2024年1月28日的四季度業績報告。

報告顯示，公司季度營收創紀錄達到221億美元，遠超英偉達自身及華爾街預期，同比增長265%。

全年營收同樣創下新高，達到609億美元，同比增長126%。

英偉達預計本季度營收將進一步攀升至240億美元。財報發布后，其股價盤后一度漲超10%。

結尾：

Groq架構的特點是小內存和大算力，適合頻繁數據搬運的場景，速度快但單卡吞吐能力有限，需要更多卡來保證同等吞吐量，速度既是優勢也是劣勢。

此外，由于GPU的生態極為發達，其中英偉達的GPU不僅性能強大，在性能卓越的同時，還聚集了大量用戶和豐富的生態環境。

相比之下，Groq 目前僅能為少數大型模型提供服務，想要在低延遲領域建立持續優勢，需要拓寬服務范圍并進一步減少總體成本。

審核編輯：劉清