電子發燒友網綜合報道，在人工智能迅猛發展的當下，AI推理芯片需求正呈爆發式增長。

AI推理，即支撐如ChatGPT這類AI模型響應用戶問題和請求的計算過程。過去，英偉達在訓練大型AI模型所需芯片領域占據主導，其GPU憑借強大的海量數據處理能力，成為全球AI爆炸式增長的重要基石。但隨著AI不斷演進，重點正從大規模訓練轉向對已訓練模型的推理和推斷，推理已然成為新的競爭戰場。業內普遍分析，到2026年，全球AI推理需求將超越AI訓練場景。

推理與訓練對芯片要求差異明顯。訓練側重海量數據處理，推理則對內存需求更高，因芯片需花更多時間從內存獲取數據。英偉達和AMD的GPU依賴外部內存，這會增加處理時間，降低用戶與聊天機器人交互速度。以OpenAI為例，其用于生成計算機代碼且大力推廣的產品Codex，部分性能不足就歸因于基于英偉達GPU的硬件。OpenAI首席執行官Sam Altman稱，使用其編程模型的客戶愿為編碼速度支付高溢價，為滿足需求，OpenAI最近與Cerebras達成合作。

自去年起，OpenAI積極尋找GPU替代方案，重點關注在同一塊硅片上集成大量內存（SRAM）的芯片制造商。在每顆芯片上集成更多昂貴的SRAM，能在聊天機器人等AI系統處理海量用戶請求時帶來速度優勢。

面對推理市場的巨大潛力，其他企業也紛紛布局。Anthropic的Claude和谷歌的Gemini等競爭產品，更多依賴谷歌自研的TPU進行部署。TPU專為推理計算設計，性能可能優于英偉達GPU這類通用型AI芯片。

英偉達也未坐視不理。不久前，它以200億美元收購一家AI推理芯片初創企業Groq的技術授權，并將核心團隊招入麾下。Groq專注極致推理，其創始人Jonathan Ross帶領谷歌TPU原班人馬，耗時七年打造出LPU（語言處理單元）架構，曾宣稱推理性能是英偉達H100 GPU的10倍，成本僅為其十分之一。

國內企業同樣在積極布局。曦望董事長徐冰預計，到2030年，AI推理在整個AI計算市場將占80%份額，聚焦極致推理的AI芯片未來爆發性更強。1月27日，國產GPU廠商曦望發布新一代推理GPU芯片——啟望S3。這款專為大模型推理打造的定制化GPGPU芯片，在典型推理場景下，整體性價比較上一代提升超10倍。在算力與存儲設計上，支持FP16至FP4精度切換，采用LPDDR6顯存方案，顯存容量提升4倍，有效緩解大模型推理的顯存瓶頸，成為國內首款采用此顯存方案的芯片。在主流大模型推理中，單位Token成本較上一代降低約90%，極大推動了大模型推理的大規模普惠應用。

云天勵飛自2014年成立便持續投入AI推理芯片研發，已推出四代基于深度神經網絡架構的自研NPU，并基于最新NPU架構推出多款芯片，應用于端側與邊緣側AI推理場景。公司副總裁鄭文先表示，正在研發的新一代芯片采用GPNPU架構，既適應GPU的CUDA生態，方便客戶模型牽引，又兼顧NPU的高效靈活，成本更具優勢，符合未來大模型在端側與邊緣側規模化落地的需求。董事長陳寧博士稱，未來AI需求轉向推理，對AI芯片需求也將從訓練芯片轉向推理芯片，GPNPU架構是通用型大算力云端推理芯片架構的最優解，公司將全力投入大算力AI推理芯片研發，打造極致推理效率和性價比的大模型云推理芯片。