在大模型產(chǎn)業(yè)發(fā)展的早期階段，行業(yè)焦點主要集中在大模型訓(xùn)練所需的算力投入。一個萬億參數(shù)大模型的訓(xùn)練可能需要數(shù)千張GPU芯片連續(xù)運行數(shù)月，成本高達(dá)數(shù)千萬甚至上億元。但隨著大模型技術(shù)的成熟和應(yīng)用落地，推理算力正在成為市場關(guān)注的新焦點。

一、訓(xùn)練算力的"一次性投入"困境

大模型訓(xùn)練是典型的"一次性高成本投入"模式。根據(jù)OpenAI的公開數(shù)據(jù)，GPT-3.5的訓(xùn)練大約使用了1024張A100芯片，耗時約3個月，成本超過1000萬美元。而GPT-4的訓(xùn)練成本更是達(dá)到了上億美元級別。這種高成本的訓(xùn)練模式使得大模型技術(shù)長期被少數(shù)巨頭企業(yè)掌握。

但訓(xùn)練只是大模型應(yīng)用的第一步，真正考驗算力能力的是大規(guī)模商業(yè)應(yīng)用后的推理階段。一個活躍用戶每天與大模型的互動可能需要消耗數(shù)美元的推理算力成本，而當(dāng)用戶規(guī)模達(dá)到百萬級甚至千萬級時，推理算力的需求將呈指數(shù)級增長。

二、推理算力需求的新拐點根據(jù)IDC中國的預(yù)測，中國智能算力規(guī)模仍將保持高速增長，2025年將較2024年增長43%，2026年中國智能算力規(guī)模將達(dá)到2024年的兩倍。其中，推理算力的增長速度將遠(yuǎn)超訓(xùn)練算力。

中國IDC圈創(chuàng)始人、CEO黃超表示，2026年產(chǎn)業(yè)智能體將進(jìn)入百花齊放的發(fā)展階段，算力應(yīng)用正從"訓(xùn)練主導(dǎo)"悄然轉(zhuǎn)向"推理驅(qū)動"，推理算力需求的爆發(fā)周期即將全面到來。科智咨詢發(fā)布的《算力基礎(chǔ)設(shè)施產(chǎn)業(yè)發(fā)展現(xiàn)狀與未來趨勢》報告顯示，到2026年，中國智算需求將占新增需求的71%，而其中推理算力的占比將超過50%。

從用戶數(shù)據(jù)來看，推理算力的需求增長已經(jīng)顯現(xiàn)。QuestMobile發(fā)布的AI應(yīng)用周活排行榜顯示，豆包、DeepSeek、元寶、螞蟻阿福位列周活前四，新上線的螞蟻阿福和靈光增長迅猛，通用AI在用戶規(guī)模上保持優(yōu)勢。這些活躍用戶每天產(chǎn)生的海量推理請求，對算力服務(wù)商的推理能力提出了極高要求。

三、推理算力的技術(shù)新挑戰(zhàn)與訓(xùn)練算力相比，推理算力面臨著完全不同的技術(shù)挑戰(zhàn)：

• 低時延要求：用戶與大模型的交互需要即時響應(yīng)，推理時延需要控制在數(shù)百毫秒以內(nèi)，否則會嚴(yán)重影響用戶體驗。
• 高并發(fā)支持：商業(yè)應(yīng)用場景下，大模型可能需要同時處理數(shù)十萬甚至數(shù)百萬用戶的請求，需要算力系統(tǒng)具備強(qiáng)大的并發(fā)處理能力。
• 能效比優(yōu)化：推理算力是持續(xù)消耗型需求，能效比直接決定了企業(yè)的運營成本。根據(jù)國際能源署的預(yù)測，到2030年，AI設(shè)施的用電量將增長五倍，對推理算力的能效比提出了更高要求。
• 異構(gòu)算力協(xié)同：不同的大模型推理場景對算力的需求各不相同，需要算力系統(tǒng)支持CPU、GPU、NPU等多種異構(gòu)芯片的協(xié)同工作。

為了應(yīng)對這些挑戰(zhàn)，算力服務(wù)商正在探索新的技術(shù)路徑。比如，中科曙光推出的"scaleX"萬卡超集群系統(tǒng)采用浸沒相變液冷技術(shù)，將PUE值降至1.04，顯著提升了推理算力的能效比。華為則推出了昇騰AI芯片及全棧解決方案，針對推理場景進(jìn)行了深度優(yōu)化，支持高并發(fā)、低時延的推理服務(wù)。

四、算力服務(wù)商的新機(jī)遇推理算力需求的爆發(fā)，為算力服務(wù)商帶來了新的發(fā)展機(jī)遇：

• 長期穩(wěn)定的營收來源：推理算力需求具有持續(xù)性和穩(wěn)定性，相比一次性的訓(xùn)練算力需求，更適合作為算力服務(wù)商的核心營收來源。
• 垂直行業(yè)定制化服務(wù)：不同行業(yè)的大模型應(yīng)用場景對推理算力的需求各不相同，算力服務(wù)商可以針對金融、醫(yī)療、教育等垂直行業(yè)提供定制化的推理算力解決方案。
• 綠色算力應(yīng)用場景：推理算力對能效比的高要求，推動了綠色算力技術(shù)的發(fā)展。廊坊的智算集群通過AI算法對系統(tǒng)進(jìn)行數(shù)據(jù)分析，動態(tài)調(diào)整負(fù)載分配，將PUE值降至1.25以下，為綠色推理算力應(yīng)用提供了范例。
• 邊緣推理算力布局：隨著大模型應(yīng)用向終端設(shè)備延伸，邊緣推理算力需求正在快速增長。算力服務(wù)商可以通過部署邊緣推理節(jié)點，為終端設(shè)備提供低時延的推理服務(wù)。
  

五、未來趨勢展望從訓(xùn)練到推理的算力需求拐點已經(jīng)到來，未來大模型產(chǎn)業(yè)的競爭將更多地圍繞推理算力展開：

• 推理芯片將成為市場新寵：專門針對大模型推理優(yōu)化的芯片將成為市場關(guān)注的焦點，國產(chǎn)推理芯片廠商有望迎來發(fā)展黃金期。
• 推理算力服務(wù)將標(biāo)準(zhǔn)化：隨著推理算力需求的增長，行業(yè)將逐漸形成標(biāo)準(zhǔn)化的推理算力服務(wù)模式，為企業(yè)提供便捷的算力獲取途徑。
• 大模型推理將走向開源：開源大模型的推理部署將變得更加便捷，降低企業(yè)的推理算力使用門檻，推動大模型應(yīng)用的廣泛落地。
• 綠色推理算力將成為標(biāo)配：隨著雙碳目標(biāo)的推進(jìn)，綠色推理算力將成為算力服務(wù)商的核心競爭力之一。

對于算力服務(wù)商而言，抓住推理算力需求的新拐點，提前布局推理算力基礎(chǔ)設(shè)施和技術(shù)方案，將在未來的市場競爭中占據(jù)主動地位。

本文轉(zhuǎn)自：并濟(jì)科技

內(nèi)容來源于科智咨詢、QuestMobile、中國IDC圈等公開信息，

引用時請以最新官方版本為準(zhǔn)；