文：Gartner研究副總裁周玲

中國企業機構已逐步在生產環境中運行或者計劃運行大語言模型，但在AI基礎設施的生產部署與高效運營方面仍面臨諸多挑戰。目前，中國正加速提升其生成式AI能力，覆蓋大語言模型、軟件開發、生態集成與硬件革新。隨著DeepSeek、通義千問（Qwen）等高性價比模型日益普及和本地部署的深入推進，越來越多的中國企業將重心放在數據隱私、數據主權、安全性、可擴展性和低延遲等核心需求上。2025年Gartner首席信息官（CIO）和技術高管調研顯示，2025年中國企業計劃大幅增加在生成式AI和AI領域的技術投資，其平均增幅分別達到40.3%和33.3%（見圖1），這一數據表明，相關技術將在短期內得到廣泛采用。

Gartner預測，到2028年，中國70%的大型企業將為大語言模型在AI基礎設施上的部署建立完善的治理框架，而2025年這一比例不足10%。

然而，要成功實現大語言模型在AI基礎設施中的生產部署并非易事，需要制定復雜的技術、運維和治理戰略，以確保模型達到性能指標（例如GPU算力利用率），同時保障數據安全與合規。

中國企業與全球企業的一個關鍵區別在于，其更傾向于在本地AI基礎設施環境中部署大語言模型，這對I&O團隊提出了更高要求，需要他們對重要AI基礎設施技術棧有更深入的理解。AI基礎設施是指AI應用構建、測試、訓練與部署所需的最新、最先進的硬軟件技術棧。

為了在新的AI基礎設施上成功實現大語言模型的生產部署，企業應從以下三個方面著手：構建全面的生產發布策略；制定健全的治理框架；并加強與法律、安全、AI、數據團隊及生態伙伴的緊密協作。這些舉措為大語言模型在生產環境中的高效運行提供了堅實的保障。

構建全面的部署戰略

隨著企業開始在AI基礎設施上部署大語言模型，I&O領導者所面臨的壓力日益增大，需要幫助AI開發人員和工程師在全企業范圍內以更快的速度、更大的規模來推進AI項目的開發和部署。與此同時，針對不同用戶和應用場景不斷涌現的各種AI工具和服務，顯著增加了評估與選擇的難度和復雜性。此外，傳統的生產發布策略與流程已無法有效支持大語言模型在AI基礎設施中的生產部署需求。因此，I&O領導者亟需制定完善的生產發布戰略，以保障部署工作的順利進行。

然而，要為大語言模型在AI基礎設施上的部署構建一套穩健的戰略，就需要從整體視角出發，包括適配AI基礎設施環境、為特定場景設計架構、實施技術優化以及確保符合監管框架要求。

中國的I&O領導者應：

使部署策略與企業數字化轉型戰略保持一致

按照使用場景構建多層次部署架構以優化性能

優化模型與推理以提升效率

使用云原生技術實現靈活調度

加強合規并強化安全管理

建立全鏈路監控與成本控制機制

制定穩健的部署治理流程

大語言模型已經從研究原型轉變為多種任務的關鍵核心組件，包括客戶支持AI智能體、法律文檔摘要、代碼生成或測試工具、企業級代理型AI用例以及多模態應用等領域。然而，大語言模型在AI基礎設施中的生產部署需要解決如下幾個固有挑戰：

資源密集

非確定性行為與提示敏感

延遲與吞吐限制

安全與隱私

因此，為了成功將大語言模型部署到AI基礎設施的生產環境中，中國的I&O部門必須建立一套穩健的治理流程，采取切實可行的步驟促進資源管理、持續監控以及敏捷更新。比如：

提前規劃并進行試點

確定產品部署位置

建立高效的資源管理

在大語言模型生產發布流程中嵌入安全治理與提示治理

管理版本并執行A/B測試

采用持續集成/持續交付流程

實施生產監控

促進關鍵利益相關方之間的緊密協作

部署大語言模型十分復雜，要求業務、法務、安全以及AI與數據團隊以協同一致的方式共同工作。過去各自獨立的部門如今必須從大語言模型項目的啟動階段就開展合作，以確保技術開發能夠反映法律和安全方面的考量。建立跨職能的AI治理委員會至關重要，成員應包括法務、安全、數據工程與數據科學、產品管理、軟件開發以及高管層的代表。

文章來源：Gartner