北京2025年7月21日 /美通社/ --浪潮信息宣布元腦企智一體機已率先完成對Kimi K2 萬億參數大模型的適配支持，并實現單用戶70 tokens/s的流暢輸出速度，為企業(yè)客戶高效部署應用大模型提供高處理性能和完善的軟件工具平臺支持。

Kimi K2是月之暗面推出的開源萬億參數大模型，創(chuàng)新使用了MuonClip優(yōu)化器進行訓練，大幅提升了模型的學習效率。K2在代碼生成、數學推理、Agent多步驟任務上展現出領先能力，評測指標達到業(yè)界領先水平。自發(fā)布以來，K2在開發(fā)者和研究社區(qū)引起廣泛關注，迅速獲得在編碼輔助和Agent驅動自動化任務中的部署應用。

Kimi K2的模型總參數量達1萬億，激活參數為320億。K2使用混合專家（MoE）模型結構，較DeepSeek V3采用了更大的參數量和更多的專家數。K2模型1萬億的參數量對AI計算系統提出至少1TB的顯存容量需求，384個路由專家所帶來的專家負載不均衡性對推理速度有很大影響。目前業(yè)界可公開訪問的K2 API的輸出速度一般低于20 tokens/s，這樣較低的性能對于編程或Agent類場景很不友好，會嚴重影響用戶體驗。Kimi K2憑借其為智能體任務設計的架構和優(yōu)秀的智能體驗，展現出巨大的應用潛力，但提升推理速度和輸出穩(wěn)定性是其成為可信賴的生產力工具需要解決的核心挑戰(zhàn)。

元腦企智一體機采用元腦服務器NF5688G7作為算力底座，其搭載FP8計算引擎，配備1128GB HBM3e高速顯存，單臺服務器即可支持K2 萬億參數全量模型部署。NF5688G7服務器具備900GB/s的GPU P2P帶寬，為Kimi K2提供了專家間高速并行通信，最大化并行效率。該服務器可支持3200Gbps的RDMA擴展網絡，為預填充-解碼分離部署和大規(guī)模專家并行預留了充足的擴展空間。

浪潮信息已完成元腦企智一體機對K2的適配，支持64K上下文長度和多路用戶實時并發(fā)訪問。基于SGLang推理框架，通過減少MoE對齊塊大小內核的小批量模式開銷和fused_moe的內存消耗，并復用deepGEMM等高效算子，實現單用戶并發(fā)下輸出速度超過70 tokens/s，25用戶并發(fā)時每用戶輸出速度超過25 tokens/s。優(yōu)化后的計算性能可保證用戶在進行復雜的代碼生成、長文本書寫或Agent調用時，能夠獲得流暢、低延遲的交互體驗。

SGLang啟動K2推理服務，用戶交互時的解碼速度

元腦企智一體機提供了元腦企智（EPAI）平臺與K2大模型的無縫集成，為企業(yè)用戶提供了一套軟硬件協同優(yōu)化、開箱即用的端到端大模型私有化部署解決方案。通過元腦企智平臺，企業(yè)可利用低代碼、可視化界面，便捷地進行數據準備、模型微調、知識檢索（RAG）和智能體（Agent）構建。

元腦企智一體機已成功部署于金融、制造、能源、醫(yī)療等多個關鍵行業(yè)，幫助企業(yè)快速、安全、經濟地構建專屬大模型應用，加速產業(yè)智能化轉型步伐。

浪潮信息是全球領先的IT基礎設施產品、方案和服務提供商，通過發(fā)展新一代以系統為核心的計算架構，打造開放、多元、綠色的元腦智算產品和方案。浪潮信息致力于AI計算平臺、資源平臺和算法平臺的研發(fā)創(chuàng)新，并通過元腦生態(tài)攜手領先伙伴，加速人工智能的創(chuàng)新和應用落地。

審核編輯 黃宇