近日,在江蘇鯤鵬?昇騰生態創新中心的全程支持下,江蘇潤和軟件股份有限公司(以下簡稱“潤和軟件”)自主研發的AIRUNS訓推一體化平臺完成與搭載昇騰910C芯片的Atlas 800T A3訓練服務器的深度兼容性認證。同時,潤和軟件成為全國首批完成基于“910C昇騰加速庫”開發與適配認證的企業,充分彰顯了公司在昇騰AI加速技術上的先進性與全面性。

潤和軟件AIRUNS訓推一體化平臺完成與搭載昇騰910C芯片的Atlas 800T A3訓練服務器的深度兼容性認證
測試結果表明,AIRUNS訓推一體化平臺在模型接入、推理調度、底層加速等多個關鍵環節全面適配昇騰硬件特性,能夠在昇騰910C平臺上穩定釋放大模型推理性能,實現高吞吐、低時延與強穩定性的統一,進一步夯實了平臺在智算場景中的工程化與規模化能力。

潤和軟件AIRUNS推理能力和昇騰原生框架mindIE性能對比
AIRUNS訓推一體化平臺的推理能力,由模型網關、模型服務及模型引擎三大子系統協同提供。其模型服務與模型引擎通過與昇騰910C芯片的深度適配,不僅充分釋放了底層算力,更使平臺的整體推理效能獲得了大幅增強。

潤和軟件AIRUNS訓推一體化平臺推理能力架構示意圖
1模型服務
圍繞昇騰異構加速特性及高速互聯特性,對昇騰算力體系進行了深度適配,是對“模型即服務”的工程化抽象。
核心技術:
模型實例編排器:支持在昇騰910C上動態啟動單卡、多卡、多機、流水線并行實例。
混合解耦調度架構:將Encode、Prefill與Decode分配到不同的昇騰計算實例上執行,減少資源競爭,實現資源靈活分配。
動態PD分離:根據KV占用、Sequence Length、自回歸速率動態調整策略。
在線、離線協同:支持在同一910C計算卡上同時存在推理實例與離線微調任務,通過算力卸載和隔離實現兼容運行。
全局KV緩存協同:模型服務層通過智能化緩存調度框架,將分布式KV狀態在多節點間高效組織。
價值體現:通過服務化治理與智能調度,顯著提升模型部署效率、服務可靠性與集群整體吞吐能力。
2模型引擎
負責在昇騰芯片算子級、圖級、內存級的極致性能優化,是AIRUNS訓推一體化平臺與昇騰深度適配的核心能力。
核心技術:
圖級并行融合:整合昇騰芯片計算路徑與通信鏈路,使通信與算子執行自然重合,減少圖執行的等待窗口。
關鍵算子專項加速:結合昇騰硬件特性,適配PageAttention、AllReduce等關鍵算子,使動態形態推理保持穩定高效。
計算圖流水化調度:基于事件驅動對請求、計算圖和算子級執行的多級拆分與異步化編排。
MoE模型優化:通過?專家復制和?預測策略實現多NPU間專家處理?token不均的問題。
價值體現:依托深度圖優化與硬件級加速,全面釋放昇騰算力潛能,實現推理性能的倍級增強與資源利用最優化。
作為昇騰生態的緊密合作伙伴,潤和軟件依托開源鴻蒙和開源歐拉雙重技術基座優勢,構建了從操作系統、中間件到AI大模型的全棧能力。通過自主研發昇騰行業AI解決方案、昇騰算子加速庫、DeepSeek全場景“云-邊-端”智能生態體系等,潤和軟件在金融、電網、能源、工業等重點領域確立了技術領先地位,此前已獲得“最佳昇騰原生開發伙伴”殊榮。
此次完成與昇騰910C芯片的深度兼容性認證,展現了AIRUNS訓推一體化平臺在快速適配新型號芯片方面的卓越能力。未來,潤和軟件將持續攜手昇騰以安全可靠的技術架構與持續優化的性能,助力各行業客戶實現智能化升級。
江蘇潤和軟件股份有限公司(簡稱“潤和軟件”)成立于2006年,2012年在深圳證券交易所創業板上市(證券代碼:300339),是首批國家規劃布局內重點軟件企業、全國文明單位。公司總部位于南京,在北京、上海、深圳、香港等22個國內主要城市設有研發中心或分子公司,在日本、新加坡、美國等國設有海外分支機構,全球員工約17000人,擁有全球化的技術整合、客戶響應與服務到達能力。
秉承“做民族軟件脊梁,擔世界進步責任”使命,潤和軟件致力成為“中國數智技術與服務創新的引領者”,通過國產化、數字化、智能化創新技術,軟硬件一體化解決方案能力及全生命周期軟件服務體系,激活行業新動能、發展新質生產力,助力廣大客戶數字化轉型和智能化升級。
-
服務器
+關注
關注
14文章
10251瀏覽量
91480 -
昇騰
+關注
關注
1文章
181瀏覽量
7417 -
潤和軟件
+關注
關注
1文章
401瀏覽量
2226
原文標題:全國首批!潤和軟件AIRUNS訓推一體化平臺完成與昇騰910C芯片的深度兼容性認證
文章出處:【微信號:hoperun300339,微信公眾號:潤和軟件】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
國產AI芯片真能扛住“算力內卷”?海思昇騰的這波操作藏了多少細節?
中軟國際簽約成為華為昇騰大模型一體機伙伴
潤和軟件AIRUNS 3.0助力企業打造私有化AI模型
潤和軟件亮相鯤鵬昇騰開發者大會2025
潤和軟件AIRUNS 3.0通過鯤鵬生態全棧兼容認證,全面適配國產軟硬件環境
中軟國際推出昇騰金融AI解決方案和一體機v1.0
海康威視發布大模型一體化平臺
潤和軟件將持續深化“昇騰+DeepSeek”技術路線
中軟國際發布基于昇騰計算架構的“DeepSeek社保基金監管大模型一體機”解決方案
潤和軟件AIRUNS訓推一體化平臺與昇騰910C芯片深度適配
評論