近日，沐曦集成電路（上海）有限公司（下稱“沐曦”）曦云C500千億參數AI大模型訓練及通用計算GPU與未來速度旗下大模型推理及數據分析產品完成適配。

沐曦旗艦產品曦云C500基于自主研發的高性能GPU IP，特別適合千億參數AI大模型的訓練和推理；基于全自研 GPU 指令集打造的MXMACA軟件棧，全面兼容主流GPU生態，實現用戶零成本遷移；通過自主知識產權的MetaXLink實現單機8卡GPU全互聯，提供構建高密度算力和云計算部署的優秀國產GPU解決方案；可廣泛應用于千億參數AI大模型訓練與推理、AIGC內容生成、推薦系統、自動語音識別、語音合成、圖像分割檢測，以及科學計算、數據庫加速等多種場景。

本次在較短時間內雙方完成多個模型框架的適配工作，充分證明了曦云C500千億參數AI大模型訓練及通用計算GPU的高通用性和靈活性，雙方的合作降低了大模型推理和大規模數據處理的門檻。

大模型推理框架適配結果

依托曦云C500軟件棧MXMACA的完美兼容性，分布式推理框架Xorbits Inference成功運行了70B的LLaMa2模型，成為首個在單張國產GPU上完成 70B大模型推理任務的案例。該模型能夠流暢地在本地環境中部署，讓用戶輕松一鍵部署個性化模型或前沿的開源模型。

數據分析框架適配結果

通過不到一天時間完成兼容對接，Xorbits依托曦云C500不僅能夠高效地處理TPC-H基準測試中的22個復雜查詢場景，還提供了簡潔、可讀性強的代碼，這使得Xorbits的解決方案易于理解、維護和擴展，為用戶帶來了極大的便利和靈活性。

關于沐曦

沐曦致力于為異構計算提供安全可靠的GPU芯片及解決方案，打造全棧GPU芯片產品，推出曦思N系列GPU用于AI推理，曦云C系列GPU用于千億參數AI大模型訓練及通用計算，以及曦彩G系列GPU用于圖形渲染，滿足數據中心對“高能效”及“高通用性”的算力需求。沐曦產品均采用完全自主研發的GPU IP，擁有完全自主的指令集和架構，配以兼容主流GPU生態的完整軟件棧（MXMACA），具備高能效和高通用性的天然優勢，能夠為客戶構建軟硬件一體的全面生態解決方案，是“雙碳”背景下推動數據中心建設和產業數字化、智能化轉型升級的算力基石。