近日，摩爾線程發布其面向PyTorch深度學習框架的MUSA擴展庫——Torch-MUSA v2.1.1。該版本在v2.1.0的基礎上，進一步擴展了對大規模深度學習模型訓練與推理的支持能力，并在編譯優化、計算性能和算子生態等方面實現顯著增強。

Torch-MUSA v2.1.1核心特性

全新的v2.1.1版本集成了v2.1.0版本的多項重要特性，主要包括：

▼FSDP2分布式訓練支持：引入基于DTensor的每參數分片策略，結合摩爾線程MUSA架構GPU深度優化，大幅提升大模型分布式訓練效率。

▼AOTInductor集成：支持模型針對摩爾線程計算卡進行提前編譯（Ahead-of-Time編譯），優化推理部署流程。

▼內存管理優化：新增可插拔的MUSA內存統一系統分配器后端，有效緩解GPU內存碎片化問題，降低訓練峰值內存占用。

▼Triton-MUSA后端增強：為torch.compile提供完整的Triton-MUSA后端支持，減少設備特定代碼，提升編譯效率。

▼PyTorch3D原生支持：擴展對PyTorch3D計算庫的支持，確保3D深度學習工作流在摩爾線程計算卡上的流暢運行。

本次發布的 v2.1.1 版本，聚焦于進一步釋放硬件潛力，并在關鍵計算路徑上實現加速：

▼引入MUSA Graphs后端：為torch.compile新增MUSA Graphs后端，進一步降低主機開銷，并通過MUSA Graph技術實現端到端的計算加速。

▼集成muSolver計算庫：將muSolver深度集成至多個線性代數算子的后端，提升計算效率和數值穩定性。

▼新增融合算子：支持使用MUSA原生的FusedAdamW和FusedAdam，通過算子融合減少內核啟動開銷，提升訓練效率。

▼算子性能優化與擴展：持續優化算子性能，原生支持算子數量增加至950+。

▼擴展基準測試模塊：加強對更多算子用例的性能評估支持，方便用戶進行全面的性能對比與分析。

體驗與生態兼容持續優化

從上一版本開始，Torch-MUSA在用戶體驗和生態兼容性方面實現了顯著的改進與優化：

▼簡化集成流程：從v2.1.0開始支持torch_musa自動加載，用戶無需在Python腳本中顯式調用"import torch_musa"導入即可使用，簡化了集成流程。

▼生態兼容：v2.1.0和v2.2.0均基于PyTorch 2.5.0構建，確保了與主流PyTorch生態工具鏈的兼容性。

▼持續性能優化：在FP8混合精度訓練（v2.0.0引入的特性）、內核融合、通信優化等方面進行了持續優化，為用戶帶來更加穩定、高效的開發體驗。

▼Torch-MUSA 開源地址：

https://github.com/MooreThreads/torch_musa

▼版本迭代：

v1.1.0：初次發布，支持PyTorch 2.0，提供基礎張量操作和常見神經網絡層的MUSA加速。

v1.2.0：進一步擴展算子支持，支持了完整功能的Profiler、MUSA Extension，并增加了Torch-MUSA專有特性如compare_tool、musa_converter，幫助用戶更快的定位模型精度問題。

v1.3.0：支持PyTorch 2.2.0，性能進一步提升，支持FSDP，支持更復雜的模型和更大規模的數據處理。

v2.0.0：首次原生支持FP8數據類型，支持PyTorch 2.5.0，新增MUSA虛擬內存管理技術優化大模型訓練內存效率，通過集成Triton-MUSA后端顯著提升torch.compile編譯效率，支持MUSA Graph技術。

v2.1.0：支持FSDP2，集成AOTInductor，支持PyTorch3D，為torch.compile提供完整的Triton-MUSA后端支持，支持torch_musa自動加載。

v2.1.1：torch.compile支持MUSA Graphs后端，原生支持算子超950個，并優化了大量算子性能。

▼未來計劃：

Torch-MUSA將繼續跟進PyTorch的版本更新，計劃下一版本支持PyTorch 2.7，并持續優化性能與功能，為基于MUSA架構的國產全功能GPU構建更強大的深度學習生態。

▼ 關于摩爾線程

摩爾線程以全功能GPU為核心，致力于向全球提供加速計算的基礎設施和一站式解決方案，為各行各業的數智化轉型提供強大的AI計算支持。

我們的目標是成為具備國際競爭力的GPU領軍企業，為融合人工智能和數字孿生的數智世界打造先進的加速計算平臺。我們的愿景是為美好世界加速。