近日，摩爾線程正式發布開源大模型分布式訓練仿真工具SimuMax的1.1版本。該版本在完整繼承v1.0高精度仿真能力的基礎上，實現了從單一工具到一體化全棧工作流平臺的重要升級，為大模型訓練的仿真與調優提供系統化支持。

本次更新聚焦三大核心創新：用戶友好的可視化配置界面、智能并行策略搜索，以及融合計算與通信效率建模的System-Config生成流水線。新版本同時提升了對主流訓練框架Megatron-LM的兼容性，并增強了對混合并行訓練中復雜通信行為的建模精度，使仿真環境更貼近真實生產場景。

SimuMax是一款專為大語言模型（LLM）分布式訓練負載設計的仿真模擬工具，可為單卡到萬卡集群提供仿真支持。它無需實際執行完整訓練過程，即可高精度模擬訓練中的顯存使用和性能表現，幫助用戶深入洞察訓練效率，探索提升計算效能的優化途徑。

平臺升級：從精準仿真到智能工作流

SimuMax v1.1在高精度仿真能力的基礎上，通過以下多項功能構建了更完整、更智能的工作流：
·智能并行策略搜索：引入策略搜索支持，自動探索并識別更優的并行化及執行策略，降低調參成本，提升訓練效率；
·系統配置生成流水線：新增系統配置文件生成流水線，包含計算效率與通信效率的刻畫，以實現更真實的系統級建模；
·增強的框架兼容性與優化：新增對Megatron-LM v0.14的支持，主要適配了新版本Moe Router的顯存優化特性；
·精細化帶寬爭用建模：專門優化了在專家并行（EP）/張量并行（TP）與數據并行（DP）混合場景下的節點間網絡帶寬競爭模擬，提升大規模集群仿真的準確性。

體驗革新：可視化界面，賦能極簡操作

SimuMax v1.1引入了直觀的可視化配置界面。用戶通過簡單交互，即可快速完成從單卡到萬卡集群的訓練任務定義，極大簡化工作流，使工程師更專注于訓練策略設計與深層性能優化，提升模型研發與調優效率。

圖示：SimuMax v1.1的可視化配置界面

快速開始：四步啟動高效仿真
開發者可通過以下步驟，快速體驗SimuMax：

克隆倉庫：
·gitclonegit@github.com:MooreThreads/SimuMax.git
·cdSimuMax

安裝Python包：
·pip install -rrequirements.txt
·pip install -v -e .

運行示例：
參考項目中的教程和示例（如examples/perf_llama3_8b_tp1_pp2.py），即可開始使用SimuMax進行訓練仿真。

啟動SimuMax應用：
開發者可以選擇啟動SimuMax應用，訪問交互式配置界面。
·cdapp
·bash install.sh
·streamlit run streamlit_app.py

持續優化與生態共建

SimuMax已在GitHub全面開源，開發者可訪問倉庫獲取源代碼、詳細文檔和示例。摩爾線程鼓勵開發者通過提交Issue報告問題或通過Pull Request貢獻代碼，共同促進SimuMax功能的完善和軟件生態的繁榮。

·SimuMax GitHub開源地址：https://github.com/MooreThreads/SimuMax
·SimuMax v1.1版本：https://github.com/MooreThreads/SimuMax/releases/tag/v1.1

摩爾線程始終致力于為開發者提供高效、創新的軟件工具鏈。SimuMax的發布，為大模型分布式訓練提供了從可視化配置、自動化策略推薦到高精度仿真的完整工作流，助力AI產業提升算力利用率，探索更高效、更智能的訓練范式。

未來，SimuMax團隊將持續迭代，計劃進一步擴展平臺能力，包括支持ViT模型、引入大規模訓練的數據并行（DP）衰減估計，以及支持計算通信重疊（TP/EP Overlap）模擬等功能，不斷突破訓練仿真優化的技術邊界。

關于摩爾線程
摩爾線程以全功能GPU為核心，致力于向全球提供加速計算的基礎設施和一站式解決方案，為各行各業的數智化轉型提供強大的AI計算支持。我們的目標是成為具備國際競爭力的GPU領軍企業，為融合人工智能和數字孿生的數智世界打造先進的加速計算平臺。我們的愿景是為美好世界加速。