4月26日，華為開發者大會2021（Cloud）期間（簡稱HDC. Cloud 2021），國內首個支持千億參數大模型訓練的AI計算框架MindSpore 1.2正式發布。最新1.2版本帶來了AI框架領域 “全自動并行、全場景AI、可解釋推薦模型” 三大創新，讓開發者盡享AI開發。

全自動并行

MindSpore是業界首個基于網絡拓撲和集群資源自動感知的全自動并行框架，且基于全自動并行能力已開發業界首個2000億參數的中文預訓練模型。

在靜態圖模式下，MindSpore融合了流水線并行、模型并行和數據并行三種并行技術，開發者只需編寫單機算法代碼，添加少量并行標簽，即可實現訓練過程的自動切分，使得并行算法性能調優時間從月級降為小時級，同時訓練性能相比業界標桿提升40%。

在動態圖模式下，MindSpore獨特的函數式微分設計，能從一階微分輕易地擴展到高階微分，并進行整圖性能優化，大幅提升動態圖性能；結合創新的通訊算子融合和多流并行機制，較其它AI框架，MindSpore動態圖性能提升60%。

全場景AI

MindSpore實現了在云、邊、端不同場景下硬件設備的快速應用、高效運行與有效協同。通過全場景AI的能力，Huawei Watch GT的抬腕識別率提升了80%，時延小于5ms，模型小于1KB，大幅提升了用戶體驗。

在云端：通過自適應模型切分和服務內分布式并行調度技術，可支持超大模型在多張加速卡上的推理部署，且推理性能較目前業界領先的serving服務方式提升30%

在邊緣側：通過自適應模型壓縮技術，將CV類（Computer Vision 計算機視覺）模型壓縮2/3，推理時間縮短50%，用戶側實測精度損失《1%，能有效解決邊緣側算力瓶頸；

在端側：模型即代碼，將模型編譯到代碼里，實現了極小的ROM（Read-Only Memory儲存內存）占用。同時，通過算子數據重排技術提升端側Cache命中率，可降低推理時延，解決在超輕量IOT設備進行部署時受設備類型、內存等所限制的難題。

可解釋推薦模型

MindSpore內置業界首個語義級可解釋推薦模型TB-Net，基于原創知識圖譜雙向傳導技術，從知識圖譜的海量關系路徑中，精準識別影響用戶行為的核心特征和關鍵路徑，提供個性化推薦和語義級的解釋，可解釋性評估指標相比業界模型提升63%。

自2020年3月開源以來，MindSpore社區擁有逾17萬名開發者，軟件下載量超過24萬，在超過10個行業規模使用。此外，在碼云（Gitee）上MindSpore的代碼活躍度、影響力、社區活躍度、團隊構建、流行趨勢綜合排名第一。目前，MindSpore已是發展最快的AI開源社區。

原文標題：國內首個支持千億參數大模型訓練AI計算框架MindSpore 1.2發布

文章出處：【微信公眾號：華為智能計算】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq