6月，智源研究院在北京智源大會上重磅發布了全面開源的“悟道3.0”系列大模型，包括“悟道·天鷹”（Aquila）語言大模型等領先成果。目前，摩爾線程已率先完成對“悟道·天鷹”（Aquila）大模型的推理兼容適配，整個適配過程僅花費不到6小時時間，便實現與摩爾線程自研MUSAChat應用的無縫集成。此前，摩爾線程曾在ChatGLM發布后24小時內實現適配，并在數小時內適配LLaMA模型，摩爾線程CUDA兼容的技術能力一再被驗證。

這充分得益于摩爾線程強大的代碼移植工具"MUSIFY"。該工具可快速將現有的CUDA程序遷移至摩爾線程MUSA，零成本完成CUDA代碼自動移植，之后用戶短時間內即可完成熱點分析和針對性優化，大大縮短遷移優化的周期，從而使得大模型適配形成了標準“流水線作業”，讓開發者可以省時、省力、省事、省心。

目前，基于摩爾線程打造的AI與云計算平臺，已經可以運行ChatGLM、Stable Diffusion、LLaMA、“悟道3.0”等開源大模型，以及摩爾線程自研的MUSAChat和MUSABert等模型的部分訓練和推理應用。借助摩爾線程元計算統一系統架構MUSA，用戶可以復用PyTorch開源社區的大量模型算子，降低開發成本。與此同時，摩爾線程開源的MT Pytorch可以支持多種模型的推理，覆蓋CV、NLP、語音等多個領域，能夠運行典型的大模型分布式多卡推理，也可以支持單機多卡與多機多卡的分布式訓練。利用數據并行、模型并行以及ZERO等分布式訓練技術，MT PyTorch還可以完成簡單基礎模型以及典型Transformer結構的NLP語言模型的訓練。

據悉，智源此次發布的“悟道3.0”系列開源模型涵蓋語言、視覺、多模態等基礎大模型，其中，“悟道·天鷹”（Aquila）語言大模型是首個具備中英雙語知識、支持商用許可協議、國內數據合規需求的開源語言大模型。其在中英文高質量語料基礎上從0開始訓練，通過數據質量的控制、多種訓練的優化方法，實現在更小的數據集、更短的訓練時間內，獲得比其他開源模型更優的性能。

“悟道?天鷹（Aquila）”語言大模型開源商用許可無疑將會成為自主大語言模型產業生態的一個里程碑事件。摩爾線程也愿與眾多優秀的基礎模型供應商深度合作，攜手從硬件、算子、算法多個方面進行深度優化，從硬件、軟件、模型、業務多個維度賦能應用開發商，致力于讓大模型更好賦能千行百業。
責任編輯：彭菁