電子發(fā)燒友網(wǎng)報道（文/周凱揚）近年來，有關(guān)大語言模型（LLM）的開發(fā)非?；钴S，尤其是在中國、美國等市場。以OpenAI開發(fā)的ChatGPT為例，其迅速普及極大影響了技術(shù)研發(fā)、經(jīng)濟系統(tǒng)等，為此不少國家政府也投入到LLM的計算資源整合中來，從而不至于落后這輪新的全球技術(shù)軍備戰(zhàn)。同樣的計算資源競爭也發(fā)生在超算領(lǐng)域，而兩者的計算資源存在一定的重合，不少人開始借助超算來進行LLM的開發(fā)。

超算訓練大模型的天然優(yōu)勢

大語言模型的訓練經(jīng)常會撞上GPU的內(nèi)存墻，比如訓練一個萬億參數(shù)的模型，就需要至少24TB的GPU內(nèi)存。好在對于現(xiàn)代超算系統(tǒng)而言，GPU已經(jīng)成為不可或缺的算力資源之一，不少超算的GPU規(guī)模與云服務廠商的數(shù)據(jù)中心相比，也不遑多讓。以目前排名第一的Frontier超算為例，就集成了37888塊AMD MI250X GPU。

美國橡樹嶺國家實驗室的研究人員除了用Frontier完成科學計算任務以外，也使用了一部分GPU資源訓練一個萬億級參數(shù)的LLM。據(jù)他們發(fā)布的論文，使用3072塊MI250X GPU，他們訓練了一個一萬億參數(shù)的大語言模型，這樣的規(guī)模已經(jīng)與OpenAI的GPT-4在同一水平線上了。

絕大多數(shù)模型的內(nèi)存要求，除了來自參數(shù)量外，也來自梯度和優(yōu)化器狀態(tài)。盡管對大模型訓練的任務進行了并行分解，美國橡樹嶺國家實驗室的研究人員發(fā)現(xiàn)訓練一個萬億級別的大模型還是需要14TB的內(nèi)存，好在單個MI250X就擁有64GB的顯存，足以滿足訓練要求。

富岳大模型

日前，一隊日本研究員發(fā)布了富岳-LLM，一個專門針對日語能力進行加強的大語言模型，由RIKEN的超算系統(tǒng)富岳訓練。盡管目前GPU才是訓練LLM的首選硬件，而富岳超算是基于自研的Arm架構(gòu)處理器構(gòu)筑的，只有CPU并沒有GPU。

為了在富岳上訓練大語言模型，研究員們開發(fā)了分布式的訓練方案，將深度學習框架Megatron-DeepSpeed移植到富岳上，從而優(yōu)化Transformer模型在富岳上的性能表現(xiàn)。通過加速Transformer的密集矩陣乘法庫，并結(jié)合三種并行化技術(shù)優(yōu)化富岳的通信性能，富岳的并行訓練能力得到了最大化。

富岳大模型有130億參數(shù)，比目前已經(jīng)在日本廣泛使用的70億參數(shù)模型規(guī)模還要大，盡管市面上早已出現(xiàn)參數(shù)更大的模型，但對于富岳超算來說，這已經(jīng)是一個平衡高性能與計算資源的選擇了。

除此之外，不少日本公司開發(fā)的大模型采用持續(xù)學習，采用海外開發(fā)的公開模型，用日本數(shù)據(jù)進行持續(xù)訓練。而富岳大模型則是采用團隊自己的數(shù)據(jù)從頭開始訓練的，所以在透明度和安全性上更高一籌。

富岳大模型用到了3800萬個Token和富岳超算的13824個節(jié)點，其數(shù)據(jù)60%為日語，并與英語、數(shù)學運算和代碼結(jié)合。該模型在人文和社會科學任務中獲得了9.18的基準跑分，可以結(jié)合敬語或日語的其他特征進行自然對話。

寫在最后

隨著各地區(qū)紛紛開始建設超算智算資源，如何提高這些計算資源的利用率也成了關(guān)鍵。而訓練大模型恰好需要用到如此龐大的計算資源，也有助于為各行各業(yè)提供可用大模型應用，由此看來，未來超算上大模型訓練的場景也會越來越普遍。