天數(shù)智芯支持智源研究院首次完成大模型異構(gòu)算力混合訓(xùn)練，突破異構(gòu)算力束縛
11月29日，北京智源人工智能研究院副院長(zhǎng)兼總工程師林詠華在2023人工智能計(jì)算大會(huì)上宣布，正式開源700億參數(shù)大模型Aquila2-70B-Expr（異構(gòu)先驅(qū)版），這是首個(gè)基于英偉達(dá)混合資源及天數(shù)智芯混合資源完成訓(xùn)練的大模型，也是智源研究院與天數(shù)智芯合作取得的最新成果，再次證明了天數(shù)智芯通用GPU產(chǎn)品支持大模型訓(xùn)練的能力，以及與主流產(chǎn)品的兼容能力。
據(jù)林詠華副院長(zhǎng)介紹，為了解決異構(gòu)算力混合訓(xùn)練難題，智源研究院開發(fā)了高效并行訓(xùn)練框架FlagScale，支持異構(gòu)算力混合訓(xùn)練，并在10月開源了FlagScale v0.1版本。此次基于FlagScale v0.2分別在英偉達(dá)混合資源（A100集群+A800集群）、天數(shù)智芯混合資源（BI-V100集群+BI-V150集群）完成了Aquila2-70B-Expr大模型訓(xùn)練工作。
天數(shù)智芯在今年上半年搭建了天垓100（BI-V100）算力集群支持智源研究院開展70億參數(shù)大模型訓(xùn)練。在此基礎(chǔ)上，雙方進(jìn)一步深化合作。天數(shù)智芯首先搭建了128節(jié)點(diǎn)的BI-V100集群環(huán)境，支持智源研究院開展Aquila2-70B-Expr完整訓(xùn)練。訓(xùn)練到20萬(wàn)步，導(dǎo)出模型并完成總計(jì)11項(xiàng)性能指標(biāo)的評(píng)估，涉及常識(shí)推斷、多任務(wù)語(yǔ)言理解、真實(shí)性回答等場(chǎng)景，將基線實(shí)驗(yàn)和對(duì)比實(shí)驗(yàn)送到真實(shí)數(shù)據(jù)集上進(jìn)行評(píng)測(cè)，計(jì)算差異在0.28%，在精度上與國(guó)際主流集群訓(xùn)練的權(quán)重文件水平相當(dāng)。同時(shí)，天數(shù)智芯基于新一代產(chǎn)品天垓150（BI-V150）搭建了16節(jié)點(diǎn)集群環(huán)境，用于智源研究院混合并行訓(xùn)練研究。智源研究院利用120節(jié)點(diǎn)BI-V100集群加上8節(jié)點(diǎn)BI-V150集群進(jìn)行Aquila2-70B-Expr大模型混合訓(xùn)練，混合集群性能達(dá)到上界（理想合池理論峰值）的85.3%。測(cè)試結(jié)果顯示，在天數(shù)智芯產(chǎn)品上異構(gòu)訓(xùn)練，對(duì)模型性能影響甚微。
END
據(jù)林詠華副院長(zhǎng)介紹，為了解決異構(gòu)算力混合訓(xùn)練難題，智源研究院開發(fā)了高效并行訓(xùn)練框架FlagScale，支持異構(gòu)算力混合訓(xùn)練，并在10月開源了FlagScale v0.1版本。此次基于FlagScale v0.2分別在英偉達(dá)混合資源（A100集群+A800集群）、天數(shù)智芯混合資源（BI-V100集群+BI-V150集群）完成了Aquila2-70B-Expr大模型訓(xùn)練工作。
天數(shù)智芯在今年上半年搭建了天垓100（BI-V100）算力集群支持智源研究院開展70億參數(shù)大模型訓(xùn)練。在此基礎(chǔ)上，雙方進(jìn)一步深化合作。天數(shù)智芯首先搭建了128節(jié)點(diǎn)的BI-V100集群環(huán)境，支持智源研究院開展Aquila2-70B-Expr完整訓(xùn)練。訓(xùn)練到20萬(wàn)步，導(dǎo)出模型并完成總計(jì)11項(xiàng)性能指標(biāo)的評(píng)估，涉及常識(shí)推斷、多任務(wù)語(yǔ)言理解、真實(shí)性回答等場(chǎng)景，將基線實(shí)驗(yàn)和對(duì)比實(shí)驗(yàn)送到真實(shí)數(shù)據(jù)集上進(jìn)行評(píng)測(cè)，計(jì)算差異在0.28%，在精度上與國(guó)際主流集群訓(xùn)練的權(quán)重文件水平相當(dāng)。同時(shí)，天數(shù)智芯基于新一代產(chǎn)品天垓150（BI-V150）搭建了16節(jié)點(diǎn)集群環(huán)境，用于智源研究院混合并行訓(xùn)練研究。智源研究院利用120節(jié)點(diǎn)BI-V100集群加上8節(jié)點(diǎn)BI-V150集群進(jìn)行Aquila2-70B-Expr大模型混合訓(xùn)練，混合集群性能達(dá)到上界（理想合池理論峰值）的85.3%。測(cè)試結(jié)果顯示，在天數(shù)智芯產(chǎn)品上異構(gòu)訓(xùn)練，對(duì)模型性能影響甚微。
這一成果極具商業(yè)價(jià)值和應(yīng)用前景，有助于解決智算中心換代升級(jí)、增容后新舊計(jì)算卡并用難題，為智算中心高效運(yùn)行提供了新方案。
END
原文標(biāo)題：天數(shù)智芯支持智源研究院首次完成大模型異構(gòu)算力混合訓(xùn)練，突破異構(gòu)算力束縛
文章出處：【微信公眾號(hào)：天數(shù)智芯】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
天數(shù)智芯
+關(guān)注
關(guān)注
0文章
102瀏覽量
6617
原文標(biāo)題：天數(shù)智芯支持智源研究院首次完成大模型異構(gòu)算力混合訓(xùn)練，突破異構(gòu)算力束縛
文章出處：【微信號(hào)：IluvatarCoreX，微信公眾號(hào)：天數(shù)智芯】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
工信部力推：國(guó)產(chǎn)訓(xùn)練芯片與異構(gòu)算力引領(lǐng)AI新征程
部將以落實(shí)《實(shí)施意見》為抓手，推動(dòng)人工智能產(chǎn)業(yè)高質(zhì)量發(fā)展，技術(shù)創(chuàng)新是重點(diǎn)，突破訓(xùn)練芯片、異構(gòu)算力等關(guān)鍵技術(shù)是關(guān)鍵。 ?
國(guó)產(chǎn)算力首證具身大腦模型訓(xùn)練實(shí)力：摩爾線程聯(lián)合智源研究院完成RoboBrain 2.5全流程訓(xùn)練
隨著具身智能成為人工智能的下一個(gè)戰(zhàn)略高地，底層算力底座的自主可控顯得尤為關(guān)鍵。近日，摩爾線程聯(lián)合北京智源人工智能研究院（以下簡(jiǎn)稱：智源）基于
硅芯科技：AI算力突破，新型堆疊EDA工具持續(xù)進(jìn)化
無(wú)法滿足AI算力芯片對(duì)于異構(gòu)集成的需求。日前，珠海硅芯科技有限公司創(chuàng)始人兼首席科學(xué)家趙毅博士在2025灣芯展上接受媒體采訪，分享了AI
國(guó)產(chǎn)AI芯片真能扛住“算力內(nèi)卷”？海思昇騰的這波操作藏了多少細(xì)節(jié)？
反而壓到了310W。更有意思的是它的異構(gòu)架構(gòu)：NPU+CPU+DVPP的組合，居然能同時(shí)扛住訓(xùn)練和推理場(chǎng)景，之前做自動(dòng)駕駛算法時(shí)，用它跑模型時(shí)延直接降了20%。
但疑惑也有：這種算
發(fā)表于 10-27 13:12
算力與電力的終極博弈，填上了AIDC的“電力黑洞”
），專注于提供人工智能訓(xùn)練與推理所需的算力服務(wù)、數(shù)據(jù)服務(wù)和算法服務(wù)。AIDC采用異構(gòu)計(jì)算架構(gòu)，結(jié)合GPU、FPGA、ASIC等多種AI加速芯片，形成高并發(fā)分布式系統(tǒng)，以滿足大
華為聯(lián)合中國(guó)移動(dòng)研究院發(fā)布“算力路由AI推理及視聯(lián)網(wǎng)應(yīng)用樣板”
2025年8月20日；在第九屆未來(lái)網(wǎng)絡(luò)發(fā)展大會(huì)期間，華為聯(lián)合中國(guó)移動(dòng)研究院發(fā)布“算力路由AI推理及視聯(lián)網(wǎng)應(yīng)用樣板”，標(biāo)志著算力網(wǎng)絡(luò)在商用探索
商湯大裝置發(fā)布基于DeepLink的異構(gòu)混合調(diào)度方案
調(diào)度復(fù)雜、跨域訓(xùn)練穩(wěn)定性不足等行業(yè)挑戰(zhàn)，全面提升異構(gòu)集群的協(xié)同效率與運(yùn)行可靠性，加速國(guó)產(chǎn)AI算力從“可用”邁向“好用”，為大模型
潤(rùn)和軟件發(fā)布StackRUNS異構(gòu)分布式推理框架
當(dāng)下，AI模型規(guī)模持續(xù)膨脹、多模態(tài)應(yīng)用場(chǎng)景日益復(fù)雜，企業(yè)正面臨異構(gòu)算力資源碎片化帶來(lái)的嚴(yán)峻挑戰(zhàn)。為應(yīng)對(duì)行業(yè)痛點(diǎn)，江蘇潤(rùn)和軟件股份有限公司（以下簡(jiǎn)稱“潤(rùn)和軟件”）正式發(fā)布自主研發(fā)的Sta
壁仞科技擔(dān)任智算集群異構(gòu)混訓(xùn)工作組組長(zhǎng)
參與了本次交流，分享智算集群異構(gòu)混訓(xùn)的關(guān)鍵技術(shù)進(jìn)展、成功落地案例，為突破大模型異構(gòu)算
AI原生架構(gòu)升級(jí)：RAKsmart服務(wù)器在超大規(guī)模模型訓(xùn)練中的算力突破
近年來(lái)，隨著千億級(jí)參數(shù)模型的崛起，AI訓(xùn)練對(duì)算力的需求呈現(xiàn)指數(shù)級(jí)增長(zhǎng)。傳統(tǒng)服務(wù)器架構(gòu)在應(yīng)對(duì)分布式訓(xùn)練、高并發(fā)計(jì)算和顯存優(yōu)化等場(chǎng)景時(shí)逐漸顯露瓶
RAKsmart智能算力架構(gòu)：異構(gòu)計(jì)算+低時(shí)延網(wǎng)絡(luò)驅(qū)動(dòng)企業(yè)AI訓(xùn)練范式升級(jí)
在AI大模型參數(shù)量突破萬(wàn)億、多模態(tài)應(yīng)用爆發(fā)的今天，企業(yè)AI訓(xùn)練正面臨算力效率與成本的雙重挑戰(zhàn)。RAKsmart推出的智能
大算力芯片的生態(tài)突圍與算力革命
據(jù)的爆發(fā)式增長(zhǎng)，大算力芯片已成為科技競(jìng)爭(zhēng)的核心領(lǐng)域之一。 ? 大算力芯片的核心應(yīng)用場(chǎng)景豐富多樣。在人工智能訓(xùn)練與推理方面，大
弘信電子旗下燧弘華創(chuàng)與聯(lián)想發(fā)布多元異構(gòu)算力調(diào)度平臺(tái)
近日，燧弘華創(chuàng)慶陽(yáng)綠色智算中心迎來(lái)里程碑時(shí)刻——由燧弘華創(chuàng)與聯(lián)想合作共建的多元異構(gòu)算力調(diào)度平臺(tái)正式發(fā)布。
DeepSeek推動(dòng)AI算力需求：800G光模塊的關(guān)鍵作用
隨著人工智能技術(shù)的飛速發(fā)展，AI算力需求正以前所未有的速度增長(zhǎng)。DeepSeek等大模型的訓(xùn)練與推理任務(wù)對(duì)算
發(fā)表于 03-25 12:00
工商網(wǎng)監(jiān)
評(píng)論