兼容數(shù)據(jù)歸集、高速訓(xùn)練、高可用部署全場(chǎng)景,支持Llama2等千億參數(shù)模型,讀寫效率提升90%
上海2025年6月24日/美通社/ -- 當(dāng)算力狂奔時(shí),數(shù)據(jù)存儲(chǔ)正成為AI進(jìn)化的新瓶頸。
據(jù)IDC預(yù)測(cè):從2023年每秒產(chǎn)生4.2PB數(shù)據(jù),到2028年將激增至12.5PB——AI大模型掀起的數(shù)據(jù)海嘯已席卷而來。企業(yè)爭相投入千億參數(shù)模型訓(xùn)練,卻在數(shù)據(jù)存儲(chǔ)環(huán)節(jié)頻頻"觸礁":分散的原始素材難以歸集、GPU集群因存儲(chǔ)延遲空轉(zhuǎn)、模型部署面臨單點(diǎn)故障風(fēng)險(xiǎn)...傳統(tǒng)存儲(chǔ)方案在AI洪流中正暴露出致命短板。
痛點(diǎn)一:數(shù)據(jù)孤島吞噬效率
訓(xùn)練素材散落于各地工作站,圖像、視頻、音頻等非結(jié)構(gòu)化數(shù)據(jù)如同碎片。傳統(tǒng)方案依賴人工搬運(yùn),耗時(shí)易錯(cuò);即便采用分布式存儲(chǔ),跨地域同步效率仍受制于協(xié)議兼容性。某芯片企業(yè)就曾因數(shù)據(jù)收集延遲,導(dǎo)致GPU集群30%時(shí)間處于閑置狀態(tài)。
痛點(diǎn)二:存儲(chǔ)性能扼殺算力
當(dāng)千張GPU卡同時(shí)讀取百萬小文件時(shí),存儲(chǔ)延遲直接拖垮訓(xùn)練效率。行業(yè)常見方案中,全閃存陣列雖提速明顯,但擴(kuò)展性與成本難以平衡;而普通機(jī)械盤陣列的IOPS瓶頸更讓AI訓(xùn)練寸步難行。
痛點(diǎn)三:部署環(huán)節(jié)暗藏風(fēng)險(xiǎn)
訓(xùn)練完成的百GB級(jí)模型文件,若存儲(chǔ)系統(tǒng)缺乏高可用設(shè)計(jì),一次硬件故障即可導(dǎo)致服務(wù)中斷。某金融機(jī)構(gòu)曾因存儲(chǔ)節(jié)點(diǎn)宕機(jī),線上AI客服停擺6小時(shí)損失千萬。
群暉AI存儲(chǔ)方案,破解大模型訓(xùn)練的"數(shù)據(jù)困局"
群暉推出AI大模型訓(xùn)練三級(jí)存儲(chǔ)解決方案,直擊行業(yè)痛點(diǎn)

/下載群暉AI模型存儲(chǔ)方案關(guān)注群暉官微/
1)準(zhǔn)備階段:終結(jié)數(shù)據(jù)孤島
通用存儲(chǔ)機(jī)型(RS系列)抓取邊緣設(shè)備數(shù)據(jù),實(shí)現(xiàn)集中化存儲(chǔ)和管理
支持SMB/NFS/iSCSI多協(xié)議,無縫對(duì)接工作站
華東理工大學(xué)案例:數(shù)據(jù)歸集效率提升50%,釋放30%磁盤空間

/下載群暉AI模型存儲(chǔ)方案關(guān)注群暉官微/
2)訓(xùn)練階段:釋放算力潛能
FS全閃系列(如FS6400)提供240,000 IOPS 4K隨機(jī)寫入
HD高密度系列(如HD6500)實(shí)現(xiàn)單機(jī)柜PB級(jí)存儲(chǔ)
對(duì)比測(cè)試:Llama2 70B模型讀取時(shí)間從50分鐘壓縮至5分鐘
3)部署階段:護(hù)航持續(xù)服務(wù)
GS分布式集群實(shí)現(xiàn)秒級(jí)故障切換,節(jié)點(diǎn)宕機(jī)服務(wù)零中斷
不可變快照+WORM機(jī)制防勒索攻擊
某芯片企業(yè)采用后,模型版本切換效率提升3倍!其在本地部署AI大模型的訓(xùn)練階段,采用群暉全閃存存儲(chǔ)FS6400,用于存儲(chǔ)不斷更新的大模型版本與訓(xùn)練數(shù)據(jù),并通過中轉(zhuǎn)站傳輸至推理階段,支持模型快速切換與部署。FS6400能提供高達(dá)503,341/200,613的高速隨機(jī)讀寫IOPS(NFS),666,419/215,353的隨機(jī)讀寫IOPS(iSCSI)充分滿足AI模型訓(xùn)練與實(shí)際應(yīng)用階段對(duì)高性能存儲(chǔ)的嚴(yán)苛要求。
依托群暉超過20年自主研發(fā)的DSM專業(yè)存儲(chǔ)操作系統(tǒng),F(xiàn)S6400具備RAID硬盤冗余、快照、版本控制等多項(xiàng)數(shù)據(jù)保護(hù)功能,并支持整機(jī)增量備份,集高性能、高可靠性與高性價(jià)比于一體,為企業(yè)級(jí)AI應(yīng)用提供堅(jiān)實(shí)的數(shù)據(jù)支撐。
安全多維度保險(xiǎn),滿足企業(yè)合規(guī)要求
群暉內(nèi)置多維度的企業(yè)級(jí)安全防護(hù),滿足合規(guī)要求:Secure SignIn智能認(rèn)證防范入侵,Snapshot Replication快照復(fù)制實(shí)時(shí)復(fù)制確保數(shù)據(jù)可回溯,加密存儲(chǔ)空間滿足等保要求。

/下載群暉AI模型存儲(chǔ)方案關(guān)注群暉官微/
當(dāng)AI競(jìng)賽進(jìn)入深水區(qū),存儲(chǔ)不再只是"倉庫",而是決定訓(xùn)練效率的核心引擎。群暉用三級(jí)存儲(chǔ)架構(gòu)打通數(shù)據(jù)動(dòng)脈,讓每張GPU卡都能全速運(yùn)轉(zhuǎn)——畢竟在萬億參數(shù)時(shí)代,快1秒的模型迭代,可能意味著改寫行業(yè)格局的鑰匙。
數(shù)據(jù)革命已至,您的AI大模型存儲(chǔ)準(zhǔn)備好接招了嗎?
超半數(shù)百強(qiáng)企業(yè)信賴群暉
審核編輯 黃宇
-
存儲(chǔ)
+關(guān)注
關(guān)注
13文章
4787瀏覽量
90056 -
AI
+關(guān)注
關(guān)注
91文章
39755瀏覽量
301352
發(fā)布評(píng)論請(qǐng)先 登錄
乾芯課堂系列(一)乾芯QXS320F280049 芯片多種通訊方式OTA流程
蔡司自動(dòng)化解決方案 | 葉片檢測(cè)太耗時(shí)?蔡司全流程方案來破局!
借助NVIDIA Cosmos模型提升機(jī)器人訓(xùn)練效率
模板驅(qū)動(dòng) 無需訓(xùn)練數(shù)據(jù) SmartDP解決小樣本AI算法模型開發(fā)難題
ai_cube訓(xùn)練模型最后部署失敗是什么原因?
DeepSeek賦能,大模型一體機(jī)破解企業(yè)AI落地難題
海思SD3403邊緣計(jì)算AI數(shù)據(jù)訓(xùn)練概述
DevEco Studio AI輔助開發(fā)工具兩大升級(jí)功能 鴻蒙應(yīng)用開發(fā)效率再提升
首創(chuàng)開源架構(gòu),天璣AI開發(fā)套件讓端側(cè)AI模型接入得心應(yīng)手
閃存破局“內(nèi)存焦慮”,AI微調(diào)訓(xùn)練增加閃存消耗
適用于數(shù)據(jù)中心和AI時(shí)代的800G網(wǎng)絡(luò)
憶聯(lián)PCIe5.0 SSD以軟硬協(xié)同的高可靠性,支撐大模型全流程訓(xùn)練
憶聯(lián)PCIe 5.0 SSD支撐大模型全流程訓(xùn)練
群暉發(fā)布AI模型全流程存儲(chǔ)解決方案,破局訓(xùn)練效率與數(shù)據(jù)孤島難題
評(píng)論