隨著大模型技術(shù)規(guī)模化落地,AI應(yīng)用的實(shí)時(shí)性正成為企業(yè)競爭力的核心。然而,在算力持續(xù)升級的同時(shí),模型從存儲層加載至計(jì)算單元的環(huán)節(jié)卻日漸成為制約系統(tǒng)效率與彈性的關(guān)鍵瓶頸。緩慢或波動的加載過程,不僅會導(dǎo)致昂貴算力資源的閑置,更直接影響業(yè)務(wù)響應(yīng)質(zhì)量。由此可見,構(gòu)建高效、穩(wěn)定的數(shù)據(jù)供給通道,已成為AI基礎(chǔ)設(shè)施演進(jìn)的關(guān)鍵方向。
為驗(yàn)證企業(yè)級SSD在真實(shí)AI場景中的表現(xiàn),憶聯(lián)選擇Ollama這一廣泛應(yīng)用的開源大模型部署平臺進(jìn)行深度測試。Ollama不僅能夠模擬典型的企業(yè)級AI工作負(fù)載,如多模型快速加載、高頻迭代等,其標(biāo)準(zhǔn)化的調(diào)用接口還可精準(zhǔn)反映底層存儲性能對模型準(zhǔn)備時(shí)間的實(shí)際影響,為存儲能力評估提供了一個(gè)客觀且可復(fù)現(xiàn)的測試環(huán)境。在本次測試中,憶聯(lián)UH812a憑借領(lǐng)先性能大幅降低數(shù)據(jù)加載耗時(shí),這不僅驗(yàn)證了其作為AI數(shù)據(jù)底座的強(qiáng)大承載力,更彰顯了憶聯(lián)在高端企業(yè)級存儲領(lǐng)域的技術(shù)實(shí)力。
01測試軟硬件環(huán)境

02測試組網(wǎng)規(guī)劃

◎圖1:測試組網(wǎng)規(guī)劃圖
03測試步驟
步驟1
將待測SSD格式化為ext4文件系統(tǒng),并掛載至指定目錄。
步驟2
將準(zhǔn)備好的離線大模型數(shù)據(jù)復(fù)制到SSD掛載的目錄。
步驟3
清空內(nèi)存,啟動Ollama服務(wù),執(zhí)行模型加載命令,將目標(biāo)從SSD加載至顯存,并記錄加載耗時(shí)。該步驟重復(fù)執(zhí)行3次,取算術(shù)平均值作為最終測試結(jié)果。
04測試結(jié)果
1DeepSeek-R1系列模型加載性能測試
DeepSeek-R1作為業(yè)界主流的高性能開源模型,其參數(shù)規(guī)模從1.5B至671B不等,覆蓋了從輕量級到千億級的不同應(yīng)用場景。該類模型的加載過程具有典型的隨機(jī)讀取特征,對存儲設(shè)備抓取分散權(quán)重文件的IOPS性能提出了極高要求。本次測試覆蓋了7B(小規(guī)模)、70B(中等規(guī)模)及671B(大規(guī)模)三個(gè)版本。
結(jié)果表明,憶聯(lián)UH812a在Ollama平臺上的模型加載表現(xiàn)全面優(yōu)于競品:
Ollama加載DeepSeek-R1:671B模型:基于UH812a的平均耗時(shí)較競品A降低48%;
Ollama加載DeepSeek-R1:70B模型:基于UH812a的平均耗時(shí)較競品A降低36%;
Ollama加載DeepSeek-R1:7B模型:基于UH812a的平均耗時(shí)較競品A降低21%。

◎圖2:Ollama加載DeepSeek-R1模型平均耗時(shí)(s)對比
DeepSeek-R1系列模型測試證明,憶聯(lián)UH812a憑借卓越的隨機(jī)讀取性能,從容應(yīng)對復(fù)雜推理模型的極端I/O挑戰(zhàn),它將高負(fù)載場景下的存儲壓力,轉(zhuǎn)化為算力資源的充分釋放與即時(shí)可用,為企業(yè)筑牢AI數(shù)據(jù)底座。
2Qwen3系列模型加載性能測試
Qwen3作為阿里通義千問開源模型,其參數(shù)規(guī)格覆蓋0.6B至235B。當(dāng)加載32B、235B等較大規(guī)模模型時(shí),海量大文件權(quán)重的高效調(diào)取對存儲設(shè)備的順序讀取帶寬提出了嚴(yán)苛要求。本次測試覆蓋了8B及235B兩個(gè)典型版本。
結(jié)果顯示,憶聯(lián) UH812a在Ollama平臺上的加載表現(xiàn)全面優(yōu)于競品A:
Ollama加載Qwen3:235B模型:基于UH812a的平均耗時(shí)較競品A降低40%;
Ollama加載Qwen3:8B模型:基于UH812a的平均加載耗時(shí)較競品A降低20%。

◎圖3:Ollama加載Qwen3模型平均耗時(shí)(s)對比
Qwen3系列模型載入測試表明,憶聯(lián)UH812a憑借卓越的順序讀寫性能,從容應(yīng)對大容量、高帶寬工作負(fù)載,為企業(yè)級大規(guī)模AI應(yīng)用提供穩(wěn)定、敏捷的存儲層支撐。
3Llama3.1-405B超大規(guī)模模型加載性能測試
Llama3.1是Meta推出的旗艦級開源大模型,其405B超大規(guī)模版本對存儲系統(tǒng)的容量支撐與高速讀取能力提出了極致要求。本次在Ollama平臺上聚焦該模型進(jìn)行實(shí)測。
結(jié)果顯示,使用UH812a的Ollama加載Llama3.1:405B模型的平均耗時(shí)較競品低47%,展現(xiàn)出處理超大規(guī)模文件高效調(diào)取的卓越能力。這一領(lǐng)先優(yōu)勢源于UH812a的技術(shù)底座:PCIe 5.0接口帶來的超高帶寬,結(jié)合自主研發(fā)主控的高效調(diào)度算法,充分釋放了Ollama框架在模型加載階段的I/O潛力。

◎圖4:Ollama加載Llama3.1模型平均耗時(shí)(s)對比
基于Ollama的深度測試表明,憶聯(lián)UH812a能夠充分滿足從輕量級驗(yàn)證到大規(guī)模生產(chǎn)部署的全場景AI負(fù)載。作為突破模型加載I/O瓶頸、加速智能算力釋放的關(guān)鍵一環(huán),UH812a彰顯了其在企業(yè)AI基礎(chǔ)設(shè)施中的核心價(jià)值與領(lǐng)先地位。
面對AI模型參數(shù)規(guī)模的指數(shù)級增長與應(yīng)用場景向?qū)崟r(shí)化、邊緣化的持續(xù)演進(jìn),憶聯(lián)將以更優(yōu)存力、更高標(biāo)準(zhǔn),攜手產(chǎn)業(yè)伙伴共同應(yīng)對超大規(guī)模訓(xùn)練、實(shí)時(shí)推理與聯(lián)邦學(xué)習(xí)等前沿挑戰(zhàn),為人工智能的下一階段突破筑牢數(shù)據(jù)基石,讓存力成為驅(qū)動智能未來的算力動脈。
-
AI
+關(guān)注
關(guān)注
91文章
39776瀏覽量
301372 -
算力
+關(guān)注
關(guān)注
2文章
1530瀏覽量
16741 -
大模型
+關(guān)注
關(guān)注
2文章
3650瀏覽量
5179
原文標(biāo)題:憶聯(lián)UH812a以極致存力破局大模型載入瓶頸,釋放算力潛能
文章出處:【微信號:UnionMemory憶聯(lián),微信公眾號:UnionMemory憶聯(lián)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
憶聯(lián)AM6D1以DRAMLess架構(gòu)重塑性能與成本平衡
如何評估憶聯(lián)Gen5 eSSD UH812a在AI場景中的性能表現(xiàn)
英特爾與憶聯(lián)重磅推出企業(yè)級網(wǎng)絡(luò)存儲解決方案
曙光存儲兩大核心技術(shù)與全棧產(chǎn)品矩陣推動存力范式革新
憶聯(lián)PCIe 5.0企業(yè)級固態(tài)硬盤UH812a評測
騰視科技AI大模型應(yīng)用:提效、破局與落地,重塑智能新生態(tài)
英特爾Benchmark驗(yàn)證!憶聯(lián)UH812a問鼎PCIe Gen5企業(yè)級存儲性能巔峰
憶聯(lián) Docker+MySQL 流控方案:打造安全高效存儲底座,釋放 AI 極致性能
開普云「開悟智核」:極致性價(jià)比的智能體一體機(jī),破局大模型應(yīng)用難題
憶聯(lián)攜手新華三 SPEC基準(zhǔn)測試再創(chuàng)新高,樹立企業(yè)級存儲領(lǐng)域新標(biāo)桿
誰說高性能必須高能耗?揭秘企業(yè)級SSD功耗管理“黑科技”
憶聯(lián)UH812a獲英特爾BKC與PCIe鏈路雙認(rèn)證,賦能企業(yè)級存儲解決方案
存力接棒算力,慧榮科技以主控技術(shù)突破AI存儲極限
憶聯(lián)PCIe5.0 SSD以軟硬協(xié)同的高可靠性,支撐大模型全流程訓(xùn)練
憶聯(lián)PCIe 5.0 SSD支撐大模型全流程訓(xùn)練
憶聯(lián)UH812a以極致存力破局大模型載入瓶頸
評論