在當(dāng)下數(shù)智化浪潮中，數(shù)據(jù)中心架構(gòu)正經(jīng)歷深度重塑。從GPU集群到網(wǎng)絡(luò)帶寬，從電力負(fù)載到能效管理，每一項(xiàng)設(shè)計(jì)都在被重新定義。

近日，IT媒體《Datacenter Knowledge》發(fā)布報(bào)道指出，MLPerf基準(zhǔn)測(cè)試正在成為全球智能基礎(chǔ)設(shè)施評(píng)估與數(shù)據(jù)中心設(shè)計(jì)的重要依據(jù)。

為何這么說(shuō)？我們一起來(lái)看

MLPerf：智算時(shí)代的共同性能語(yǔ)言

隨著機(jī)器學(xué)習(xí)和智能應(yīng)用日漸普及，如何衡量智能訓(xùn)練在不同硬件與軟件環(huán)境下的表現(xiàn)，成為了數(shù)據(jù)中心設(shè)計(jì)中的核心議題。

在這一背景下，MLPerf（Machine Learning Performance）作為全球機(jī)器學(xué)習(xí)性能標(biāo)準(zhǔn)應(yīng)運(yùn)而生，自2018年推出以來(lái)，MLPerf Training基準(zhǔn)測(cè)試迅速成為衡量智能訓(xùn)練性能的核心工具，幫助數(shù)據(jù)中心專(zhuān)業(yè)人士基于真實(shí)數(shù)據(jù)做出基礎(chǔ)設(shè)施決策，從而契合不斷演進(jìn)的工作負(fù)載需求。

MLPerf由MLCommons.org維護(hù)，成員包括戴爾科技集團(tuán)、Meta、Google、NVIDIA、Intel、Microsoft等125家企業(yè)與研究機(jī)構(gòu)。其核心使命，是讓智能系統(tǒng)的性能比較“既公平，又有意義”。

RISC芯片先驅(qū)，MLCommons負(fù)責(zé)人David Patterson指出，智能訓(xùn)練已成為一種“超級(jí)計(jì)算問(wèn)題”，而評(píng)估的標(biāo)準(zhǔn)必須兼顧多架構(gòu)、多軟件棧與多場(chǎng)景。

因此，MLPerf Training通過(guò)統(tǒng)一任務(wù)、數(shù)據(jù)集與精度目標(biāo)，為各類(lèi)系統(tǒng)提供了可重復(fù)、可驗(yàn)證的對(duì)比基礎(chǔ)。

正如《Datacenter Knowledge》所說(shuō)：“MLPerf已不僅是性能測(cè)試工具，更成為數(shù)據(jù)中心架構(gòu)師的決策指南。”

從MLPerf Storage v2.0看存儲(chǔ)系統(tǒng)如何選擇

在MLPerf Training成為衡量計(jì)算性能的重要參考之后，業(yè)界也開(kāi)始意識(shí)到，智能訓(xùn)練不僅是算力的挑戰(zhàn)，更是存儲(chǔ)系統(tǒng)能力的試金石。

尤其在訓(xùn)練規(guī)模快速擴(kuò)張的今天，如何支撐長(zhǎng)時(shí)間、高頻次、分布式的訓(xùn)練任務(wù)，存儲(chǔ)系統(tǒng)正逐步走向臺(tái)前，承擔(dān)起保障訓(xùn)練穩(wěn)定性的重要職責(zé)。但評(píng)估智能訓(xùn)練性能，僅關(guān)注速度已遠(yuǎn)遠(yuǎn)不夠。

例如，在MLCommons發(fā)布的MLPerf Storage v1.0基準(zhǔn)測(cè)試中，主要考察的是存儲(chǔ)系統(tǒng)在智能訓(xùn)練中是否具備足夠的吞吐能力和低延遲性能，以支撐高速智能訓(xùn)練，避免“算力等存力”的性能浪費(fèi)。

而在最新發(fā)布的MLPerf Storage v2.0基準(zhǔn)測(cè)試中，則聚焦于訓(xùn)練過(guò)程中的系統(tǒng)可靠性與中斷恢復(fù)能力，并首次引入了“Checkpointing（檢查點(diǎn)保存）”，模擬因硬件故障導(dǎo)致訓(xùn)練中斷時(shí)，存儲(chǔ)系統(tǒng)在保存與恢復(fù)訓(xùn)練進(jìn)度中的響應(yīng)速度和穩(wěn)定性。

這是因?yàn)殡S著訓(xùn)練規(guī)模越大來(lái)越大，訓(xùn)練持續(xù)時(shí)間也越來(lái)越長(zhǎng)，而如果沒(méi)有高效的檢查點(diǎn)機(jī)制，訓(xùn)練可能需要反復(fù)回滾，大量算力與能耗將被浪費(fèi)，自然會(huì)阻礙企業(yè)智能訓(xùn)練的進(jìn)程。

因此從MLPerf Storage v1.0到v2.0的變化可以看出，智能訓(xùn)練對(duì)存儲(chǔ)系統(tǒng)的要求，已經(jīng)從單純的“快”向“穩(wěn)”與“可恢復(fù)”轉(zhuǎn)變。

吞吐率和延遲依然重要，但系統(tǒng)的持續(xù)寫(xiě)入能力、并發(fā)處理能力與故障恢復(fù)能力，正逐漸成為判斷一套存儲(chǔ)系統(tǒng)是否“能扛住訓(xùn)練”的關(guān)鍵指標(biāo)。

那么問(wèn)題來(lái)了，企業(yè)應(yīng)如何選擇能真正支撐智能訓(xùn)練的存儲(chǔ)系統(tǒng)？

戴爾PowerScale穩(wěn)住算力，撐起智算未來(lái)

在存儲(chǔ)系統(tǒng)的性能、穩(wěn)定性、可擴(kuò)展性成為智能訓(xùn)練核心考量的當(dāng)下，戴爾PowerScale憑借面向大規(guī)模并行任務(wù)設(shè)計(jì)的架構(gòu)，已被廣泛部署于智能訓(xùn)練與HPC環(huán)境中，尤其適配檢查點(diǎn)密集型場(chǎng)景。

點(diǎn)擊圖片了解產(chǎn)品信息

咨詢(xún)客服還可了解更多優(yōu)惠活動(dòng)

首先，從架構(gòu)來(lái)看，PowerScale的核心是一個(gè)由OneFS軟件驅(qū)動(dòng)的智能架構(gòu)，專(zhuān)用于管理分布式環(huán)境中的非結(jié)構(gòu)化數(shù)據(jù)。

具體來(lái)說(shuō)，包含以下三個(gè)基礎(chǔ)層：

客戶(hù)端訪問(wèn)層

網(wǎng)絡(luò)文件系統(tǒng)的這一關(guān)鍵組成部分可確保從各種客戶(hù)端和工作負(fù)載對(duì)非結(jié)構(gòu)化數(shù)據(jù)的無(wú)縫訪問(wèn)。客戶(hù)端訪問(wèn)層使用高速以太網(wǎng)連接并支持多種協(xié)議，例如網(wǎng)絡(luò)文件系統(tǒng)（NFS）、服務(wù)器消息塊（SMB）和Hadoop分布式文件系統(tǒng)（HDFS），簡(jiǎn)化并統(tǒng)一了不同工作負(fù)載的文件訪問(wèn)。

該層采用NVIDIA GPU Direct Storage、遠(yuǎn)程直接內(nèi)存訪問(wèn)（RDMA）等前沿技術(shù)，為智能應(yīng)用在GPU內(nèi)存與存儲(chǔ)設(shè)備之間直接數(shù)據(jù)傳輸提供了便利。它還通過(guò)智能負(fù)載均衡策略?xún)?yōu)化性能和可用性，同時(shí)利用多租戶(hù)控制確保安全性和量身定制的服務(wù)級(jí)別。

OneFS文件呈現(xiàn)層

該層統(tǒng)一了整個(gè)集群的數(shù)據(jù)訪問(wèn)，讓用戶(hù)不再為數(shù)據(jù)的物理位置而煩惱。OneFS無(wú)縫集成了卷管理、數(shù)據(jù)保護(hù)和分層功能，簡(jiǎn)化了各類(lèi)存儲(chǔ)的大型數(shù)據(jù)卷管理。

憑借高可用性且可連續(xù)無(wú)中斷運(yùn)行的特點(diǎn)，該層助力用戶(hù)輕松實(shí)現(xiàn)升級(jí)、擴(kuò)展和遷移，為其提供一個(gè)可適配各種需求的智能、高效文件系統(tǒng)。

PowerScale計(jì)算和存儲(chǔ)集群層：

作為骨干層，該層提供節(jié)點(diǎn)和節(jié)點(diǎn)間的網(wǎng)絡(luò)元素，實(shí)現(xiàn)可擴(kuò)展且高可用性的文件集群。從處理基礎(chǔ)容量和計(jì)算任務(wù)的經(jīng)濟(jì)型小型集群，到可容納PB級(jí)數(shù)據(jù)的大型配置，PowerScale都能在不增加任何管理負(fù)擔(dān)的情況下，輕松擴(kuò)展和自動(dòng)平衡集群。

其次，PowerScale是業(yè)界率先通過(guò)NVIDIA DGX SuperPOD認(rèn)證的企業(yè)級(jí)文件存儲(chǔ)解決方案，這表明其擁有強(qiáng)大的數(shù)據(jù)吞吐和并發(fā)能力，確保GPU在訓(xùn)練和微調(diào)過(guò)程中始終保持“滿(mǎn)負(fù)荷”狀態(tài)，實(shí)現(xiàn)算力投資的最大化回報(bào)。

第三，PowerScale能夠高效處理大規(guī)模順序?qū)懭耄词乖诟哳l、高并發(fā)的檢查點(diǎn)寫(xiě)入場(chǎng)景下，也能保持線性帶寬輸出，從而最大限度降低計(jì)算回滾帶來(lái)的時(shí)間與成本損失。

第四，PowerScale的架構(gòu)支持無(wú)中斷擴(kuò)展與升級(jí)。無(wú)論是增加節(jié)點(diǎn)以提升容量和性能，還是應(yīng)用最新的軟件特性，都無(wú)需中斷現(xiàn)有訓(xùn)練任務(wù)，滿(mǎn)足企業(yè)不斷發(fā)展的需求。

這一特性對(duì)于NVIDIA DGX SuperPOD等持續(xù)運(yùn)行的訓(xùn)練集群尤為關(guān)鍵。用戶(hù)既能保持訓(xùn)練連續(xù)性，又能享受PowerScale技術(shù)的迭代進(jìn)步。

結(jié) 語(yǔ)

隨著MLPerf在智能計(jì)算領(lǐng)域的廣泛應(yīng)用，它不僅成為衡量訓(xùn)練性能的關(guān)鍵工具，也為數(shù)據(jù)中心架構(gòu)設(shè)計(jì)提供了統(tǒng)一、量化的參考標(biāo)準(zhǔn)。

作為面向高并發(fā)訓(xùn)練場(chǎng)景構(gòu)建的企業(yè)級(jí)文件存儲(chǔ)系統(tǒng)，PowerScale憑借出色的數(shù)據(jù)吞吐、恢復(fù)能力和架構(gòu)可擴(kuò)展性，成為支撐新一代智能基礎(chǔ)設(shè)施的可靠選擇。