我們已經(jīng)多次查看 Graid SupremeRAID 卡和軟件，并且對(duì) Graid 所實(shí)現(xiàn)的極端存儲(chǔ)性能印象深刻。 傳統(tǒng)的硬件和軟件 RAID 在性能方面都有很大的不足，這為 Graid 帶來(lái)更好的解決方案。 隨著 Gen5 SSD 的批量出貨，我們組裝了一臺(tái)裝備精良的服務(wù)器，看看讓閃存飛起來(lái)會(huì)發(fā)生什么。

為什么選擇 Graid SupremeRAID 與硬件 RAID比較？

Graid 解決方案包含兩個(gè)核心元素：GPU 和軟件定義存儲(chǔ) (SDS) 堆棧。 與 RAID 卡一樣，GPU 將大部分硬盤(pán)管理和數(shù)據(jù)保護(hù)任務(wù)從 CPU 中分離出來(lái)，從而將 CPU 騰出來(lái)來(lái)運(yùn)行應(yīng)用程序。 然而，與 RAID 卡不同的是，SupremeRAID 的效率要高得多。 它直接通過(guò) PCIe 總線(xiàn)對(duì)驅(qū)動(dòng)器進(jìn)行尋址，無(wú)需額外的布線(xiàn)或復(fù)雜的機(jī)箱配置。 由于 GPU 比 RAID 卡的 ASIC 更具動(dòng)態(tài)性，因此 Graid 的性能擴(kuò)展得到了極大的提高。

當(dāng)查看服務(wù)器內(nèi)出現(xiàn)瓶頸的位置時(shí)，擴(kuò)展優(yōu)勢(shì)立即顯而易見(jiàn)。 當(dāng)前的 RAID 卡僅限于 Gen4，最高可達(dá) 28GB/s。 四個(gè)的 Gen4 SSD 可以使單個(gè) RAID 卡飽和。 該系統(tǒng)需要多個(gè) RAID 卡才能利用 24 盤(pán)位服務(wù)器中的所有硬盤(pán)達(dá)到其最快的速度。 另一方面，SupremeRAID 可以在單個(gè)系統(tǒng)中支持 32 個(gè)驅(qū)動(dòng)器，并且沒(méi)有 PCIe 插槽帶寬限制。

隨著每一代接口的飛躍，硬件 RAID 的性能問(wèn)題變得更加復(fù)雜。 為了支持 Gen5 SSD，需要新的硬件 RAID ASIC。 但即便如此，硬件 RAID 仍將面臨與上述相同的擴(kuò)展問(wèn)題。 SupremeRAID GPU 目前使用 Gen4 接口，公平地說(shuō)，這目前只是 Intel/AMD/NVIDIA 的問(wèn)題。 但這并不能阻止它釋放 Gen5 硬盤(pán)的性能。 這意味著高達(dá) 260GB/s 和 28M IOPS 的性能水平。 當(dāng) Gen5 GPU 上市時(shí)，Graid 可以進(jìn)一步提高 IOPS 數(shù)字。

關(guān)于 Graid GPU 的最后一點(diǎn)：今天，它們的大部分實(shí)現(xiàn)都在 SR-1010的 產(chǎn)品，利用 NVIDIA A2000 GPU。 我們提出這一點(diǎn)是為了指出，Graid 不需要為 SupremeRAID 配備昂貴或難以找到的 GPU，也不需要使用具有外部電源的 GPU。 如果出于某種原因，用戶(hù)更喜歡備用卡，Graid 的軟件幾乎可以在我們?cè)趯?shí)驗(yàn)室的 A2 上測(cè)試過(guò)的任何 NVIDIA 芯片上運(yùn)行，并獲得出色的結(jié)果。 無(wú)論如何，GPU 都很容易安裝，并且不需要額外的電池。

為什么選擇 Graid SupremeRAID 與 軟件 RAID的比較？

由于早期 NVMe RAID 卡的成本、復(fù)雜性和中等性能，軟件 RAID 近年來(lái)迅速發(fā)展。 當(dāng)我們需要一種快速、簡(jiǎn)單的方法來(lái)將 NVMe SSD 組合在一起并在線(xiàn)時(shí)，我們就部署了 Windows 存儲(chǔ)空間、Linux MD 或 ZFS RAIDZ。 但與任何不使用硬件加速的存儲(chǔ)軟件一樣，也是有成本的。 主機(jī) CPU 必須運(yùn)行驅(qū)動(dòng)器管理和數(shù)據(jù)保護(hù)，從而占用應(yīng)用程序的周期。 Graid 基于 GPU 的產(chǎn)品沒(méi)有此限制，可確保服務(wù)器上的存儲(chǔ)和應(yīng)用程序?qū)崿F(xiàn)最佳性能。

此外，對(duì)于軟件 RAID，操作系統(tǒng)的選擇限制了選擇。 Graid 幾乎可以在任何東西上運(yùn)行，包括超過(guò)六種 Linux 發(fā)行版和 Windows。 公平地說(shuō)，與軟件 RAID 相比，Graid 的運(yùn)行難度稍大一些； 系統(tǒng)中必須安裝 GPU，而額外的工作量可以說(shuō)可以忽略不計(jì)。 然而，回報(bào)是驚人的，正如您將在下面看到的那樣。 我們談?wù)摰氖?SupremeRAID 比軟件 RAID 有著數(shù)量級(jí)的差距。

Grid SupremeRAID Gen5 性能

對(duì)于此測(cè)試，我們將 Supermicro AS-2125HS-TNR 服務(wù)器與兩個(gè) AMD EPYC 9654 CPU、384GB DRAM 和 24 個(gè) 3.84TB 組合在一起 KIOXIA 的 CM7-R Gen5 SSD.

我們將硬盤(pán)配置為 軟 RAID 和 Graid 的 RAID5 配置。 對(duì)于條帶大小，我們?yōu)?Graid 使用 4K 條帶，為 mdadm（軟RAID） 使用 4K、64K 和 512K 塊來(lái)做測(cè)試。 軟件 RAID 需要改變塊大小，才能在優(yōu)化配置中顯示峰值 4K 傳輸速度，并在最佳狀態(tài)下顯示峰值大塊帶寬。 這對(duì)于 Graid 來(lái)說(shuō)并不那么重要，它可以處理不同的塊大小而不會(huì)影響性能。

服務(wù)器：超微 AS-2125HS-TNR
CPU：2 個(gè) AMD EPYC 9654 96 核處理器 x 2
內(nèi)存：24 個(gè)三星 M321R2GA3BB6-CQKVS DDR5 4800 MT/s 16GB x 24
NVMe 驅(qū)動(dòng)器：24 個(gè)鎧俠 CM7-R 3.84T KCMY1RUG3T84 x 24
RAID 控制器：SupremeRAID SR-1010
SupremeRAID Driver: 1.5.0-659.g10e76f72.010
Linux 操作系統(tǒng)：Ubuntu 22.04.1 LTS

比較軟件 RAID 和 Graid 的性能令人大開(kāi)眼界。 就峰值帶寬而言，我們最終在評(píng)估期間將 mdadm 塊大小從 4K 增加到 64K 和 512K，因?yàn)樵?4K 時(shí)，峰值讀取帶寬較低。 Mdadm 總體來(lái)說(shuō)不是很好，但最高的順序讀取速度是在 64K 塊大小中，測(cè)量為 279GB/s，與 Graid RAID 配置的速度相匹配。 在64K塊大小的情況下，是軟RAID最快的速度配置，軟 RAID的順序?qū)懭胄阅茏罡呖蛇_(dá)3.51GB/s，盡管這與Graid的148GB/s相比根本不算什么。

比較64K 的大塊隨機(jī)寫(xiě)入傳輸速度時(shí)，軟件RAID 的速度范圍為 627MB/s 到 822MB/s，而 Graid 則將其從水中脫穎而出，測(cè)量為 30.2GB/s。

最后，在隨機(jī)4K傳輸速度方面，我們?cè)?K塊大小時(shí)測(cè)量了最高的軟RAID性能，在延遲時(shí)間為1.1ms時(shí)測(cè)量了5.6M IOPS。在同樣的測(cè)試中，Graid的IOPS達(dá)到了令人印象深刻的28.5M IOPS，延遲時(shí)間僅為0.22ms。4K寫(xiě)速度的測(cè)試中軟RAID在64K塊上顯示出最佳的性能，即在延遲時(shí)間為15.01ms下測(cè)量到205k IOPS，而在GRAID的測(cè)試中測(cè)量2.02M IOPS延遲時(shí)間為 1.52ms。

總結(jié)

我們已經(jīng)測(cè)試過(guò)了幾乎所有現(xiàn)代實(shí)現(xiàn) RAID的解決方案 ，從專(zhuān)用硬件卡到各種基于軟件的解決方案。 我們還在三種不同的 GPU 以及各種 SSD 介質(zhì)類(lèi)型和 NVMe 接口上多次測(cè)試了 Graid 解決方案。 公平地說(shuō)，許多數(shù)據(jù)集（例如備份和恢復(fù)、大型數(shù)據(jù)湖、文件共享以及許多其他沒(méi)有嚴(yán)格性能要求的數(shù)據(jù)集）都會(huì)對(duì)這些解決方案感到非常滿(mǎn)意。 但如果應(yīng)用程序需要完全訪問(wèn)底層閃存，Graid 就完全在另一個(gè)層面上發(fā)揮作用。

雖然大多數(shù)客戶(hù)看到 NVMe 硬件并認(rèn)為無(wú)論如何性能都會(huì)很棒，但重要的是要了解這些系統(tǒng)在硬盤(pán)組合后將如何執(zhí)行，然后在其之上添加 RAID 層。 在 Linux 環(huán)境中，軟件 RAID 在跟上 NVMe 設(shè)備（尤其是 Gen5 SSD）方面確實(shí)顯示出其局限性。

雖然單個(gè)硬盤(pán)的性能很強(qiáng)，但并非所有RAID解決方案都是最適合的。通過(guò)比較優(yōu)化配置，Graid在24塊KIOXIA CM7-R Gen5 ssd上提供了超過(guò)279GB/s的讀取和148GB/s的寫(xiě)入帶寬，而軟 RAID的讀取和寫(xiě)入帶寬分別為279GB/s和3.51GB/s。在4K隨機(jī)讀寫(xiě)測(cè)試中，我們看到了令人難以置信的28.5M IOPS讀取和2.02M? IOPS寫(xiě)入，而軟 RAID僅提供5.6M IOPS讀取和205k IOPS寫(xiě)入。對(duì)于某些環(huán)境，軟 RAID可能“足夠快”，但對(duì)于那些要求最高性能水平的環(huán)境，它幾乎無(wú)法與Graid的SupremeRAID相比。
?
為了最大限度地提高像這樣的單個(gè)主機(jī)中的 NVMe SSD 性能，我們?cè)谑袌?chǎng)上還沒(méi)有看到任何可以與 Graid SupremeRAID Gen5 解決方案的產(chǎn)品競(jìng)爭(zhēng)。 在本次測(cè)試中，我們?cè)诹畠r(jià)的 NVIDIA A2000 GPU 上完成了這項(xiàng)工作。 任何希望最大化 Gen5 閃存投資的組織都應(yīng)該明智地采用 Graid PoC，以了解其技術(shù)的影響力。
?