在人工智能、5G、邊緣計算等數字化創新技術的驅動下，數據正在呈現爆發式增長的趨勢。為挖掘海量數據背后的價值，高性能存儲系統的需求急劇增加，也為分布式存儲系統提供了廣闊的應用空間。

相比傳統架構，分布式存儲系統具有更高的并發和更低的時延，可實現敏捷的擴展，幫助企業提升投資回報，目前已經成為企業推進數字化轉型的關鍵策略之一。網易主導自研的云原生高性能分布式存儲系統 Curve 就是其中之一，它致力于為企業提供一個高性能、低時延的存儲底座，基于該存儲底座，企業可以打造適用于不同應用場景的存儲系統，如塊存儲、對象存儲、云原生數據庫等。同時，網易與英特爾聯合推出了第四代英特爾 至強 可擴展處理器的 Curve 方案，該方案借助高性能處理器與高性能數據庫，實現了較高的存儲性能表現，以應對分布式存儲系統在性能、TCO 等方面遇到的挑戰。

分布式存儲系統雖有優勢但仍面臨挑戰

Curve 是網易數帆主導自研的一款高性能、易運維、云原生的開源分布式存儲系統，并具有高性能、高可用和自治三大設計特點。Curve 目前支持文件存儲 (CurveFS) 和塊存儲 (CurveBS)。Curve 可應用于主流的云原生基礎設施平臺，亦可作為云存儲中間件使用 S3 兼容的對象存儲作為數據存儲引擎，為公有云用戶提供高性價比的共享文件存儲。

雖然分布式存儲系統相比傳統存儲架構具有更高并發和更低時延等優勢，但隨著數據的快速增長，分布式存儲系統在性能、TCO 等方面仍然面臨多重挑戰：

創新應用、海量數據帶來嚴峻性能壓力

用戶增長與業務創新使得分布式存儲系統必須具備更高的性能水平，以在特定的服務級別協議 (SLA) 標準下處理數據。這對存儲系統的吞吐能力和時延造成了巨大壓力，使得存儲系統的性能壓力遠超傳統業務。

存儲集群規模增長可能導致 IO 性能抖動

在大規模的存儲集群中，有可能出現單個節點或磁盤異常（慢盤壞盤、節點超載等），導致 IO 請求時延飆高，進而出現 IO 抖動。隨著集群規模的增長，IO 抖動的問題可能變得更加嚴峻。

分布式存儲系統的規模帶來較高的 TCO 挑戰

為了提升系統吞吐量并降低時延，面向關鍵業務的分布式存儲系統通常需要較高的集群規模，這會直接帶來高額的采購成本。此外，存儲系統的服務器集群在空間占用、運維、供電散熱等方面，也會帶來較高的成本壓力，因此提升單節點的性能密度成為重要發展方向。

英特爾 至強?提升Curve 性能
滿足多場景存儲需求

高性能存儲系統依賴于高性能的硬件，尤其是 CPU 的性能更是堪稱關鍵。為避免出現性能瓶頸，網易推薦采用搭載英特爾 至強 可擴展處理器的服務器，以搭建 Curve 存儲系統，滿足多種場景的存儲需求。?

以第四代英特爾 至強 可擴展處理器為例，它通過創新架構增加了每個時鐘周期的指令，每個插槽多達 60 個核心，支持 8 通道DDR5 內存，有效提升了內存帶寬與速度，并通過 PCIe 5.0（80 個通道）實現了更高的 PCIe 帶寬提升。第四代英特爾 至強 可擴展處理器提供了出色性能和安全性，可根據用戶的業務需求進行擴展。借助英特爾 IAA、英特爾 AMX、英特爾 DSA、英特爾 QAT等內置加速器，用戶可以在 AI、分析、云和微服務、網絡、數據庫、存儲等類型的工作負載中獲得優化的性能。通過與強大的生態系統相結合，第四代英特爾 至強 可擴展處理器能夠幫助用戶構建更加高效、安全的基礎設施。?

為了測試搭載第四代英特爾 至強 可擴展處理器的 Curve 塊存儲系統性能表現，網易進行了測試。測試使用 3 臺 Server 節點和 1 臺 Client 節點，配置如表 1 所示，并在同一配置上部署了Ceph，進行了性能對比。

圖1：節點硬件配置

測試工具采用了 fio 基準測試，對比了同等配置下 Curve 塊存儲與 Ceph 存儲的 4K 隨機性能。測試數據如圖 2 所示，Curve 塊存儲 4K 隨機寫性能比 Ceph 高 1.07 倍，在混合讀寫場景（讀寫比7:3）下，性能比 Ceph 高 1.47 倍，隨機讀性能高 1.55 倍1。

圖2：Ceph 與 Curve 性能比較

在 Curve 塊存儲中，網絡傳輸中服務端處理可能會占用內存帶寬與 CPU 資源，影響系統性能。通過在 Curve 塊存儲中啟用遠程直接數據存取 (Remote Direct Memory Access, RDMA) 技術，有助于進一步提升存儲性能：RDMA 技術可以讓計算機直接訪問遠程計算機的內存，而無需在本地和遠程計算機之間進行數據復制，從而提高網絡通信的性能和效率。?

網易數帆測試了啟用 RDMA 后 Curve 的性能，測試數據如圖 3 所示，啟用 RDMA 后 Curve 性能最高提升到 1.86 倍，同時時延也有大幅改進2。

圖3：啟用 RDMA 前后的 Curve 性能比較

圖 4. 啟用 RDMA 后不同隊列深度的讀寫時延

雙方攜手打造高效云原生存儲解決方案，實現四大收益

基于第四代英特爾 至強 可擴展處理器的 Curve 高性能分布式存儲方案在吞吐、時延、TCO 等方面具備出色優勢，能夠為金融、互聯網、交通、能源等各行業提供高效的云原生存儲解決方案。其主要收益有以下四個方面：

應對超高性能場景的存儲需求，實現快速響應：得益于第四代英特爾 至強 可擴展處理器的強大性能，以及 Curve 在性能方面的優化，該方案實現了卓越的性能表現，能夠有效應對超大并發量業務在吞吐、時延方面的挑戰，提升業務服務能力。 ? 降低大規模集群下的性能抖動：Curve 采用了優化數據均衡工具、Backport 下線主動發現機制、優化 Peering 耗時、恢復速度控制、實現異步恢復等方式，并配置了數量眾多的監控告警，以便及時發現問題節點、進行故障處理，從而降低存儲異常導致 IO 抖動的問題。 ? 有效控制 TCO，提高投資回報：基于第四代英特爾 至強 可擴展處理器的 Curve 提升了單節點的性能密度，有助于降低集群構建、擴展帶來的成本壓力。 ? 提升可用性：Curve 采用多種數據高可用機制，網易的應用實踐顯示，系統上線以來，未出現數據不一致和丟數據的情況，沒有發生過重大故障，實現了卓越的數據可靠性和服務可用性。

在現有成果的基礎上，Curve 將會持續優化性能表現，包括支持云原生數據庫、為 K8s 集群提供存儲服務，并積極挖掘英特爾 至強 可擴展處理器、英特爾 以太網適配器等新一代硬件的性能潛力，探索 io_uring、QUIC、英特爾 SPDK、RAMA 等技術的應用，將其反饋給開源社區，為客戶提供更高性能的存儲系統。?

英特爾也將與網易繼續深度合作，通過聯合技術創新、產品驗證、場景化落地等方式，持續釋放英特爾 至強 可擴展處理器在性能和可擴展性等方面的優勢，加速軟硬件的融合，高效地利用計算、存儲、網絡等資源，充分發揮云原生高性能分布式存儲系統的優勢，助力企業數字化創新。

審核編輯：黃飛