摘要：現如今，數據中心正成為算力中心，為千行百業提供數字化底座，并基于海量數據挖掘其中的商業價值。超融合數據中心網絡以全無損以太網來構建新型的數據中心網絡，使通用計算、高性能計算、存儲三大業務均能融合部署在同一張以太網上，同時實現全生命周期自動化和全網智能運維，可在服務器規模不變的情況下，顯著提升數據中心的整體算力水平。

01.?智能時代促使數據中心向算力中心演進

人類社會正邁入萬物感知、萬物互聯、萬物智能的智能時代，物聯網、大數據、5G、AI等新技術和各類創新應用層出不窮。 ? 我國在《中華人民共和國國民經濟和社會發展第十四個五年規劃和2035年遠景目標綱要》中再一次明確了“加快數字化發展，打造數字經濟新優勢，協同推進數字產業化和產業數字化轉型，加快數字社會建設步伐，提高數字政府建設水平，營造良好數字生態，建設數字中國”的戰略方針。 ? 作為構建數字化社會的信息基石——數據中心，他承擔著各類應用的數據存儲、數據分析與數據計算的重任。

從數據中挖掘商業價值已成為企業經營的核心任務之一，因此數據中心也越來越聚焦對數據的高效處理，這種處理能力我們通常稱為“算力”。算力成為衡量現代數字生產力的重要指標。大家熟知的人臉識別、無人駕駛汽車、智慧工廠等，其背后都是數據中心對數字基礎設施的高效整合與使用，并將其轉化為某種應用維度的算力。從這個意義上說，數據中心又可以被稱為“算力中心”。 ? ?

圖1-1 數字化社會的信息基石——數據中心

數據中心算力是服務器對數據進行處理后實現結果輸出的能力，這是數據中心內計算、存儲、網絡三大資源協同能力的綜合衡量指標。 ? 根據ODCC（Open Data Center Committee，開放數據中心委員會）的定義，數據中心算力指標包含4大核心要素，即：通用計算能力、高性能計算能力、存儲能力、網絡能力。在服務器規模不變的情況下，提升網絡能力可顯著改善數據中心單位能耗下的算力水平。

02.?什么是超融合數據中心網絡

數據中心內存在三大資源區：通用計算區、高性能計算（HPC）區和存儲區。 ? 圖1-2 數據中心內存在的三大資源區

通用計算區：與數據中心外部的用戶對接，提供指定的應用服務。這個區域中的服務器大量使用虛擬化、容器等技術，形成靈活的資源池來承載應用。本區域中的網絡被稱為應用網絡、業務網絡或前端網絡，當前部署的是以太網。

高性能計算區：配備了專用的高性能單元（如CPU、GPU）的服務器，完成指定的高性能計算任務或AI訓練。這個區域中的服務器一般很少使用虛擬技術。本區域中的網絡被稱為高性能計算互聯網絡，當前部署的是IB（InfiniBand）網絡。

存儲區：采用專用的存儲服務器，對各類數據進行存儲、讀寫和備份。本區域中的網絡一般被稱為存儲網絡，通常部署的是FC（Fibre Channel）網絡。

算力持續穩定的輸出，離不開三大資源區的相互配合。作為聯接數據中心各類資源的大動脈，數據中心網絡承載著保障數據高效流通的職責。 ? 圖1-3 三大區域之間的數據流

當前，通用計算區部署的傳統以太網、高性能計算區部署的IB網、存儲區部署的FC網，是三張異構網絡，他們協議各異、架構割裂，帶來了運維困難、專網生態封閉、成本高、無法實現全生命周期管理等問題。數據中心里這三張網絡的融合，成為算力提升的必然要求。

? 華為超融合數據中心網絡以全無損以太網來構建新型的數據中心網絡，使通用計算、高性能計算、存儲三大業務均能融合部署在同一張以太網上，同時實現全生命周期自動化和全網智能運維。

? IT 架構層面：從本地集中式走向云端分布式 ? 當前一些新興的應用，如區塊鏈、工業仿真、人工智能、大數據等，基本都建立在云計算的底座中。近些年，企業各類業務上云的步伐不斷加速，云可以提供按需自助服務、快速彈性伸縮、多租戶安全隔離、降低項目前期投資等價值優勢。另外，在企業的數字化轉型中，以金融和互聯網企業為代表，大量的應用系統逐漸遷移到分布式系統上，也就是通過海量的 PC 平臺來替代傳統的小型機。這么做帶來了高性價比、易擴展、自主可控等好處，但分布式系統架構同時也帶來了服務器節點之間大量的網絡互通需求。以太網已經成為云化分布式場景中的事實網絡標準： ?

以太網已具有很高的開放性，可以與各種云融合部署、可被云靈活調用管理。

以太網具有很好的擴展性、互通性、彈性、敏捷性和多租戶安全能力。

以太網可以滿足新業務超大帶寬的需求。

以太網從業人員多，用戶基礎好。

而傳統數據中心高性能計算使用的 IB 網絡，以及集中式存儲使用的 FC 網絡，生態封閉，資源割裂，演進緩慢，已無法匹配云化的發展訴求。根據 IDC 數據顯示，近年來 FC 和 IB 市場逐步萎縮，數據中心的云化趨勢助長了對以太網的需求，以太網是當前以及未來主要的數據中心內部網絡互聯技術。 ? 計算層面：CPU/GPU 出以太接口提升性能 ? 以人工智能為代表的一系列創新應用正在快速發展，而人工智能后臺算法依賴海量的樣本數據和高性能的計算能力。為了滿足海量數據訓練的大算力要求，一方面可以提升 CPU 單核性能，但是目前單核芯片工藝在 3nm 左右，且成本較高；另外一方面，可以疊加多核來提升算力，但隨著核數的增加，單位算力功耗也會顯著增長，且總算力并非線性增長。據測算，當 128 核增至 256 核時，總算力水平無法提升 1.2倍。 ?

隨著算力需求的不斷增長，從 P 級（PFLOPS，一秒 1015 次浮點運算）向 E 級 （EFLOPS，一秒 1018 次浮點運算）演進，計算集群的規模不斷擴大，對集群之間互聯的網絡性能要求也越來越高，這使得計算和網絡深度融合成為必然。 ? 在計算處理器上，傳統的 PCIe 的總線標準由于單通道傳輸帶寬有限，且通道擴展數量也有限，已經無法滿足目前大吞吐高性能計算場景的要求。當前業界的主流是在計算處理器內集成 RoCE（Remote Direct Memory Access over Converged Ethernet，基于融合以太的遠程內存直接訪問協議）以太端口，從而讓數據通過標準以太網在傳輸速度和可擴展性上獲得了巨大的提升。

? 這里的 Remote Direct Memory Access（RDMA）是相對于 TCP 而言的，如下圖所示，在服務器內部，傳統的 TCP 協議棧在接收/發送報文，以及對報文進行內部處理時，會產生數十微秒的固定時延，這使得在 AI 數據運算這類微秒級系統中，TCP 協議棧時延成為最明顯的瓶頸。另外，隨著網絡規模的擴大和帶寬的提高，寶貴的 CPU 資源越來越地多被用于傳輸數據。 ?

? RDMA 允許應用與網卡之間的直接數據讀寫，將服務器內的數據傳輸時延降低到接近 1μs。同時，RDMA 允許接收端直接從發送端的內存讀取數據，極大地減少了 CPU 的負擔。 ? 在 高 性 能 計 算 場 景 中 ， 當 前 有 兩 種 主 流 方 案 來 承 載 RDMA ：專用 IB（InfiniBand）網絡和以太網絡。然而，IB 網絡采用私有協議，架構封閉，難以與現網大規模的 IP 網絡實現很好的兼容互通，同時 IB 網絡運維復雜，OPEX 居高不下。用以太網承載 RDMA 數據流，即上文提到的 RoCE，已應用在越來越多的高性能計算場景。

? 存儲層面：升級為全閃存 NVMe 接口 ? 新業務對海量數據的存儲和讀寫需求，催生了存儲介質的革新，由 HDD（Hard Disk Drive，機械硬盤）快速向 SSD（Solid-State Drive，固態硬盤）切換，這帶來了存儲性能近 100?倍的提升。在此過程中，出現了 NVMe（Non-Volatile Memory express，非易失性內存主機控制器接口規范）存儲協議，NVMe 極大提升了存儲系統內部的存儲吞吐性能，降低了傳輸時延。 ? 相比而言，原來承載存儲業務的 FC 網絡，無論從帶寬還是時延上，均已經成為當前存儲網絡的瓶頸。完成革新后的全新存儲系統，需要一個更快、更高質量的網絡。為此，存儲與網絡從架構和協議層進行了深度重構，新一代存儲網絡技術 NVMe over Fabric（簡稱 NVMe-oF）應運而生。NVMe-oF 將 NVMe 協議應用到服務器主機前端，作為存儲陣列與前端主機連接的通道，可端到端取代 SAN 網絡中的 SCSI（Small Computer System Interface，小型計算機系統接口）協議。 ?

NVMe over Fabric 中的“Fabric”，是 NVMe 的承載網絡，這個網絡可以是FC、TCP 或 RMDA。? ?

對于 FC，其技術封閉、產業生態不及以太網；產業規模有限，技術發展相對遲緩，帶寬不及以太網；從業人員稀缺、運維成本高、故障排除效率低。

對于 TCP，在追求應用高性能的網絡大潮中，RDMA 替換 TCP 已成為大勢所趨。

對于 RDMA，主流技術是 RoCE（RDMA over Converged Ethernet），即 NVMe over RoCE，他是基于融合以太網的 RDMA 技術來承載 NVMe。

綜上所述，基于以太網的 RoCE 比 FC 性能更高（更高的帶寬、更低的時延），同時兼具 TCP 的優勢（全以太化、全 IP 化），因此 NVMe over RoCE 作為新一代存儲網絡已經脫穎而出，成為業界 NVMe-oF 的主流技術。 ? 網絡運維層面：部署與運維的全方位升級 ? 在數據中心網絡，當前存在幾個較為突出的問題與挑戰： ?

管理難：數據中心網絡里常常存在多個廠商的不同設備，接口不統一，很難統一管控。

易出錯：新業務的下發或老業務的變更，工作流程復雜，往往涉及多部門聯動設計、調測，人工操作不僅效率低，而且容易出錯。

定位慢：如果發生異常，據統計，故障的定位平均時長達 76 分鐘，嚴重影響業務的連續性，給企業帶來損失。

這些都呼喚一個全新的數據中心網絡的到來。華為超融合數據中心網絡，在實現“三網合一”的基礎上，在開放性、業務部署、運維層面進行變革，全方位應對上述挑戰。 ?

編輯：黃飛