PCIe 真的能與以太網(wǎng)和 IB 競爭并取勝嗎？工程師應(yīng)該從了解 PCIe、以太網(wǎng)和 IB 共存的地方以及為什么 PCIe 準備進軍其他兩個領(lǐng)域中受益。

InfiniBand （IB） 最初被設(shè)想為一種統(tǒng)一結(jié)構(gòu)，以取代大多數(shù)其他數(shù)據(jù)中心互連。雖然它沒有實現(xiàn)這一目標，但它已經(jīng)作為一種高速集群互連變得流行，取代了之前一直在使用的專有解決方案。

與 PCI Express （PCIe） 非常相似，IB 自推出以來已經(jīng)經(jīng)歷了許多不同的速度。初始速度稱為單數(shù)據(jù)速率 （SDR），與 PCIe Gen1 的有效數(shù)據(jù)速率相同，約為每秒 2 吉比特 （Gbps）。此后，它已增強為 4 Gbps 的雙倍數(shù)據(jù)速率 （DDR）、8 Gbps 的四倍數(shù)據(jù)速率 （QDR），現(xiàn)在通過 14 數(shù)據(jù)速率 （FDR） 增強功能提高到 13.64 Gbps。

QDR 在單通道的數(shù)據(jù)速率方面最接近 PCIe Gen3，并且具有相似的帶寬和延遲，基于 PCIe 的結(jié)構(gòu)將能夠以相同的數(shù)據(jù)速率提供與 IB 解決方案相似的性能。除了提供相同級別的性能外，PCIe 還能夠使用 IB 不提供的標準單根 I/O 虛擬化 （SR-IOV） 硬件和軟件驅(qū)動程序提供 I/O 設(shè)備共享。IB 主要是一種高速集群技術(shù)，因此基于 PCIe 的結(jié)構(gòu)可以實現(xiàn)類似 IB QDR 的性能，并降低等效 IB 解決方案的系統(tǒng)成本和功耗。

當前架構(gòu)

當前大量部署的傳統(tǒng)系統(tǒng)有幾種需要支持的互連技術(shù)。如圖 1 所示，除了光纖通道 （FC） 等其他結(jié)構(gòu)外，IB 和以太網(wǎng)還可以作為單個系統(tǒng)中的互連。

圖 1：此處顯示的是采用 PCI Express、InfiniBand （IB） 和以太網(wǎng)互連技術(shù)的傳統(tǒng)系統(tǒng)。

這種架構(gòu)有幾個限制：

存在多種 I/O 互連技術(shù)

I/O端點利用率低

由于需要多個 I/O 端點而導(dǎo)致高功耗和系統(tǒng)成本

I/O 在構(gòu)建時固定，以后無法靈活更改

管理軟件必須處理具有開銷的多個 I/O 協(xié)議

使用多種 I/O 互連技術(shù)會增加延遲、成本、電路板空間和功耗。如果所有端點都在 100% 的時間內(nèi)被使用，那么這種架構(gòu)會有些用處，但是它們通常未被充分利用，這意味著有限的利用率會產(chǎn)生昂貴的開銷。延遲增加是因為處理器的原生 PCIe 接口需要轉(zhuǎn)換為多種協(xié)議。但是，設(shè)計人員可以通過利用相同的本地 PCIe 接口來聚合所有端點來減少此類延遲。

顯然，共享 I/O 端點是解決這些限制的方法（圖 2）。這一概念吸引了系統(tǒng)設(shè)計人員，因為它降低了成本和功耗，提高了性能和利用率，并簡化了設(shè)計。共享 I/O 的其他優(yōu)點是：

隨著 I/O 速度的提高，唯一需要的額外投資就是更換 I/O 適配卡。在早期部署中，當同一卡上存在多種 I/O 技術(shù)時，設(shè)計人員必須重新設(shè)計整個系統(tǒng)，而在共享 I/O 模型中，當需要升級時，他們可以簡單地用新卡替換現(xiàn)有卡。一種特定的 I/O 技術(shù)。

由于不需要在同一張卡上存在多個 I/O 端點，設(shè)計人員可以制造更小的卡以進一步降低成本和功耗，或者選擇保留現(xiàn)有的外形尺寸并通過添加多個 CPU、內(nèi)存和/ 或通過消除多個 I/O 端點節(jié)省的空間中的其他端點。

設(shè)計人員可以減少縱橫交錯系統(tǒng)的電纜數(shù)量。隨著多種互連技術(shù)的出現(xiàn)，需要不同（和多條）電纜來實現(xiàn)帶寬和開銷協(xié)議。然而，隨著設(shè)計的簡化和 I/O 互連技術(shù)的范圍擴大，系統(tǒng)正常運行所需的電纜數(shù)量也減少了，從而消除了設(shè)計的復(fù)雜性并節(jié)省了成本。

圖 2：將 PCI Express （PCIe） 用于共享 I/O 的 I/O 系統(tǒng)降低了成本、提高了性能并簡化了設(shè)計。

在 PCIe 交換機中實現(xiàn)共享 I/O 是圖 2 中描繪的架構(gòu)的關(guān)鍵推動力。SR-IOV 技術(shù)在硬件中實現(xiàn) I/O 虛擬化以提高性能，并利用基于硬件的安全性和 Quality-of-單個物理服務(wù)器中的服務(wù) （QoS） 功能。SR-IOV 還允許在同一服務(wù)器上運行的多個客戶操作系統(tǒng) （OS） 共享 I/O。

PCIe 通過允許將所有 I/O 適配器（例如，基于 10 Gb 以太網(wǎng) （GbE）、FC 或 IB）移到服務(wù)器外部，提供了一種簡化的方法來實現(xiàn)這一點。借助提供虛擬化支持的 PCIe 交換結(jié)構(gòu)，每個適配器可以在多個服務(wù)器之間共享，同時為每個服務(wù)器提供一個邏輯適配器。服務(wù)器或每臺服務(wù)器上的虛擬機 （VM） 繼續(xù)可以直接訪問共享適配器上它們自己的一組硬件資源。產(chǎn)生的虛擬化允許更好的可擴展性，因為 I/O 和服務(wù)器可以相互獨立地擴展。這種虛擬化通過避免過度配置服務(wù)器或 I/O 資源來降低成本和電力需求。

除了共享 I/O 實現(xiàn)之外，基于 PCIe 的結(jié)構(gòu)增強了基本的 PCIe 功能，包括遠程 DMA （RDMA），通過直接從主機應(yīng)用程序內(nèi)存復(fù)制信息來提供非常低延遲的主機到主機傳輸，而無需主 CPU 的參與，從而釋放 CPU 用于更重要的處理功能。

表 1 提供了 PCIe、10 GbE 和 QDR IB 成本比較的高級概述，而表 2 提供了三種互連技術(shù)的功率比較。

表 1：與 10 Gb 以太網(wǎng) （GbE） 和四倍數(shù)據(jù)速率 （QDR） InfiniBand （IB） 替代方案相比，PCI Express （PCIe） I/O 共享互連架構(gòu)可節(jié)省 50% 以上的成本。

表 2：與 10 Gb 以太網(wǎng) （GbE） 和四倍數(shù)據(jù)速率 （QDR） InfiniBand （IB） 替代方案相比，PCI Express （PCIe） I/O 共享互連架構(gòu)可節(jié)省 50% 以上的功耗。

表 1 中的價格估算基于廣泛的行業(yè)調(diào)查，并假設(shè)定價會根據(jù)架頂式交換機和適配器的數(shù)量、可用性和供應(yīng)商關(guān)系而有所不同。這兩個表提供了一個框架，用于了解使用 PCIe 進行 I/O 共享的成本和節(jié)能，主要是通過消除適配器。

切換到 PCIe

由于多種原因，PCIe 已經(jīng)主導(dǎo)了主流互連市場：通用可擴展性、高吞吐速度、低開銷和廣泛部署。PCIe 可以針對不同的帶寬要求進行線性擴展，從服務(wù)器主板上的 x1 連接到用于高速存儲的 x2 連接，再到用于背板的 x4 和 x8 連接，以及用于圖形應(yīng)用程序的 x16 連接。PCIe Gen3 每條鏈路的雙向 8 Gbps 不僅能夠支持共享 I/O 和集群，這反過來又為系統(tǒng)設(shè)計人員提供了一種無與倫比的工具來優(yōu)化設(shè)計效率，就像 PCIe 的簡單、低開銷協(xié)議一樣。最后，PCIe 是一種真正無處不在的技術(shù)，幾乎系統(tǒng)中的每個設(shè)備都至少有一個 PCIe 連接。

本文重點介紹了 PCIe、10 GbE 和 IB QDR 之間的各種比較，特別是在成本和功率要求方面，但建議還考慮這三個行業(yè)標準之間的其他技術(shù)區(qū)別。盡管如此，由于 PCIe 幾乎在所有處理器上都是原生的，因此設(shè)計人員可以通過消除在 CPU 和 PCIe 開關(guān)之間使用額外組件的需要而受益于更低的延遲；使用新一代 CPU，PCIe 開關(guān)可以直接放置在 CPU 之外，從而降低延遲和組件成本。

審核編輯：郭婷