?

?

4.2. Type 0 Device和Endpoint

所有連接到PCIe總線上的Type 0設備（終端設備），都可以來實現PCIe的Endpoint，用來發起或者接收PCIe的請求和消息。**每個設備可以實現一個或者多個Endpoint，每個Endpoint都對應著一個特定的功能。**比如：

一塊雙網口的網卡，可以每個為每個網口實現一個單獨的Endpoint；

一塊顯卡，其中實現了4個Endpoint：一個顯卡本身的Endpoint，一個Audio Endpoint，一個USB Endpoint，一個UCSI Endpoint；這些我們都可以通過lspci或者Windows上的設備管理器來查看：

?

?

4.3. RCIE（Root Complex Integrated Endpoint）

說到PCIe設備，腦海里面可能第一反應就是有一個PCIe的插槽，然后把顯卡或者其他設備插在里面，就像我們上面看到的這樣。但是其實系統中有大量的設備是主板上集成好了的，比如，內存控制器，集成顯卡，Ethernet網卡，聲卡，USB控制器等等。 這些設備在連接PCIe的時候，可以直接連接到Root Complex上面。這種設備就叫做RCIE（Root Complex Integrated Endpoint），如果我們去查看的話，他們的Bus Number都是0，代表Root Complex。

4.4. Port / Bridge

那么其他的需要通過插槽連接的設備呢？這些設備就需要通過PCIe Port來連接了。 在Root Complex上，有很多的Root Port，這些Port每一個都可以連接一個PCIe設備（Type 0或者Type 1）。

本質上，所有這些連接其他設備用的部件都是由橋（Bridge）來實現的，這些橋的兩端連接著兩個不同的PCIe Bus（Bus Number不同）。 比如，一個Root Port其實是靠兩個Bridge來實現的：一個（共享的）Host Bridge（上游連接著CPU，下游連接著Bus 0）和一個PCI Bridge用來連接下游設備（上游連著的是Bus 0（Root Complex），下游連著的PCIe的設備（Bus Number在啟動過程中自動分配）） [1]。

我們通過lspci命令可以看到這些橋的存在（注意設備詳情中的Kernel driver in use: pcieport）：

?

?

?

4.5. Switch

如果我們需要連接不止一個設備怎么辦呢？這時候就需要用到PCIe Switch了。 PCIe Switch內部主要有三個部分：

一個Upstream Port和Bridge：用于連接到上游的Port，比如，Root Port或者上游Switch的Downstream Port

一組Downstream Port和Bridge：用于連接下游的設備，比如，顯卡，網卡，或者下游Switch的Upstream Port

一根虛擬總線：用于將上游和下游的所有端口連接起來，這樣，上游的Port就可以訪問下游的設備了

另外，這里再說明一次 —— 由于PCIe的信號傳輸是點對點的，所以Switch中間的這個總線只是一個邏輯上的虛擬的總線，其實并不存在，里面真正的結構是一套用于轉發的交換電路 [9]。 最后，看到這里也許你會突然想到Root Complex是不是也可以看成是一個Switch呢？我覺得這兩個概念最好還是分開，雖然從很多框圖上看著確實很像，只不過Root Complex沒有Upstream Port，連接上游的Host Bridge是連接到CPU上，不過Root Complex內部的功能要遠比Switch復雜的多，里面不僅僅是簡單的包轉發，比如，后面會說到的PCIe請求的生成和轉換等等。

5. 小結

好了，到這里我們已經將PCIe設備樹中的主要部件都介紹完畢了。如果我們把所有這些部件連接在一起，那么其整體的結構就是這樣的 [10]：

好的，為了避免文章過長，我們這一篇就先到這里，后面有時間再繼續總結和PCIe相關的其他知識，比如配置空間和域，消息和消息路由等等。

PCIe系統舉例

PCIe拓撲特征：圖的頂部是一個CPU。這里要說明的一點是，CPU被認為是PCle層次結構的頂層。PCle只允許簡單的樹結構，這意味著不允許循環或其他復雜的拓撲結構。這樣做是為了保持與PCI軟件的向后兼容性，PCI軟件使用一個簡單的配置方案來跟蹤拓撲，不支持復雜的環境。為了保持這種兼容性，軟件必須能夠與以前相同的方式生成配置周期，總線拓撲也必須與以前相同。因此，軟件期望找到的所有配置寄存器仍然在那里，并且以它們始終具有的方式運行。

在上圖PCIe系統中有幾種設備類型，Root Complex、Switch、Bridge、Endpoint等，下面分別介紹其概念。

Root Complex：簡稱RC，CPU和PCle總線之間的接口，可能包含幾個組件(處理器接口、DRAM接口等)，甚至可能包含幾個芯片。RC位于PCI倒立樹拓撲的“根”，并代表CPU與系統的其余部分進行通信。但是，規范并沒有仔細定義它，而是給出了必需和可選功能的列表。從廣義上講，RC可以理解為系統CPU和PCle拓撲之間的接口，PCle端口在配置空間中被標記為“根端口”。

Bridge：橋提供了與其他總線(如PCI或PCI- x，甚至是另一個PCle總線)的接口。如圖中顯示的橋接有時被稱為“轉發橋接”，它允許舊的PCI或PCIX卡插入新系統。相反的類型或“反向橋接”允許一個新的PCle卡插入一個舊的PCI系統。

Switch：提供擴展或聚合能力，并允許更多的設備連接到一個PCle端口。它們充當包路由器，根據地址或其他路由信息識別給定包需要走哪條路徑。是一種PCIe轉PCIe的橋。

Endpoint：處于PCIe總線系統拓撲結構中的最末端，一般作為總線操作的發起者（initiator，類似于PCI總線中的主機）或者終結者（Completers，類似于PCI總線中的從機）。顯然，Endpoint只能接受來自上級拓撲的數據包或者向上級拓撲發送數據包。細分Endpoint類型的話，分為Lagacy PCIe Endpoint和Native PCIe Endpoint，Lagacy PCIe Endpoint是指那些原本準備設計為PCI-X總線接口的設備，但是卻被改為PCIe接口的設備。而Native PCIe Endpoint則是標準的PCIe設備。其中，Lagacy PCIe Endpoint可以使用一些在Native PCIe Endpoint禁止使用的操作，如IO Space和Locked Request等。Native PCIe Endpoint則全部通過Memory Map來進行操作，因此，Native PCIe Endpoint也被稱為Memory Mapped Devices（MMIO Devices）

如上圖，是一個高端服務器系統，系統內建其他組網接口，如FC，ETH，SAS/SATA等。 “Intel Processor”包含許多組件，大多數現代CPU架構都是如此。這一個包括一個PCle端口訪問圖形，和2個DRAM通道，這意味著內存控制器和一些路由邏輯已經集成到CPU中。這些資源通常統稱為“Uncore”邏輯，將它們與包中的幾個CPU內核及其關聯邏輯區分開來。 Root Complex描述為CPU和PCle拓撲之間的接口，這意味著該部分必須位于CPU中。

6. 參考資料

[1]: PCI Express Base Specification

[2]: Thunderbolt 3 Technology Brief

[3]: USB4 Specification

[4]: Compute Express Link (CXL) Specification

[5]: Intel 3000 and 3010 Chipset Memory Controller Hub (MCH) datasheet

[6]: H12DSi-NT6 motherboard manual

[7]: fpga4fun - PCI Express 2 - Topology

[8]: White Paper: Introduction to Intel Architecture

[9]: Crossbar Switch

[10]: Mindshare - An Introduction to PCI Express

https://r12f.com/posts/pcie-1-basics/

https://blog.csdn.net/u013253075/article/details/119045277

審核編輯：黃飛

?