1、PCI-E總線定義

PCI-E(PCI-Express)是一種通用的總線規格，它由Intel所提倡和推廣，其最終的設計目的是為了取代現有電腦系統內部的總線傳輸接口，這不只包括顯示接口，還囊括了CPU、PCI、HDD、Network等多種應用接口。

PCIe總線與PCI最大的區別在工作原理上，PCIe是采用點到點的串行方式進行傳輸的，被稱為“串行PCI”，由于采用了串行方式傳輸使得其工作頻率可以達到2.5Ghz，大大增加了傳輸速率，同時采用全雙工的通信方式，使得其傳輸速度提高了一倍，每一個PCIe總線設備與外部通信時有四根數據總線，分別有兩個RX和TX，兩根用于發送，兩根由于接收。

當前的Intel平臺CPU每顆最大支持40個通道(Lane)，但是對于現在比較主流的GPU服務器需要插入多張高興能顯卡，每顆CPU提供x40個通道就顯得不夠用了。另外，傳統存儲控制器之間需要做各種數據交換和同步，一般也是用PCI-E，這又增加了對通道數量的消耗。對于一般的高端服務器，普遍都是雙路、四路配置，雙路下提供x80通道，理論上可連接10個x8的PCI-E設備，去掉一些用于管理、內部嵌入式PCI-E設備的通道占用之后，連接8個設備不在話下，可以覆蓋幾乎所有應用場景。

2、PCI-E的組成和分層結構

與大多數總線一樣，PCIe總線也包括電氣屬性和協議組成兩部分。PCIe 規范對于設備的設計采用分層的結構，有事務層、數據鏈路層和物理層組成，各層有都分為發送和接收兩功能塊。在發送端，應用程序(設備核A)在事務層形成事務層包(TLP——Transaction Layer Package)，儲存在發送緩沖器里，等待推向下層。在數據鏈路層，在TLP 包上再串接一些附加信息，這些信息是對方接收TLP 包時進行錯誤檢查要用到的，形成數據鏈路層包(DLLP——Data Link Layer Package);在物理層，對DLLP 包進行編碼，占用鏈路中的可用通道，從發送器發送出去。在接收端，實際上是發送端的“逆”過程。如果說發送端是在不斷組包，那么接收端就是不斷的拆包，最后提取出有用的數據信息供B設備的應用程序使用。

3、PCI-E總線架構圖

PCIE體系架構一般包含根組件RC(rootcomplex)，交換器switch，終端設備EP(endpoint)等類型的PCIE設備組成。RC在總線架構中只有一個，用于處理器和內存子系統與I/O設備之間的連接，而switch的功能通常是以軟件形式提供的，它包括兩個或更多的邏輯PCI到PCI的連接橋(PCI-PCI Bridge)，以保持與現有PCI兼容，具體功能類似現在的網絡交換機。

RC(Root Complex)

RC在功能上和Switch幾乎一樣，都是用于將一個PCIE接口拓展成多個PCIE接口，區別是RC集成在芯片內部，并且還會連接內存，類似PCI總線的根橋;

EP(Endpoint)

EP就是終端設備，沒有轉發數據的功能;

Switch

(1)Switch用于拓展PCIE接口。PCIE是串行接口，所以一個PCIE接口只能接一個PCIE設備，想要多接幾個PCIE設備就需要用到Switch設備，起到數據轉發的作用;

(2)Switch的內部結構可以看做由PCI橋組成;

(3)在Switch中，每個端口對應的PCIE設備號是寫死的;

(4)Switch設備會記錄下游PCIE端口連接設備分配到的PCIE地址，在接收到TLP包時，通過比較目的地址和下游設備的地址，來決定是否轉發以及轉發到哪個PCIE端口。

審核編輯：湯梓紅