在PCIe鏈路中，數據的傳輸性能一般不會超過鏈路的最大帶寬，通過將PCIe設備的硬件、固件優化極致，可以使性能發揮盡可能接近鏈路極限，但即便如此，編碼層面的開銷、鏈路層和物理層開銷，以及一些參數設定，仍然會對PCIe鏈路的實際性能帶來影響。

本文將對這些影響PCIe鏈路性能的因素做一個簡單盤點，看看它們是如何影響PCIe實際性能發揮的。

數據編碼

近年來，PCIe技術迎來了快速發展，從1.0到5.0，每一次技術迭代都帶來了數據傳輸速率的翻倍提升，為NVMe SSD等PCIe設備實現性能的快速增長打下基礎。細心的朋友肯定發現了，PCIe從1.0的2.5GT/s一路發展到5.0的32GT/s，它們并沒有嚴格遵循等比關系，這里引出影響PCIe實際傳輸效率的第一個因素——數據編碼。 ?

在信號高速傳輸中，連續的多個0或多個1會導致信號失真和時鐘恢復困難等問題。為避免此現象發生，PCIe 1.0和2.0使用了8b/10b編碼機制，通過將8bit數據轉換為10bit數據進行傳輸，使得信號中的0和1數量盡可能相等，并避免連續的多個0或多個1出現。如下圖所示，數據 000 0000經8b/10b編碼后，輸出 100111 0100 或 011000 1011。

?

部分8b/10b Data Symbol Codes（引自PCIe 1.0 Spec） ? 8b/10b編碼極大優化了PCIe鏈路的信號質量，但由此也帶來了20%的編碼開銷，這也是PCIe 1.0、PCIe 2.0的數據傳輸速率明為2.5GT/s、5GT/s，實為2GT/s、4GT/s的原因。

? PCIe 3.0、PCIe 4.0和PCIe 5.0使用更加先進的128b/130b編碼以及新的擾碼方式，以達到直流均衡的效果。同時，由于有效數據載荷占到數據流的98.5%，可以在大幅提高數據傳輸速率的同時，使得數據編碼/擾碼帶來的損耗可以忽略不計；PCIe 6.0則改用PAM4調制，在不改變時鐘頻率的前提下實現傳輸帶寬翻倍（即1次信號可以表述2bit數據），同時1b/1b的編碼方式對傳輸效率無影響。 ?



不同PCIe速率對應的數據編碼與數據傳輸速率（引自PCIe 6.0 Spec） ? ?

鏈路層和物理層

在PCIe鏈路中，Host與PCIe設備（如NVMe SSD）之間的數據交換以TLP（Transaction Layer Packet）數據包的形式，由發送端事務層到接收端事務層進行傳輸。TLP由Header、Payload、ECRC組成，其中，Header為必需項，包含了該TLP的起始標識符、事務類型、請求方ID、需要發送的目標地址等重要信息，大小為12或16字節；Payload為可選項，是TLP中承載的有效數據，最大4096字節，如果該TLP并不需要傳輸數據，則Payload為0；ECRC也是可選項，大小為4字節，是對Header、Payload的校驗，防止TLP本身出錯。

?

TLP數據包構成 ? TLP在發送過程中，會經過“加頭加尾”的過程——數據鏈路層添加Sequence Number與LCRC信息，防止數據丟包并避免鏈路層的錯誤產生；隨后經過物理層，會添加開始與結束信息（結束信息自PCIe 3.0開始不再適用）。TLP在接收過程中，則會經過“掐頭去尾”的過程——依照物理層、數據鏈路層、事務層的順序，對TLP層層剝繭，識別和校驗。毫無疑問，Header、ECRC、Sequence、LCRC、開始信息都會占用額外的數據帶寬。

MPS

?Payload是TLP中承載的最終有效用戶數據，最大長度4096字節。MPS（Maximum Payload Size）是對PCIe鏈路中最大Payload字節數的設定，根據PCIe Spec規定，分為128B、256B、512B、1024B、2048B、4096B六種，MPS越大，TLP中可以承載的有效數據占比就越高。 ?

但是，MPS并非越大越好。較大的MPS會導致每個數據包的大小增加，進而增加傳輸負載，使得延遲增加，錯誤率上升，甚至降低系統性能。常見MPS一般集中在128B、256B、512B三種。在PCIe鏈路初始化過程中，會根據RC、PCIe Switch、Endpoint的MPS支持情況，按照木桶效應將MPS設定為相同的值。以下圖為例，Endpoint 3支持的MPS為128 Bytes，則該PCIe鏈路只能以最高128 Bytes MPS運行。 ?

?

PCIe鏈路MPS設定示意（引自Xilinx） ?

MRRS

在PCIe鏈路中，為平衡帶寬分配，防止某個讀請求過大導致獨占PCIe帶寬，PCIe Spec還規定了名為MRRS（Maximum Read Request Size）的最大讀請求設定，并同樣分為128B、256B、512B、1024B、2048B、4096B六種。讀請求并不包含Payload。在Endpoint向Host請求較多數據時（如，將大量數據寫入NVMe SSD），過低的MRRS設定會導致讀TLP過多，并帶來大量的ACK/NAK DLLP額外開銷。 ?

MPS、MRRS都是影響PCIe傳輸效率的重要參數，但二者并沒有絕對相關性。通常，MRRS會等于或大于MPS，以帶來更高的效率。如，MPS設定為128B，MRRS設定為512B，當發起512B數據讀請求時，數據將分為4個TLP被傳輸。 ?

以上是影響PCIe鏈路傳輸效率的幾個重要因素，它們客觀存在且不可避免。作為技術實力領先的NVMe SSD產品和解決方案供應商，我們要做的，是不管產品處在何種PCIe接口速率下，亦或何種不同的硬件搭配、參數設置，都盡可能發揮出產品應有的性能，為企業業務的穩定開展帶來支撐。? ?




審核編輯：劉清