云原生數(shù)據(jù)庫(kù) TDSQL-C （原 CynosDB，TDSQL for Cloud Native Database） 是騰訊云自研的新一代高性能高可用的企業(yè)級(jí)分布式云數(shù)據(jù)庫(kù)， TDSQL-C 使用 NVIDIA UCX RDMA 優(yōu)化了關(guān)鍵路徑系統(tǒng)性能，實(shí)現(xiàn)了超百萬(wàn)級(jí) QPS 的高吞吐，128TB 海量分布式智能存儲(chǔ)，保障了數(shù)據(jù)安全可靠。

云原生數(shù)據(jù)庫(kù) TDSQL-C 實(shí)現(xiàn)高性能面臨挑戰(zhàn)

TDSQL-C 采用計(jì)算存儲(chǔ)分離的架構(gòu)，可以快速進(jìn)行節(jié)點(diǎn)的擴(kuò)容，節(jié)點(diǎn)的遷移，但其引入的網(wǎng)絡(luò)開(kāi)銷(xiāo)對(duì)實(shí)現(xiàn)高性能提出了更高的挑戰(zhàn)。因此需要采用軟件優(yōu)化與新硬件相結(jié)合，通過(guò)基于 SPDK 和 UCX RDMA 的零拷貝技術(shù)，減少了操作系統(tǒng)上下文切換以及數(shù)據(jù)在用戶(hù)態(tài)和內(nèi)核態(tài)之間拷貝引起的性能損耗，進(jìn)一步優(yōu)化關(guān)鍵路徑的系統(tǒng)性能，降低請(qǐng)求延遲。

傳統(tǒng)的 TCP/IP 網(wǎng)絡(luò)，存在以下幾個(gè)缺點(diǎn)：應(yīng)用的 buffer 發(fā)送到對(duì)端，需要經(jīng)過(guò)多次拷貝，對(duì)端收到數(shù)據(jù)到接收到應(yīng)用的接收 buffer，也需要多次拷貝；應(yīng)用的 buffer 拷貝到 TCP/IP 的 buffer，需要從用戶(hù)態(tài)進(jìn)入到內(nèi)核態(tài)，會(huì)有上下文切換；網(wǎng)絡(luò)協(xié)議棧完全由 CPU 執(zhí)行，耗費(fèi) CPU。

NVIDIA RDMA 網(wǎng)絡(luò)方案＋ConnectX 系列網(wǎng)卡

“軟硬” 兼施，賦能數(shù)據(jù)庫(kù)業(yè)務(wù)持續(xù)發(fā)展

充分利用軟硬件資源做系統(tǒng)級(jí)別 Scale Out、Scale Up、 RDMA 等 Kernel ByPass 的低延時(shí)網(wǎng)絡(luò)基礎(chǔ)。以底層高性能硬件能力作為支柱，給騰訊云數(shù)據(jù)庫(kù)業(yè)務(wù)發(fā)展提供持續(xù)不斷的系統(tǒng)源動(dòng)力。

根據(jù)業(yè)務(wù)部門(mén)需求和服務(wù)器新產(chǎn)品導(dǎo)入團(tuán)隊(duì)多年來(lái)在 RDMA 技術(shù)上的沉淀， 推薦使用搭載 NVIDIA ConnectX 系列網(wǎng)卡的服務(wù)器，使用 NVIDIA RDMA 網(wǎng)絡(luò)方案來(lái)對(duì)數(shù)據(jù)庫(kù)場(chǎng)景進(jìn)行專(zhuān)項(xiàng)優(yōu)化，充分利用 RDMA 天然的性能優(yōu)勢(shì)：

RDMA 技術(shù)是用戶(hù)空間進(jìn)程繞過(guò)內(nèi)核直接調(diào)用 RDMA 網(wǎng)卡，實(shí)現(xiàn)和遠(yuǎn)端進(jìn)程的高效快速通訊。RDMA 伴生于 InfiniBand 網(wǎng)絡(luò)技術(shù)，由 IBTA 組織對(duì)其進(jìn)行標(biāo)準(zhǔn)化定義和維護(hù)。RDMA 技術(shù)優(yōu)勢(shì)可以解決 TCP 傳輸方式中的各種缺點(diǎn)：

整個(gè)數(shù)據(jù)傳輸過(guò)程內(nèi)存零拷貝。

網(wǎng)絡(luò)傳輸完全卸載到網(wǎng)卡硬件，不占用 CPU 資源。

使用 RDMA 技術(shù)可以 100% 利用網(wǎng)絡(luò)帶寬。

整個(gè)數(shù)據(jù)傳輸過(guò)程由硬件完成，降低了系統(tǒng)延時(shí)。

NVIDIA RDMA 網(wǎng)絡(luò)方案

助力遠(yuǎn)端計(jì)算和存儲(chǔ)網(wǎng)絡(luò)優(yōu)化

NVIDIA RDMA 網(wǎng)絡(luò)方案搭在硬件上使遠(yuǎn)端計(jì)算和存儲(chǔ)網(wǎng)絡(luò)的優(yōu)化效果達(dá)到最優(yōu)。

在 RDMA 與 TCP 性能的關(guān)鍵指標(biāo)的對(duì)比測(cè)試中，RDMA 體現(xiàn)了其優(yōu)勢(shì)。例如從oplog msg 性能數(shù)據(jù)上看，RDMA 測(cè)延遲比 TCP 降低 71.7%，吞吐提高 43.2%；在 page 性能數(shù)據(jù)方面（page 大小為16KB），RDMA 測(cè)延遲比 TCP 降低 70.3%，吞吐提高 52.3%。

騰訊云數(shù)據(jù)庫(kù)是騰訊服務(wù)的基礎(chǔ)架構(gòu)，網(wǎng)絡(luò)的延遲和帶寬對(duì)于性能至關(guān)重要， RDMA 技術(shù)的 Kernel Bypass 和 CPU Offload 可以帶來(lái)極低的延遲和極高的帶寬。在 NVIDIA 網(wǎng)絡(luò)產(chǎn)品上部署的推薦系統(tǒng)將為騰訊用戶(hù)提供業(yè)界一流的性能，使用戶(hù)充分享受 RDMA 帶來(lái)的技術(shù)紅利。

—— 騰訊云數(shù)據(jù)庫(kù)TDSQL-C負(fù)責(zé)人

李志陽(yáng)

NVIDIA 作為 RDMA 技術(shù)的推動(dòng)者和領(lǐng)跑者，很高興看到這項(xiàng)技術(shù)在騰訊得到越來(lái)越廣泛的應(yīng)用，并正在從傳統(tǒng)的 HPC/AI 業(yè)務(wù)拓展到高性能存儲(chǔ)和數(shù)據(jù)庫(kù)領(lǐng)域。UCX 的使用大幅度提高了 RDMA 應(yīng)用的開(kāi)發(fā)效率和吞吐率，并且使得 RoCE 跟客戶(hù)應(yīng)用能迅速整合，從而幫助客戶(hù)更快走向市場(chǎng)，并提供差異化的云產(chǎn)品和服務(wù)。

—— NVIDIA 副總裁

Vadim Balahovski

原文標(biāo)題：NVIDIA RDMA 網(wǎng)絡(luò)助力騰訊云數(shù)據(jù)庫(kù)突破性能瓶頸

文章出處：【微信公眾號(hào)：NVIDIA英偉達(dá)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。