01?背景和動機

壓縮作為一種有效降低SSD數據寫入量的方法由于受到CPU壓縮/解壓效率不高的影響，在某些情況下吞吐量甚至低于非壓縮IO系統。而硬件ASIC壓縮加速器在性能、功耗上都優于CPU/GPU/FPGA ，且高性能的硬件壓縮加速器成本越來越低，如Intel QAT加速器甚至直接集成在芯片組內。

文章首先進行了兩個實驗，第一個實驗是在NVMe SSD+HDD組成的混合存儲系統上分別使用啟用GZIP和LZ4壓縮功能的ZFS文件系統進行寫性能測試，結果表明，壓縮有效降低了系統的寫入量，同時發現與LZ4算法相比，GZIP壓縮率更高，但是計算開銷也更高。第二個實驗是分別在啟用GZIP和LZ4壓縮功能的ZFS文件系統上進行大數據分析性能測試，測試結果如下圖所示，可以看出GZIP與LZ4相比，IO開銷更少，但是由于解壓開銷過大，性能甚至不如不適用壓縮的ZFS。

可以發現：GZIP的高CPU占用可能導致資源競爭、影響其他任務；壓縮/解壓應該卸載到硬件完成而不是使用低效而繁忙的CPU處理。

02?QZFS的設計與實現

本文作者對ZFS的壓縮路徑進行了改造，將軟件壓縮替換為QAT硬件壓縮。為了使用QAT對ZFS進行壓縮加速，需要解決以下問題：首先，卸載壓縮應該將壓縮、解壓函數調用替換為ASIC IO調用；其次，由于QAT對數據的處理與軟件實現的壓縮不同，因此需要對數據進行預處理；之后，為了高效的壓縮卸載，需要對運行時的內存地址翻譯、操作進行優化；最后，為了優于卸載開銷，需要選擇性的將部分壓縮任務卸載到QAT，而不是全部交給QAT實現。

QZFS系統設計

整個QZFS的設計如下圖所示，設計基于QAT硬件壓縮加速器和ZFS文件系統實現，可以作為Lustre的后端文件系統。整個QZFS實現僅依賴QAT的硬件API和Linux環境，并且已經合入ZFS官方版本。

壓縮服務引擎

壓縮服務引擎由壓縮性檢查器和算法選擇器組成，用于決定哪些壓縮任務卸載到QAT加速器上。功能包括壓縮率決定的壓縮卸載、原始數據大小決定的選擇性卸載和可擴展的壓縮算法選擇器。

壓縮率決定的壓縮卸載是使用壓縮率檢查器決定是否將數據保存為壓縮格式，當檢查器收到ZIO模塊的寫入請求時，記原始數據長度，預設壓縮結果長度，若QAT壓縮結果長度超過，則直接進行原始數據寫入，不進行壓縮。

原始數據大小選擇性卸載是指：由于對過小的數據進行硬件壓縮卸載造成的硬件通信開銷過大，而過大的數據需要在內核中預留過多的連續內存，因此需要根據數據大小將壓縮任務選擇性的卸載到QAT加速器上運行。當時，卸載到QAT執行，其他大小則使用軟件壓縮。

可擴展的壓縮算法選擇器用于在壓縮時選擇合適的算法進行壓縮，由于其高度模塊化，因此可以方便的擴展其他壓縮算法，文章發表時僅實現了GZIP的壓縮方法。

向量化IO模型

QAT需要連續的物理內存存放數據，而ZIO使用的虛擬內存物理上可能不連續，因此使用扁平緩沖和分散緩沖表實現了向量IO模型，整個模型結構如下圖所示。這種將連續數據分割成定長的數據塊組并分散存放可以避免在調用QAT時分配大量連續內存引起的內存復制開銷。

QAT卸載任務組織

為了進行負載均衡，避免任務堆積，需要對QZFS的硬件壓縮卸載進行調度。具體方法為：在QZFS啟動時，QAT卸載模塊會初始化一個邏輯實例，分配部分連續的物理內存作為QAT運行數據緩存區，并建立與QAT硬件的通信通道。當壓縮任務過多時，任務卸載模塊可能因為沒有足夠的QAT計算資源無法獲得QAT實例，此時卸載模塊將通過軟件替代即使用CPU完成壓縮來平衡系統的計算資源。

每個卸載的壓縮任務使用壓縮會話描述。有時，這些壓縮會話可能會發生錯誤。如果無法正確處理QAT加速器上的故障，則可以重新啟動QAT設備進行恢復。在這種情況下，QAT卸載模塊清理所有正在執行的壓縮會話，并將可用性標志設置為FALSE，以禁用所有QAT卸載操作，直到完成重新初始化操作。

03?評估

評估平臺

整個評估平臺由4臺服務器組成，每臺裝備有兩個22核心Xeon E5-2699v4，128G RAM，1組NVMe SSD陣列和一塊DH8950 PCIe QAT card。每個NVMe陣列由3塊1.6TB Intel P3700 Series NVNe SSD組成。服務器通過Intel XL710 40GB 網卡和100Gb以太網交換機連接，具體連接方式如下圖所示。

基準性能測試

使用fio進行多線程讀寫性能基準測試。測試結果如下圖所示，結果表明，在壓縮關閉配置中，平均讀吞吐量比平均寫吞吐量高18%，隨機讀取吞吐量最高3937 MB/s，與NVMe固態硬盤的硬件特性一致。軟件GZIP下，平均讀比寫吞吐量高出約4.5倍，這是因為GZIP算法的壓縮速度遠低于解壓速度。啟用QAT加速器后，平均讀吞吐量與寫吞吐量相近?？偟膩碚f，QAT配置具有最高的讀/寫吞吐量和成本效率。GZIP配置與QAT配置具有相似的壓縮比，但其高CPU開銷不僅導致寫入吞吐量低、系統效率低。與OFF配置相比，開啟QAT因為壓縮數據降低了存儲的I/O成本，因此改進了吞吐量（讀10%，寫28%）。

科學大數據性能評估

在Luster客戶端上運行Luster OSS訪問存儲上的科學數據，部署方式分別為單節點集群和多節點（3/4節點）集群。

單節點方案

首先，作者分析了不同硬件/軟件方案在進行科學大數據分析時的執行時間，可以看出，由于分析轉換時間固定，執行差異集中在解壓開銷，可以看出QZFS保持了最高的解壓效率。

之后，作者分析了不同線程數量下的執行時間和效率，結果如下圖所示。單線程下，相對于軟件GZIP，QAT配置下的執行時間降低了約30%。隨著線程數增加，GZIP和QAT配置的執行時間逐漸減少。在每個工作負載進程中有16個線程的情況下，QAT加速的gzip性能優勢從30%增長到60%，因為更多的線程產生更多的并行I/O請求，提高了底層QAT加速器的利用率。

多節點方案

在三節點、四節點上進行性能測試的結果與單節點模式類似，QAT平均降低了63.10%和63.14%的執行時間，整體效率提升了6倍多。

04?總結

高IO性能和低總體成本是兩個難以同時實現重要的優化目標。數據壓縮被認為是一種有效的解決方案，但壓縮任務會產生較高的計算資源消耗，并可能影響應用程序工作負載的運行。本文研究了文件系統級別的數據壓縮卸載。QZFS旨在將Intel QAT加速器集成到ZFS文件系統中，以提供與應用程序透明且經濟高效的數據存儲。評估已經驗證，與帶軟件gzip壓縮的ZFS、應用程序集成gzip加速相比，QZFS可以有效節省CPU資源，并進一步提高大數據處理工作負載的性能。

致謝

感謝本次論文解讀者，來自華東師范大學的碩士生黃奕陽，主要研究方向為文件系統壓縮。

編輯：黃飛

?