（文章來源：十次方）

Nvidia發展GPUDirect儲存技術，大幅提升GPU加載大型資料集的速度，使用GPUDirect儲存技術，GPU加載資料集的工作不再完全需要仰賴CPU，因而解除了資料I/O的瓶頸。Nvidia發展了名為GPUDirect儲存(GPUDirect Storage)的資料傳輸技術，加快位在各種儲存的資料，傳輸到GPU內存的速度，可以將頻寬增加至原本的2到8倍，而且還能降低端到端的延遲達3.8倍。

由于人工智能以及高效能運算的資料集規模不斷的增加，應用程序加載資料花費的時間越來越長，進而影響了應用程序的效能，而且特別是端到端架構，會因為緩慢的I/O使得運算速度日益提升的GPU無用武之地。Nvidia提到，將資料從儲存器加載到GPU，過去都是由CPU負責，而這將會成為硬件效能的瓶頸。

資料從NVMe磁盤傳輸到GPU內存的標準路徑，是使用系統內存中的反彈緩沖區(Bounce Buffer)，而GPUDirect儲存技術避免使用反彈緩沖區，以減少額外的資料副本，并使用直接內存存取引擎(Direct Memory Access，DMA)將資料直接放到GPU內存中，為遠端或是本地儲存，諸如NVMe或NVMe over Fabric，和GPU內存之間，建立一個直接傳輸資料的路徑，而這能有效減輕CPU I/O的瓶頸，提升I/O頻寬和傳輸資料的量。

Nvidia提到，GPUDirect儲存技術的主要功能，就是透過這個新的檔案系統，以直接內存存取的方式，將資料傳輸至GPU內存上。無論資源原本存放在什么位置，都能使用GPUDirect儲存技術，這些儲存可能位在機箱內、機架上甚至通過網絡連接都可以。

Nvidia在GPU資料科學平臺RAPIDS中的GPU資料影格(GPU DataFrame，GDF)函式庫cuDF上進行實驗，發現使用GPUDirect存儲技術，比起原始cuDF CSV讀取程序，將資料傳輸到GPU內存的吞吐速度快了8.8倍。cuDF是讓使用者在GPU上，用來加載、過濾、排序和探索資料集的函式庫。

Nvidia表示，應用這項新技術，遠端儲存、本機端儲存以及CPU內存到GPU內存的頻寬，可以在互相組合后加乘，以人工智能超級計算機DGX-2為例，從CPU系統內存到GPU內存的頻寬限制為50 GB/s，但綜合從系統內存、本機端硬盤以及NIC(Network Interface Card)的資料，最高頻寬甚至可以達215 GB/s。