在生成式 AI 時代，機器不僅要從數據中學習，還要生成類似人類一樣的文本、圖像、視頻等。檢索增強生成（RAG）則是可以實現的一種突破性方法。

RAG 工作流程基于大語言模型（LLM）而構建，這些 LLM 可以理解查詢并生成響應。但是，LLM 存在局限性，包括訓練的復雜性和缺乏當前（有時是專有）信息。此外，當未根據特定數據進行訓練就回答提示詞時，它們往往會產生幻覺并合成事實錯誤的信息。RAG 通過向 LLM 提供企業特定信息來增強查詢，從而幫助克服這些限制。

數據中心作為新的計算單元，隨著網絡服務對 CPU 壓力的增加，現代工作負載對網絡基礎設施提出了新的挑戰。網絡基礎設施需要具備敏捷性、自動化和可編程性的框架，并配備加速器和卸載功能，這些是充分發揮 AI 技術潛力和推動創新的關鍵。

在本文中，我們討論了 RAG 如何助力企業為各種企業用例創建高質量、相關且引人入勝的內容。我們深入探討了通過擴展 RAG 來處理大量數據和用戶所面臨的技術挑戰，以及如何使用由 NVIDIA GPU 計算、加速以太網網絡、網絡存儲和 AI 軟件提供支持的可擴展架構來應對這些挑戰。

RAG 使企業能夠充分利用數據

典型的 RAG 工作流程使用向量數據庫，向量數據庫是一類專為執行相似性搜索而定制的數據管理系統，用于存儲和檢索與查詢相關的企業特定信息。

通過將 RAG 集成到其信息系統中，企業可以利用大量內部和外部數據來生成具有洞察力的全新上下文相關內容。這種融合是一次重大飛躍，使企業能夠利用其數據和領域專業知識，為個性化客戶互動開辟新途徑，簡化內容的創建，并提高知識用例的效率。

然而，在企業規模部署 RAG 也面臨著一系列挑戰，包括管理數百個數據集和數千名用戶的復雜性。這就需要一種分布式架構，其能夠滿足有效應對此類大規模操作的處理和存儲需求。

要擴展此架構，您必須嵌入、向量化和索引數百萬個文檔、圖像、音頻文件和視頻，同時還適應每天新創建內容的嵌入。

另一個挑戰是確保交互式多模態應用程序的低延遲響應。由于需要集成數據企業應用程序以及結構化和非結構化數據存儲，因此需要實時處理和響應，而在大規模實現方面可能具有挑戰。

生成式 AI 的數據索引和存儲也構成了挑戰。

雖然傳統企業應用程序可以壓縮數據并將其存儲來進行高效檢索，從而支持索引和語義搜索，但是基于 RAG 的數據庫可以擴展到比原始文本文檔及其相關元數據大 10 倍以上。這將導致在數據增長和存儲方面的重大挑戰。

為了獲得最佳結果，企業必須投資加速計算、網絡和存儲基礎設施，這對于處理訓練和部署 RAG 模型所需的大量數據至關重要。

如何實現可擴展且高效的 RAG 推理

在 GTC 2024 上，NVIDIA 推出了一系列生成式 AI 微服務，為開發者提供用于創建和部署自定義 AI 應用程序的企業級構建塊。

企業可以使用這些微服務作為創建 RAG 驅動的應用程序的基礎。通過將其與 NVIDIA RAG 工作流程示例相結合，您可以加快生成式 AI 應用程序的構建和產品化過程。

在本文中，我們使用多節點 GPU 計算推理、加速以太網網絡和網絡連接存儲對這些 RAG 工作流程示例進行基準測試。我們的測試結果表明，高性能網絡和網絡連接存儲可實現高效且可擴展的生成式 AI 推理，使企業能夠開發由 RAG 驅動的應用程序，在促進連續數據處理的同時，還可擴展到數千個用戶。

圖 1 顯示了包含兩個階段和數據流水線的 RAG 工作流程。

圖 1.RAG 工作流程

在第一階段，數據提取將文檔和其他數據模式轉換為數字嵌入，然后在向量數據庫中對其進行索引。此過程支持基于相似度分數來有效檢索相關文檔。

查詢階段從用戶輸入問題時開始，該問題也會被轉換為嵌入并用于在向量數據庫中搜索相關內容。檢索相關內容后，會將其傳遞給 LLM 進行進一步處理。原始輸入問題以及增強上下文會提供給 LLM，LLM 會針對用戶的查詢生成更精確的答案。

此工作流程可以有效地檢索和生成信息，使其成為適用于各種企業應用程序的強大工具。

加速以太網網絡、網絡連接存儲在數據提取方面表現出色

我們最初測試了基于單個 GPU 節點的數據提取流水線。圖 2 顯示了使用一臺具有 8 個 A100 GPU 的 DGX 系統和一個專為對象存儲工作負載而設計的網絡連接全閃存存儲平臺來進行測試設置。

圖 2.具有網絡連接存儲的單節點 NeMo Retriever 微服務

DGX 系統通過 NVIDIA ConnectX-7 網卡連接到網絡，并使用了加速的 NVMe-over-Fabrics（NVMe – oF）和 Amazon S3 對象存儲協議及兩臺 NVIDIA Spectrum SN3700 交換機。

使用 NeMo Retriever 微服務，我們比較了 PDF 文檔（包括文本和圖像）的嵌入和索引性能。此次比較涉及 DGX 系統中的直接附加存儲（DAS）和網絡連接存儲。

圖 3 顯示了單節點上的數據提取基準測試的結果。結果表明，與使用 DAS 相比，使用 Amazon S3 的網絡連接存儲將數據提取速度提高了 36%，將處理時間縮短了 122 秒。這表明網絡連接存儲是數據提取的更好選擇，同時還依賴于網絡速度和延遲。

加速以太網網絡對于提供穩健、高性能和安全的連接至關重要。除了增強文檔嵌入外，網絡連接存儲還提供各種企業級數據管理功能。

圖 3.單節點數據提取基準測試 (100 萬個向量)

然后，我們使用多節點 RAG 設置進行測試，該設置使用通過 NVIDIA BlueField-3 DPU 連接的分布式微服務架構（圖 4）。隨著多個節點并行運行以上傳嵌入、計算索引并插入向量數據庫，性能也隨之提升。

圖 4.具有網絡連接存儲的多節點 NeMo Retriever 微服務

我們比較了每臺服務器中使用直接附加 SSD 與網絡連接存儲的性能。對于服務器內的 SSD，MinIO 充當對象存儲層。對于網絡連接存儲，我們繞過 MinIO，測試了存儲系統自己的原生 Amazon S3 對象接口。

結果表明，多節點比使用單節點提供更快的性能，將處理時間縮短了近 102 秒。這些結果證明了多節點 GPU 加速與企業級網絡連接存儲相結合的性能優勢。

圖 5.多節點數據提取基準測試 (100 萬個向量)

適用于 RAG 驅動型應用程序的網絡連接存儲的優勢

網絡連接存儲可以通過網絡訪問塊、文件和對象，而無需直接將存儲介質連接到服務器。

網絡連接存儲不僅為基于 RAG 的應用程序提供了明顯的性能優勢，而且還提供了額外的企業優勢，使其成為增強自然語言處理的最佳數據平臺。

適用于 RAG 工作流程的網絡連接存儲具有以下優勢：

實時流數據提取：網絡連接存儲支持從各種來源（例如社交媒體、Web、傳感器或物聯網設備）提取實時流數據。RAG 應用程序可以使用這些數據生成相關的全新內容。DAS 可能無法處理大量且快速的流數據，或者可能需要額外的處理或緩沖來存儲數據。

可擴展性：在不影響性能或數據可用性的情況下，可以更容易地通過添加更多磁盤或設備來擴展網絡連接存儲的容量。相比之下，DAS 的可擴展性有限，可能需要停機或重新配置才能進行存儲升級。

元數據標注：網絡連接存儲支持使用元數據（例如標簽、類別、關鍵字或摘要）對數據進行標注。元數據可以被 RAG 應用程序使用來根據查詢或上下文進行檢索和排名數據源。DAS 可能不支持數據標注，或需要單獨的數據庫或索引來存儲元數據。

利用率：網絡連接存儲使多個用戶和應用程序能夠同時訪問相同的數據，從而優化存儲資源的利用率，而不會產生重復或沖突。相比之下，DAS 可能會導致存儲未充分使用或過度使用的問題，具體取決于特定服務器內的需求和數據分配。

可靠性：網絡連接存儲通過使用先進的獨立磁盤冗余陣列（RAID）功能或其他方法來保護數據免受磁盤故障、網絡故障或斷電的影響，提高了可靠性和數據可用性。相比之下，DAS 在磁盤或服務器發生故障時，可能會丟失數據或損壞，因為 DAS 并不具備數據保護功能。

刪除重復數據：網絡存儲通過消除文件或設備之間的重復或冗余數據來減少存儲空間和網絡帶寬。DAS 可能會存儲相同數據的多個副本，從而浪費存儲空間和網絡資源。

數據出處的來源引用：網絡連接存儲可以提供數據的來源引用，例如 URL、作者、日期或許可證。RAG 應用程序可以使用此信息來歸因和驗證數據源，并確保所生成內容的質量和可信度。DAS 可能不提供數據來源引用，或者可能需要手動或外部方法來跟蹤數據來源。

備份：網絡連接存儲通過使用快照、復制或其他方法在不同位置或設備上創建數據副本來促進數據備份和恢復。DAS 可能需要手動或復雜的備份過程，這可能很耗時或容易出錯。

數據保護和保留：網絡連接存儲通過使用加密、壓縮或其他技術來保護數據免遭未經授權的訪問或修改，從而確保數據保護和保留。它還使用策略、規則或法規來管理數據生命周期，例如數據的創建、刪除或存檔。相比之下，DAS 可能不提供數據保護和保留功能，或者可能需要額外的軟件或硬件來實現數據安全和治理。

結束語

檢索增強型生成通過利用生成式 AI 的強大功能以及企業特定的上下文和信息來增強數據和利用，為企業提供了巨大的潛力。

然而，大規模部署 RAG 會帶來諸多挑戰，例如管理大型數據集、確保交互式應用程序的低延遲以及滿足生成式 AI 的存儲需求。

為了克服這些挑戰，企業必須擴展其基于 RAG 的生成式 AI 基礎設施。為了高效運行，此基礎架構必須在整個數據中心堆棧中進行適當的調整和架構設計：加速計算、快速網絡、網絡連接存儲和企業 AI 軟件。

生成式 AI 是一個快速增長的新領域。隨著 RAG 的不斷擴展以支持視頻等新模式，數據處理需求持續快速增長。NVIDIA 生成式 AI 微服務與多節點 NVIDIA GPU 計算推理、加速以太網網絡和網絡連接存儲相結合，展示了企業規模 RAG 推理的效率。

審核編輯：劉清