隨著 NVIDIA 推出 Aether 項目，通過采用 NVIDIA 加速的 Apache Spark 企業得以自動加速其數據中心規模的分析工作負載，從而節省數百萬美元。

全球數萬家企業依靠 Apache Spark 來處理海量數據，以支持關鍵業務的運營，同時預測趨勢、客戶行為、業務表現等。企業處理和理解數據的速度越快，盈利和節省的成本就越多。

這就是為什么擁有海量數據集的公司紛紛采用適用于 Apache Spark 的 RAPIDS 加速器，其中包括全球各地的大型零售商和銀行。這個開源軟件運行在 NVIDIA 加速計算平臺上，它能夠顯著加速端到端數據科學和分析流程的處理，而無需更改任何代碼。

為了讓企業能更輕松地從 NVIDIA 加速的 Spark 中獲取價值，NVIDIA 于近日發布了 Aether 項目。該項目包含了一系列工具和流程，可自動地評估、測試、配置和優化 Spark 工作負載，從而實現大規模的 GPU 加速。

Aether 項目可在一周內完成一年的工作量

對于在生產環境中使用 Spark 的客戶來說，他們通常需要管理數以萬計甚至更多的復雜作業。從純 CPU 計算遷移到 GPU 驅動的計算具有諸多顯著優勢，但這一過程可能需要手動操作，耗時且費力。

此前，企業需要手動完成大量步驟，而 Aether 項目實現了這些步驟的自動化處理，包括分析所有 Spark 作業以找出最適合 GPU 加速的作業，以及每個作業的準備和試運行。它利用 AI 對每個作業的配置進行調優，以實現最優性能。

為了理解 Aether 項目的影響力，這里假設有一家企業需要完成 100 個 Spark 作業。借助 Aether 項目，每個作業最快僅需 4 天就能完成配置并針對 NVIDIA GPU 加速進行優化。而如果由一名數據工程師手動完成相同的工作量，可能需要長達一年的時間。

澳大利亞聯邦銀行借助 NVIDIA 加速的 Apache Spark 來推動 AI 轉型

與僅使用 CPU 相比，在 NVIDIA 加速計算平臺上運行 Apache Spark 能夠幫助全球各地的企業更快地完成作業，且所需硬件更少，從而節省時間、空間、電力和散熱成本，同時降低本地基礎設施的資本成本以及使用云計算的運營成本。

作為澳大利亞最大的金融機構，澳大利亞聯邦銀行處理該國 60% 的金融交易。在運行 Spark 工作負載時，該銀行面臨著延遲和成本方面的挑戰。據估算，如果僅使用 CPU計算集群，這家銀行除了要處理繁重的日常數據需求外，還需要近 9 年時間才能處理完積壓的訓練任務。

澳大利亞聯邦銀行首席數據和分析官 Andrew McMullan 表示：“我們每天要處理 4000 萬次推理交易，因此能夠及時、可靠地處理這些交易至關重要。”

通過在 GPU 驅動的基礎設施上運行適用于 Apache Spark 的 RAPIDS 加速器，澳大利亞聯邦銀行把系統性能提升了 640 倍，僅用 5 天時間就完成了 63 億筆交易的訓練。此外，在處理每天 4000 萬筆交易時，澳大利亞聯邦銀行目前能在 46 分鐘內完成推理，成本比基于 CPU 的解決方案降低了 80% 以上。

McMullan 表示，NVIDIA 加速的 Apache Spark 還有另外一個重大優勢。它在計算時間上極為高效，使其團隊能夠經濟地構建模型，從而幫助澳大利亞聯邦銀行提供更好的客戶服務、預測客戶可能何時需要住房貸款方面的幫助，以及更快地檢測欺詐交易。

澳大利亞聯邦銀行還計劃使用 NVIDIA 加速的 Apache Spark 更好地確定客戶通常在何處結束其數字旅程，從而能夠在必要時采取補救措施，以降低放棄申請的比例。

全球生態系統

適用于 Apache Spark 的 RAPIDS 加速器通過全球合作伙伴網絡提供。目前已經在亞馬遜云科技、Cloudera、Databricks、Dataiku、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 平臺上線。

Dell Technologies 同日也宣布，將適用于 Apache Spark 的 RAPIDS 加速器集成到 Dell Data Lakehouse 中。