利用高密度內存顯著優化人工智能欺詐檢測的基礎設施成本

人工智能欺詐檢測是金融科技公司的一項關鍵工作。欺詐監控涉及多種機制，例如采用自然語言處理技術篩選通信中的可疑內容、利用機器學習區分欺詐交易和合法交易，以及運用分析技術區分正常用戶行為和異常行為，并基于歷史數據預測未來趨勢。

就關鍵計算活動而言，持續進行的實時推理工作核心在于處理交易、生成欺詐評分以及采取諸如阻止違規交易等操作。這項工作負載涉及大量KB級的小型交易數據，這些交易需要以正確的格式存儲并實時處理。

內存數據庫(IMDB)可以滿足這種工作負載的需求，它以適合此類工作的格式提供存儲，同時與典型的塊訪問存儲相比，還能實現更快的加載/存儲I/0性能。

此類數據庫所需的內存容量巨大，由于每臺服務器的實際內存有限，因此實現起來極具挑戰性。對于需要服務器集群的大型工作負載，必須考慮多項總體擁有成本(TCO)因素。

·需要更多服務器：為了應對工作負載，必須部署更多服務器，而這往往僅是為了滿足IMDB對內存的增量需求。這導致客戶最終要為額外的計算、存儲、安全和系統軟件付費，而這些實際上并非必要，根本自的是為了獲得額外的內存。

·網絡復雜性增加：網絡復雜性的提升不僅體現在數據中心內部的物理基礎設施上，也體現在IMDB軟件的復雜性上一一這增加了電力需求，并損害了性能和成本。

·可靠性問題：鑒于客戶數據的敏感性和隱私性，金融科技公司通常會維護自己的數據中心。因此，底層基礎設施的可靠性對數據完整性至關重要。由余節點和復雜網絡構成的臃腫基礎設施，需要通過更多的系統復制來減輕故障的影響。

添加DRAM的成本

解決這個問題的一個看似簡單的方案是增加每個服務器節點的內存容量，但實際實施起來卻并非易事。金融科技基礎設施中典型的內存金字塔結構如下所示。

內存需求主要由DRAM滿足，而DRAM的每GB價格通常是SSD的10倍。通過DRAM增加節點內存容量成本很高。除了成本因素外，DRAM的容量擴展在技術上無法達到SSD的水平：插槽數量有限，單張內存卡的容量也有限。即使是最昂貴的企業級系統，目前DRAM總容量也無法超過20TB，而SSD的容量可以達到PB級。

使用CXL進行內存擴展

為了展示一種更高效的方法，下圖使用CXL設備增加了兩個內存層。CXL支持更符合AI工作負載需求的內存語義(如一致性、小容量加載/存儲/O)，使客戶能夠構建高密度內存系統，在無需額外服務器的情況下提供更大容量，從而優化總體擁有成本(TCO)。與SSD相比，CXL提供更快的性能；與DRAM相比，其容量也更高。

用于直連或遠程存儲的CXL協議預計將成為面向人工智能、高性能計算和云數據中心工作負載的高端服務器的標準功能。它將在內存擴展、內存共享和內存池化等應用場景中發揮重要作用。除了可擴展性之外，它還提供滿足人工智能欺詐檢測工作負載需求的帶寬和延遲性能。

RAS,SLAS,可觀測性

除了性能和總體擁有成本(TCO)的節省之外，金融科技提供商還迫切需要確保其數據中心服務器集群中所有系統內存的可靠性、可維護性、可用性(RAS)和可觀測性。他們必須持續監控設備故障，其發生頻率往往高于預期。能夠快速、及時地檢測和干預這些設備的問題，是金融科技提供商履行關鍵服務級別協議(SLA)的基礎。

因此，該數據的可靠性、可用性和基礎架構就顯得至關重要。如果基礎架構變得臃腫不堪，金融科技支持機構將不得不應對持續不斷的故障，從而需要維護多個數據副本才能滿足其對客戶承諾的服務級別協議(SLA)。

三星Cognos解決方案

CXL內存解決方案的部署可以通過三星的人工智能增強型內存管理與協調軟件Samsung Cognos來實現。Cognos為實現直連內存提供了關鍵支持，其特性包括：

·管理高密度、多設備內存池，并具備易于擴展性，以解決內存滯留問題。

·實現應用感知的內存編排，以最大化分層內存的性能。

·基于欺詐檢測服務級別協議(SLA)指標的自動數據分層，結合本地化和熱點數據模式管理，以及三星設備中的設備級接口，實現數據分層。

·直觀的控制臺，方便進行設備和應用程序級別的可觀測性分析。

·對應用程序而言具有透明性，因此應用程序無需修改即可使用

Cognoso

Cognos通過RAS和可觀測性功能，簡化了服務器集群的監控和維護。它為客戶提供了一種無需人工干預的可擴展內存管理方法，并能與欺詐檢測應用程序所需的IMDB實現無縫集成。通過在實際運行環境中采用Cognos和CXL，用戶成功實現了總體擁有成本提升4倍的成效，同時滿足了其在延遲和吞吐量方面的服務等級協議目標。

由于無需進行任何應用程序層面的更改，因此該解決方案不僅適用于本文討論的AI欺詐檢測負載，對許多其他IMDB負載也同樣具有吸引力。