Kioxia Corporation今日宣布,憑借其開源的KIOXIA AiSAQ?近似最近鄰搜索(ANNS)技術,成功演示在單臺服務器上實現48億向量的高維向量搜索擴展。此外,Kioxia還展示了通過NVIDIA cuVS利用GPU加速,顯著縮短索引構建時間的成果。這兩項成果標志著檢索增強生成(RAG)搜索解決方案取得了重大進展。目前公司正持續開發,以支持超過48億向量的更大規模部署。
大規模向量數據庫的索引構建時間是行業的核心痛點。Kioxia與NVIDIA合作,演示了其在1024維高維向量的KIOXIA AiSAQ索引構建時間上最多20倍的改進,以及端到端構建時間上最多7.8倍的改進。這20倍的改進意味著,構建索引的時間從使用CPU的28.4天縮短至使用4塊NVIDIAHopperGPU的1.4天,端到端測試時間從31天縮短至4天。
如今,AI應用可依賴存儲在固態硬盤上的更大規模向量化信息(可達數百億向量及以上),而僅靠DRAM即便在十億級規模下也已不再適用。Kioxia借助KIOXIA AiSAQ技術,實現了十億級搜索的高可擴展存儲架構,在Milvus向量數據庫環境中,使用單臺查詢服務器即可滿足RAG應用的延遲要求。其索引構建依托GPU加速,讓大規模部署變得切實可行。
NVIDIA存儲技術副總裁Jason Hardy表示:“向量數據庫是那些需要在海量非結構化數據集中實時理解意圖、上下文和相似度的應用的核心支撐。通過借助NVIDIA cuVS庫實現GPU加速索引,Kioxia支持高維向量數據庫實現擴展,并以前所未有的效率構建索引。”
KIOXIA AiSAQ開源軟件技術于去年首次發布,通過支持直接從固態硬盤進行向量搜索并降低DRAM用量,解決了RAG技術的可擴展性挑戰。KIOXIA AiSAQ技術具備高可擴展性,非常適合多租戶環境和大規模單體索引部署。該技術采用創新的全局索引(Global Index)算法,結合混合聚類和圖搜索,在超大規模下實現高效向量搜索。KIOXIA AiSAQ軟件提供靈活的調優選項,可在性能與大規模向量可擴展性之間取得平衡,讓大規模部署更易實現和擴展。
Kioxia Corporation常務執行董事、固態硬盤事業部副總裁Masashi Yokotsuka表示:“將向量數據庫擴展至十億級規模,需要重新思考內存和計算方案。通過將基于KIOXIA AiSAQ固態硬盤的向量搜索與NVIDIA用于索引構建的GPU加速相結合,我們實現了大規模部署下切實可行的索引構建。作為行業創新者,我們將繼續利用閃存技術突破AI的邊界。”
Kioxia始終致力于推進由存儲驅動的AI解決方案,以支持大規模智能數據處理,并持續推動KIOXIA AiSAQ向萬億向量級部署邁進。
審核編輯 黃宇
-
gpu
+關注
關注
28文章
5221瀏覽量
135712 -
服務器
+關注
關注
14文章
10299瀏覽量
91587 -
數據庫
+關注
關注
7文章
4043瀏覽量
68427
發布評論請先 登錄
Oracle和NVIDIA合作加速向量搜索和企業數據處理
不用編程不用聯網,快速實現PLC與數據庫雙向數據通訊的案例
恒訊科技解析:如何在日本服務器上安裝和配置數據庫(如MySQL)?
華納云香港服務器數據庫索引優化策略
不用編程不用聯網,實現倍福(BECKHOFF)PLC對接SQL數據庫,上報和查詢數據的案例
不用編程序無需聯外網,將Rockwell羅克韋爾(AB)PLC的標簽數據存入SQL數據庫
數據庫數據恢復—服務器異常斷電導致Oracle數據庫故障的數據恢復案例
硅谷GPU云服務器是什么意思?使用指南詳解
高通SoC陣列服務器
服務器數據恢復—Linux系統服務器崩潰的數據恢復案例
數據采集到MYSQL和SQLSERVER數據庫可以實現哪些功能
RAKsmart服務器SEO優化優勢分析
分布式存儲數據恢復—虛擬機上hbase和hive數據庫數據恢復案例
數據庫數據恢復——MongoDB數據庫文件拷貝后服務無法啟動的數據恢復
KIOXIA單服務器實現48億高維向量搜索數據庫,借助GPU實現索引構建時間加速7.8倍
評論