基于 GPU 的功能, Facebook AI Research 的一個團隊開發了一種更快、更有效的 AI 運行相似性搜索的方法。這個 study ,發表于 IEEE 大數據交易 ,創建了一種深度學習算法,能夠處理和比較來自媒體的高維數據,速度明顯更快,同時與以前的技術一樣精確。
在一個數據供應量不斷增長的世界中,這項工作有望減輕處理大型庫所需的計算能力和時間。
“搜索和索引[高維數據]最直接的技術是蠻力比較,你需要對照數據庫中的其他圖像檢查[每個圖像]。這對于包含數十億載體的集合來說是不切實際的,”研究科萊德和 Facebook 的研究工程師杰夫·約翰遜在一份新聞稿中說。
包含數百萬像素和數據點的每幅圖像和視頻都會產生數十億個矢量。這些大量的數據對于分析、檢測、索引和比較向量非常有價值。計算大型庫與依賴于多個超級計算機組件的傳統 CPU 算法的相似性也存在問題,從而降低了總體計算時間。
研究人員只使用了四個 GPU 和 CUDA ,設計了一個 多 GPU 到宿主和***的算法分析庫圖像數據點。該方法還壓縮數據,使其更容易,從而更快地進行分析。
新算法在 35 分鐘內處理了 9500 多萬張高維圖像。 10 億個向量的圖形計算起來不到 12 小時。根據該研究中的一項比較測試,使用 128 臺 CPU 服務器集群處理同一數據庫需要 108 。 7 小時,約長 8 。 5 倍。
約翰遜說:“通過將計算完全放在 GPU 上,我們可以利用加速器上更快的內存,而不是處理 CPU 服務器上較慢的內存,甚至傳統超級計算機集群中較慢的機器對機器網絡互連。”。
研究人員表示,這些方法已經應用于各種各樣的任務,包括翻譯的語言處理搜索。被稱為 Facebook AI 相似性搜索庫的方法是 開源 用于實現、測試和比較。
關于作者
Michelle Horton 是 NVIDIA 的高級開發人員通信經理,擁有通信經理和科學作家的背景。她在 NVIDIA 為開發者博客撰文,重點介紹了開發者使用 NVIDIA 技術的多種方式。
審核編輯:郭婷
-
NVIDIA
+關注
關注
14文章
5598瀏覽量
109801 -
gpu
+關注
關注
28文章
5196瀏覽量
135511 -
服務器
+關注
關注
14文章
10261瀏覽量
91525
發布評論請先 登錄
算法工程師需要具備哪些技能?
穿孔機頂頭檢測儀 機器視覺深度學習
【團購】獨家全套珍藏!龍哥LabVIEW視覺深度學習實戰課(11大系列課程,共5000+分鐘)
【團購】獨家全套珍藏!龍哥LabVIEW視覺深度學習實戰課程(11大系列課程,共5000+分鐘)
按圖搜索1688商品API接口技術實現指南
京東拍立淘API開發指南:從零開始構建圖像搜索應用
深度解析淘寶拍立淘按圖搜索API接口與JSON數據示例參考
按圖搜索1688商品的API接口
基于蜂鳥E203架構的指令集K擴展
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+第二章 實現深度學習AI芯片的創新方法與架構
Andes晶心科技推出新一代深度學習加速器
GPU架構深度解析
ARM Mali GPU 深度解讀
Redis 8 向量搜索實測:輕松擴展至 10 億向量
利用GPU和深度學習算法加速十億向量相似性搜索
評論