大語言模型主導的生成式 Al 開始滲透到各行各業，并正在與企業應用結合，重塑企業應用中人與數據的交互方式，幫助企業釋放生產力價值。例如，在金融行業，大模型可以幫助銀行更好地分析客戶情況，提供更加精準的金融服務；在醫療診斷領域，大模型通過分析大量的醫學數據，提高診斷的準確性和效率。然而，企業在將大模型與企業應用相融合過程中，還存在著一些挑戰：

01存在" Al 幻覺"問題

大模型訓練周期長且輸入 token 存在限制，無法及時地將實時、快速變化的信息數據和領域知識內置到模型當中，大模型存在“答非所問”現象。

02海量數據處理性能不足

向量維度逐漸增高，數據計算量呈指數級上升，數據處理的實時性要求不斷提高，大模型的數據處理能力和性能存在很大挑戰。

03總體擁有成本 (TCO)高

日益增長的數據和計算壓力，以及模型二次訓練的高成本，給企業大模型構建和運營等帶來了巨大的 TCO 壓力。

大語言模型正迅速地應用于各行各業，改變用戶與企業產品和服務之間的交互方式，幫助企業提高效率、降低成本、優化流程。盡管大模型具有巨大的潛力，但其訓練、維護和技術難度要求極高，成本也非常昂貴。通用大模型在應用于特定領域時普遍存在回答不精準，“答非所問”的現象，而專屬大模型又存在訓練時間較長，算力需求較高等問題。通過引入向量數據庫，實現大模型＋向量數據庫的架構為企業解決上述問題提供了有效的解決方案。

星環科技企業級云原生分布式向量數據庫TranswarpHippo支持存儲、索引以及管理來自深度神經網絡或者各類機器學習模型所生成的海量向量數據，提供向量相似度檢索、混合檢索等能力，能夠拓展大模型的時間邊界和空間邊界，使得大模型擁有“長期記憶”的同時保護數據隱私，幫助企業用戶解決大模型應用時實時性不夠、二次訓練周期長成本高、答非所問等問題。

為了更好地幫助企業應對大模型時代海量、多維向量數據的高并發和實時計算等挑戰，星環科技與英特爾合作，推出了基于第四代英特爾至強可擴展處理器TranswarpHippo分布式向量數據庫解決方案，通過軟硬件深度融合，滿足大模型時代海量、高維向量的存儲和計算需求，為用戶構建高性能向量數據庫系統和大模型應用提供了重要依據和選型方向。

同時，星環科技作為一家企業級大數據基礎軟件公司，為企業提供大模型應用開發全周期的技術和產品，通過TranswarpHippo向量數據庫和大模型統一運營管理平臺 Sophon LLMOps 、金融大模型Transwarp Infinity“星環無涯” 、大數據分析大模型 Transwarp Solar “星環求索”等產品組合，幫助每個企業更快、更精確地打造真正符合實際需求的專屬領域大模型。

軟硬件深度融合，激發強勁性能

第四代英特爾至強可擴展處理器是英特爾公司 2023 年發布的數據中心處理器，凝聚了英特爾數十年來在數據中心、網絡和智能邊緣等領域積累的技術經驗，采用全新架構，提升了單核性能，每路配備多達 60 個內核支持 8 通道 DDR5 內存，有效提升了內存帶寬與速度，并通過 PCle 5.0 (80 個通道)實現了更高的 PCle 帶寬提升。第四代英特爾至強可擴展處理器提供了出色性能和安全性。以結果為導向、工作負載至上，為 AI、云、網絡、邊緣和全球領先的超級計算機帶來全新功能。

第四代英特爾 至強 可擴展處理器與星環科技 Transwarp Hippo 分布式向量數據庫軟硬件融合的深度優化:

使用 AVX512 擴展指令集重寫向量距離計算函數，顯著降低向量計算需要的 CPU 指令數量與 CPU 時鐘周期，充分發揮第四代英特爾 至強 可擴展處理器高內存帶寬的優勢 NUMA 友好的向量計算負載調度算法，避免 CPU 遠程內存訪問造成 CPU 阻塞，充分發揮第四代英特爾 至強 可擴展處理器多核性能的優勢 基于數據離散度的浮點數矢量化算法，充分利用 VNNI 指令集，進一步提升向量計算性能

通過配置第四代英特爾至強可擴展處理器，星環科技 Transwarp Hippo 在向量索引層面實現了 20%~30%¹的性能提升，可全面滿足個性化推薦、智能問答、大模型應用等場景對向量數據庫系統計算能力的要求。

圖1. 基于第四代英特爾至強可擴展處理器 AVX512 的 Hippo向量索引庫與開源 Faiss 查詢性能¹

圖2. 基于第四代英特爾至強可擴展處理器 AVX2/AVX512 的Hippo 向量索引庫查詢性能¹

用戶收益 專業向量數據庫——解決大模型的局限性

通過將最新的信息語料存儲在Transwarp Hippo 向量數據庫中，能夠讓大模型保持信息實時性，使大模型擁有“長期記憶”；協助企業解決大模型數據泄露隱私問題，拓展大語言模型的空間邊界；通過多模態信息向量化存儲以及近似檢索、混合檢索等能力幫助大模型解決 “Al 幻覺”問題。

高擴展——敏捷地滿足大模型發展需求

隨著大模型場景的深入化和豐富化，數據多模態加劇，如文本、圖像、音頻和視頻等，向量數據維度也逐漸增高，數據量呈現爆炸式增長。星環科技 Transwarp Hippo 可以按需水平擴展，利用容器技術支持服務彈性擴縮容，可以滿足企業大模型未來發展對海量向量數據的存儲和計算需求。

更高性能——應對大模型應用帶來的挑戰

海量、高維度向量數據處理，以及低時延和高精確度等要求給向量數據庫性能帶來了巨大挑戰。通過與第四代英特爾 至強 可擴展處理器的深度融合，星環科技Trans warp Hippo 可以更好地幫忙用戶應對大模型應用帶來的挑戰，更高效地挖掘大模型應用價值。

降低 TCO ——提升大模型投資回報率

基于星環科技Transwarp Hippo 向量數據庫可以大幅降低大模型二次訓練成本，加速大模型業務上線和創新。同時，自帶Embedding工具和模型、高擴展、以及與第四代英特爾 至強 可擴展處理器深度融合帶來的更高性能等特性可滿足企業業務發展需求，提升大模型建設的投資回報率。

展 望

基于第四代英特爾至強可擴展處理器的星環科技 Transwarp Hippo 分布式向量數據庫顯著提升了數據庫系統的整體性能表現，使其成為用戶構建大語言模型方案的理想選擇。借助該方案，用戶可以便捷、高效打造大模型應用，激發更多的 AI 場景業務。

星環科技與英特爾將繼續深化軟硬件技術融合能力，圍繞 Transwarp Hippo 向量數據庫，結合星環科技大模型開發工具 Sophon LLMOps、金融大模型 Transwarp Infinity “星環無涯”、大數據分析大模型 Transwarp SoLar “星環求索”等產品，為用戶提供大模型應用構建的全棧基礎軟件和工具，幫助金融、能源、交通等各個行業的企業更高效、更精確地打造專屬領域大模型，促進生產力提升，加速業務創新和價值實現。

參考資料：

1截止 2023 年10月由星環科技與英特爾共同開展的測試。測試配置:雙路第四代英特爾 至強鉑金 8480+處理器，56核，啟用睿頻加速技術，關閉超線程，512 GB總存(16x32 GB DDR4 3200 MHz),BIOS EGSDCRB1.SYS.0090.D03.2210040200, ucode 0x2b0000c0,1x MT27800 Family [ConnectX-5，25Gb/s]，2x 480 GB英特爾SSDSCKKB48，Red Hat Enterprise Linux 8.6 (0otpa), 4.18.0-372.9.1.el8.x86_64,Transwarp Hippo 1.2,Faiss 1.7.4.實際性能受使用情況、配置和其他因素的差異影響。更多信息請見 www.intel.com/Performancelndex

2,3,4,5實際性能受使用情況、配置和其他因素的差異影響。更多信息請見www.intel. com/Performancelndex