近日，地平線成功在旭日3中的BPU??計算單元上，部署運行參數規(guī)模高達14億的大語言模型（Large Language Model , LLM）。這不僅是業(yè)界在端側成功部署大模型的一次突破性實踐，更驗證了BPU??對先進神經網絡算法的高效支持，為大模型在端側實現產品級應用拓展了更廣闊的想象空間。

大模型端側部署的技術實踐對加速智能化產業(yè)變革具有重要意義。端側部署具備實時性、低時延優(yōu)勢，能夠靈活支持弱網或無網等豐富場景，為終端用戶提供更流暢、穩(wěn)定的交互體驗；同時端側支持信息本地化處理，可有效保護用戶數據與隱私安全；端側計算還將大幅緩解云端算力壓力，端云協(xié)同更會驅動產業(yè)降本提效，加速實現大模型技術的應用普惠。

然而，大模型端側推理部署仍面臨巨大挑戰(zhàn)。區(qū)別于云端推理部署計算資源應用盡用，端側部署大模型并實現產品級應用，則需綜合考量不同應用間的計算資源分配，以及計算效率、帶寬占用與功耗等各項指標。如何在眾多約束條件下最大程度地提高大模型端側推理效率是面臨的首要技術挑戰(zhàn)。此外，推理過程將大量占用內存帶寬，如何在不影響推理結果的前提下減少內存訪問，降低帶寬依賴，進而減少推理耗時，則需要在軟件工程層面進行系統(tǒng)優(yōu)化。

作為軟硬協(xié)同技術路徑的堅定踐行者，地平線通過硬件資源的最大化利用和軟件工程的極致優(yōu)化，并成功在5 TOPS算力的邊緣計算芯片上部署高達14億級參數的大語言模型。這源于旭日3所搭載的雙核BPU??伯努利計算單元對神經網絡計算的原生性支持，能夠在處理大語言模型方面提供高性能、低功耗的計算處理能力。另一方面，地平線通過軟硬協(xié)同編譯，采用算子重寫、算子重排、算子融合和KV-Cache等技術，進一步優(yōu)化了模型結構，實現推理速度的成倍提升。

從資源占用情況看，該大語言模型在旭日3上的應用效果表現優(yōu)異，CPU占用單核60%、BPU占用單核50%，為后續(xù)其他應用預留充足的算力資源；同時在5GB/s內存帶寬基礎上實現了約4~5字/秒的生成速度，可充分滿足實時性需求；在最能體現真實效能的FPS/Watt指標上，該模型的運行效能相較于LLaMA.cpp等純CPU方案提升了2.5倍。這也意味著，旭日3對此大預言模型的支持性可達到產品級應用水平。

地平線現已通過GitHub開放該模型的推理代碼，開發(fā)者可通過RDK X3系列開發(fā)者套件，即刻前往「NodeHub全開源機器人應用中心」推薦項目，嘗鮮體驗大語言模型在旭日3上的實際運行效果，更期待各位開發(fā)者參與「星光之路」活動，一同探索大模型在旭日3的上層應用落地！

我們相信，通過軟硬協(xié)同的技術路徑，大模型端側應用部署將驅動人機交互方式變革，多維度提升用戶智能化體驗，加速“智能計算平權”時代的到來。