AI產(chǎn)業(yè)已從“追求模型能力極限”轉向“追求推理體驗最優(yōu)化”，推理體驗決定用戶與AI的交互質(zhì)感。當前推理應用快速發(fā)展，Token調(diào)用量爆發(fā)式增長，推理遇到“推不動、推得慢、推得貴”三大瓶頸，成為產(chǎn)業(yè)規(guī)?；l(fā)展的攔路虎。在有限算力下，長序列輸入導致首Token時延（TTFT）增加，甚至超長序列超出模型上下文窗口限制；隨著并發(fā)數(shù)增加，推理吞吐開始下降，任務頻繁卡頓；歷史對話和行業(yè)知識的重復調(diào)用造成算力浪費，加大推理成本。如何優(yōu)化推理效率，是AI產(chǎn)業(yè)突破發(fā)展瓶頸的關鍵。

算力的有效利用對AI推理性能和成本優(yōu)化發(fā)揮著至關重要的作用，是企業(yè)核心競爭力。算力平臺需適配多元存儲、Kubernetes集群及推理框架，但硬件生態(tài)碎片化、資源分配僵化、調(diào)度缺乏AI任務感知、運維可觀性不足等技術兼容難題，正嚴重制約推理應用發(fā)展。

近日，華為數(shù)據(jù)存儲與「DaoCloud 道客」聯(lián)合推出了AI推理加速聯(lián)合解決方案。該方案融合了華為UCM（Unified Cache Manager）推理記憶數(shù)據(jù)管理技術和道客d.run算力調(diào)度平臺，圍繞大模型歷史數(shù)據(jù)，實現(xiàn)KV Cache數(shù)據(jù)池化管理，以資源的精細化管理和智能調(diào)度提升算力利用率，為AI推理加速提供全方位技術支撐。

道客d.run算力調(diào)度平臺可支持算力與顯存資源的細粒度切分及池化，通過多種調(diào)度策略實現(xiàn)算力資源的最大化利用。調(diào)度器具備拓撲感知能力，可優(yōu)化任務在xPU間的通信效率，保障AI任務穩(wěn)定低耗運行。平臺提供企業(yè)級運維支持，提供多租戶隔離、資源配額管理、完整的監(jiān)控告警及計費計量等功能，滿足企業(yè)級使用與運維需求。同時具備多元生態(tài)兼容性，適配NVIDIA、華為昇騰、寒武紀等多種品牌AI算力，支持TensorFlow等主流AI框架，借助Kubernetes的CSI無縫對接華為OceanStor AI存儲，簡化管理并為AI任務數(shù)據(jù)讀寫提供穩(wěn)定支撐。

華為UCM是以KV Cache為核心，構建多級緩存空間的分層管理與智能流動機制，實現(xiàn)數(shù)據(jù)在高性能緩存HBM、內(nèi)存DRAM和外置OceanStor A系列存儲的分級緩存和查詢，確保推理記憶知識全量保存。并且，UCM還融合多項創(chuàng)新加速算法：自適應全局Prefix Cache支持公共前綴、歷史對話和RAG知識塊多種拼接組合場景的復用，通過以查代算，最大程度改善TTFT；全流程稀疏加速算法提供Prefill階段的超長KV分片卸載和增量稀疏，以及Decode階段的動態(tài)稀疏，提升長序列推理吞吐。

在Qwen3-32B模型上，測試問答助手場景，開啟Prefix Cache和RAG Chunk功能。測試數(shù)據(jù)表明，首Token時延降低約55%，且隨著序列長度越長，TTFT降低效果越明顯，通過“以查代算”的方式，避免了大量歷史對話信息的重復計算。

圖1 問答助手場景對比開關UCM的TTFT

測試長文檔推理場景，設定序列長度輸入32K+輸出1K，開啟Chunk Prefill和GSA稀疏化功能。測試數(shù)據(jù)表明，在并發(fā)數(shù)為30時，TTFT最大降低47%，端到端吞吐最大提升75%。

圖2 長文檔推理場景對比開關UCM的TTFT

圖3 長文檔推理場景對比開關UCM的E2E吞吐

關閉UCM，當并發(fā)數(shù)超17時，請求開始排隊；開啟UCM，當并發(fā)數(shù)超32時，請求開始排隊。在以上情況下，開啟UCM對比關閉UCM場景，并發(fā)能力提升88.24%。

圖4 長文檔推理場景對比開關UCM的并發(fā)能力

目前，該方案正在電力、金融等行業(yè)試點。未來，雙方將持續(xù)深化技術合作，推動技術迭代與行業(yè)適配，助力AI技術在更多行業(yè)的落地應用。

審核編輯 黃宇