用國產AI算力打造下一代沉浸式體驗！

2026集創賽“華強x昇騰”企業命題火熱報名中！本賽題由華強半導體發起、昇騰賦能，聚焦智慧文旅場景。參賽者需基于華為昇騰310B/310B+FPGA異構算力平臺，結合《熊出沒》等經典IP，開發兼具沉浸交互與園區管控能力的具身智能體。

昇騰+FPGA的異構組合代表了國產算力自主可控的關鍵方向，實現了高性能與高靈活性的最優平衡。加入我們，將助您掌握從算法設計到硬件部署的全流程技能，積累高含金量項目經驗。優秀方案將有機會在方特樂園真實落地，實現從“代碼”到“產業產品”的跨越。

這不僅是一場競技，更是用國產技術重塑文化體驗的契機。讓您的代碼驅動卡通熊智能互動，為千萬游客創造歡樂！誠邀各高校師生踴躍報名，共筑AI+文化創新未來！

【華強x昇騰杯賽題發布】用國產AI算力打造下一代沉浸式體驗！2026集創賽昇騰攜手華強共筑AI+文化融合創新平臺！

01

賽題背景與核心目標解析

賽題要求參賽隊伍基于華為昇騰310B/310P芯片，或“310B+FPGA”的異構硬件平臺，完成視頻圖像的采集與處理。

系統的最終交付目標是一套具備高魯棒性的智能視覺交互終端。該終端需具備動作識別與表情捕捉能力，并能與游客實現《熊出沒》IP的沉浸式演藝聯動（如觸發虛擬形象互動、劇情分支切換等）。這不僅是對深度學習算法的考驗，更是對邊緣設備算力調度、軟硬協同設計以及工程落地能力的綜合檢驗。

1. 平臺適配:要求基于指定的310B/310P或310B+FPGA的板卡或算力盒子，完成視頻圖像的采集與處理確保智能體的算力適配性與運行穩定性;

2. IP互動功能:具備動作識別、表情捕捉能力，可與游客實現《熊出沒》IP沉浸式演藝聯動(如觸發熊大/熊二虛擬形象互動、劇情分支切換等);

3. 場景適配:需適配方特園區開放環境(如光照變化、人群密集、動態障礙物等)，保證復雜場景下的功能有效性。

注：選擇FPGA+310B的隊伍，FPGA可以應用于圖像的前端預處理，或者多路視頻的融合輸入等功能，以提升識別性能、擴展端口輸入等。

4. IP互動類指標

(1)動作識別準確率:針對揮手、歡呼、比心等常見互動動作;(2)表情捕捉響應延遲:從捕捉游客表情(如微笑、驚訝、開心等)到觸發《熊出沒》IP互動反饋(如虛擬形象回應、燈光變化等);

(3)IP聯動適配性:可穩定聯動至少3種《熊出沒》主題演藝形式(如虛擬角色對話、動作互動、劇情分支切換、AR合影特效)，無聯動失敗或卡頓現象。

02

系統頂層架構設計（System Architecture）

為滿足低延遲與高吞吐量的要求，系統需摒棄傳統的“CPU 大包大攬”模式，構建高度流水線化的異構數據通路。

根據賽題要求，音視頻輸入可通過 HDMI/CMOS 接入，輸出則通過 HDMI 或千兆以太網呈現。整體架構可劃分為以下四個層級：

1. 感知輸入層：推薦選用高幀率工業 CMOS 相機或 MIPI 接口模組，從物理源頭切斷 USB 總線帶來的不可控延遲。

2. 圖像預處理層：作為數據的“清洗站”與“整形器”，負責處理前端高頻并發的像素流。

3. 核心推理層 (310B NPU)：作為系統的“大腦”，接管標準化后的純凈視頻流，利用硬件解碼器與 NPU 完成復雜的張量計算與業務邏輯判斷。

4. 沉浸表現層：接收處理結果，驅動外部大屏或虛幻引擎完成終端視覺渲染與物理聯動輸出（支持 HDMI/以太網輸出）。

03

硬件協同與底層加速策略

軟硬解耦，算力卸載。我們將傳統的CPU圖像預處理任務，拆分給DVPP和AIPP兩個底層硬件模塊進行“接力”：

1、DVPP負責“物理整形”（動態調用）

思路：摒棄傳統的OpenCV軟解思路，直接調用310B獨立的DVPP硬件單元。

作用：接收從FPGA傳入的高清視頻流后，純靠硬件完成圖像的縮放（Resize）、裁剪（Crop）或基礎格式解碼。這一步快速將大圖處理成模型需要的物理尺寸（如640x640），將CPU從最耗時的像素搬運中徹底解放出來。

2、AIPP負責“數學轉換”（靜態固化）

思路：利用310B NPU特有的AIPP機制，將像素級的數學運算提前“編譯”進AI模型中。

作用：原本需要用代碼遍歷像素去做的色域轉換（如YUV轉RGB）、減均值、歸一化（/255）等操作，現在變成了NPU推理前自動執行的底層指令。由于和模型推理深度融合，這部分預處理的時間損耗幾乎可以忽略不計。

04

核心算法棧與優化策略

賽題對動作識別和表情捕捉的準確率及延遲提出了明確要求。需摒棄臃腫的大模型，構建目標驅動的輕量化級聯網絡。

1、動作識別：目標追蹤與姿態估計

（1）考核指標：針對揮手、歡呼、比心等常見互動動作的識別準確率。

（2）技術路徑：避免使用易受背景干擾的全局圖像分類法。建議采用“輕量級目標檢測 (如 YOLOv8) + 骨骼關鍵點提取 (Pose Estimation)”的二維路線。以“比心”為例，系統提取左右手腕與手肘的坐標，當多點在胸腔中心區域形成特定夾角與拓撲關系時，狀態機即判定動作生效。

2、表情捕捉：極限提速的兩段式級聯

（1）考核指標：從捕捉游客表情（如微笑、驚訝、開心等）到觸發《熊出沒》IP 互動反饋（如虛擬形象回應、燈光變化等）的響應延遲。

（2）技術路徑：全局運行超輕量級人臉檢測算法獲取目標邊界框；隨后利用 DVPP 摳出人臉 ROI 區域；最終將低分辨率切圖送入基于 MobileNet/ShuffleNet 骨干的表情分類網絡。該方案可將單幀推理耗時壓縮至毫秒級，實現極低延遲。

05

沉浸式互動呈現與集成交付

系統需穩定聯動至少3種《熊出沒》主題演藝形式，無聯動失敗或卡頓現象。

1.交互表現形式建議

（1）虛擬角色對話：根據游客特定動作，觸發不同的語音播報與口型同步動畫。

（2）劇情分支切換/動作互動：游客的歡呼聲量或揮手頻率作為交互輸入，推動大屏內不同劇情線的演進。

（3）AR合影特效：提取游客骨骼與人臉坐標，實現虛擬道具（如熊大頭飾、氣球）與真實游客畫面的精準三維貼合。

2.交互表現架構設計

負責將AI推理結果與交互特效具象化呈現。根據團隊的技術棧深度與實際應用場景要求，建議將其分為兩個梯度的實現方向：

方向一：端側本地直顯（基礎交付路線）

（1）實現邏輯：利用邊緣計算盒子自帶的硬件顯示接口，直接將疊加了AI識別框、骨骼關鍵點連線或基礎2D互動UI的處理結果，通過HDMI輸出至本地顯示設備。

（2）核心優勢：架構精簡，數據傳輸鏈路極短，能夠實現極致的低延遲顯示，非常適合在項目早期快速完成系統閉環與基礎功能驗收。

方向二：前后端解耦的網絡化實時渲染（高階進階路線）

（1）實現邏輯：設計一套完整的前后端分離軟件架構。邊緣端的AI進程僅作為純粹的數據源，通過10/100/1000Eth網絡接口 將結構化的判定結果（如動作標簽、觸發指令）推送至獨立的后端業務分發服務。由后端統一下發控制指令，在前端大屏實時渲染《熊出沒》的3D資產，并觸發場景內的聲光電聯動反饋。

（2）核心優勢：極大地豐富了沉浸式表現力，且將繁重的UI渲染任務從邊緣AI推理芯片中徹底剝離；支持跨設備、多屏幕的分布式聯動，完美契合真實主題樂園的高端演藝環境需求。