算能BM1684X上完成Qwen3-VL 4B/8B模型的適配，推理速度13.7/7.2 tokens/s，使其成為邊緣部署多模態大模型的最佳選擇。

近日，阿里千問正式開源Qwen3-VL系列的4B和8B版本模型，為邊緣計算和端側設備提供了更高效的多模態AI解決方案。算能BM1684X芯片已完成對該系列模型的適配，4B/8B模型在邊緣端實現了13.7 /7.2 tokens/s的推理性能。

模型性能突破，小參數大能力

Qwen3-VL系列再添新成員——Dense架構的Qwen3-VL-8B、Qwen3-VL-4B 模型，本地部署友好，在MMMU、MathVista等基準測試中超越了同級別的其他模型，并在部分測試場景中展現出與更大規模模型相媲美的性能，通過架構優化，它有效解決了小模型中常見的視覺與文本能力不平衡問題，為邊緣場景帶來了更多解法。

Qwen3-VL 4B和8B模型在保持模型輕量化的同時，確保了多模態理解能力的完整性。這兩個規模的模型均提供Instruct和Thinking兩個版本，滿足不同場景的應用需求。

Qwen3-VL模型能主動識別異常行為，自動調取多路攝像頭追蹤，并調用工具生成處置方案，實現從感知到決策的閉環；憑借增強的空間推理能力，系統可精準分析人員軌跡、識別異常聚集，構建動態安防態勢圖，預警潛在風險；進一步擴展了長上下文能力，支持對長視頻的秒級精確定位，在文搜檢索的基礎上，提供有邏輯依據的事件分析，大幅提升調查效率。

另外，很多傳統算法沒有覆蓋的corner case，不再需要人工標注訓練，直接通過prompt調整即可實現，從"看得見"邁向"看得懂"，Qwen3-VL將為各種端側設備的智能化升級注入新動力。

BM1684x適配加速，推理性能一騎絕塵

BM1684X芯片已完成對Qwen3-VL系列的適配工作，并開源在LLM-TPU倉庫，所有基于BM1684X的盒子、計算卡、微服務器都可以穩定運行。

API一鍵部署：如果想將Qwen3-VL的多模態能力集成到其他系統中，通過AIGC-SDK封裝好的標準API，只需要一行命令即可實現：

bash scripts/init_app.sh qwen3vl

測試數據顯示，Qwen3-VL模型在BM1684X平臺上的推理速度達到13.7 tokens/s，這一性能表現使得實時多模態理解在邊緣端成為可能。同時，芯片的多路視頻編解碼能力使其能夠同時處理32路1080p視頻流，為大規模部署奠定基礎。

Qwen3-VL系列模型與BM1684X的結合，為多個行業的智能化升級提供了新的技術路徑，本地化部署能夠有效降低云端傳輸延遲，提升系統響應速度。

開源開放的工具鏈給了用戶更多的控制權，進一步降低了模型部署的難度，開發者可以便捷地將自己微調后的模型移植到邊緣設備，加速應用落地。