隨著智能 IPC 設備（如安防攝像頭、寵物陪伴機器人、嬰兒監視器等）日益普及，越來越多的生活場景被實時記錄。然而在實際使用中，由于設備安裝位置不當、廣角鏡頭視野過大等原因，經常會出現拍攝主體占比過小的問題，導致"全景清晰而主體模糊"，嚴重影響用戶的觀看體驗。

一、涂鴉AI 推理模型自動突出主體

因此，涂鴉重磅推出 On-App AI 視頻主體突出解決方案，利用涂鴉賦能 App 的AI 能力對畫面進行實時目標檢測，自動定位、識別主體后，再利用圖像算法對其進行智能自適應放大，使主體更突出、畫面更聚焦。最后，對處理完成的視頻進行編碼與封裝，即可輸出經過優化的視頻內容。

該方案適合拓展應用至生活各個場景中，如：

在室內監護中，可用于嬰兒看護、寵物監測、寵物機器人等設備；

在醫療影像或科研中，可結合內鏡或其他醫療設備突出術野關鍵區域；

在戶外記錄時，可用于智能喂鳥器、狩獵攝像機、自然景觀攝像機等設備；

在安防與工業檢測中，可用于巡檢、維修等需要檢查局部細節的設備。

a.例如針對家庭場景里的小貓，攝像頭會自動識別主體并進行畫面放大：

（沒有主體突出功能的視頻畫面）

（有主體突出功能的視頻畫面）

b.在戶外復雜場景下，涂鴉 On-App AI 視頻主體方案依然能夠精準識別目標對象，并進行動作追蹤和畫面放大。戳視頻，直觀體驗生成效果：

二、詳解涂鴉AI 視頻主體突出技術

1、整體技術架構介紹

在涂鴉所有的 AI 產品/硬件解決方案中, 我們打通了端到端的 AI 能力：即設備端、云端、App 端三端協同。通過將先進的 AI 推理模型部署到涂鴉賦能 App 上，能夠助力品牌商與開發者將先進的AI技術無縫集成到移動設備中，打造更靈活的 AI 架構、更優的用戶體驗、更安全的計算能力。

在移動端模型的部署中，涂鴉采用了輕量化技術架構（ TensorFlow Lite 等），這種技術架構的優勢就在于具備高效推理、低延遲、低功耗等特點，并且支持本地模型實現離線運行、系統更新、部署等按需加載的機制，助力提高運行效率，打造更靈活的 AI 架構。

圖像處理技術涂鴉采用了 OpenGL ES，可實現更高效的渲染與優化，充分利用 GPU 對圖像處理過程進行加速；

視頻編解碼技術采用涂鴉平臺提供的硬件解碼，能夠提升視頻處理性能、降低 CPU 負載，確保視頻流暢播放與低功耗運行。

（涂鴉AI 視頻主體突出技術架構圖）

2、技術亮點

2.1 擁有更靈活的 AI 架構：輕量化和動態化

（輕量化與動態化運行流程示意圖）

2.1.1 輕量級檢測模型

涂鴉采用專門優化移動端的輕量級對象檢測模型 EfficientDet-D0，該模型參數少、計算量小、推理速度快，可以精準檢測視頻中指定主體（如寵物、人物）的位置與類別。同時，基于智能分析能力可快速篩除無主體片段，有效降低計算負擔，提升處理效率。

?

2.1.2 模型動態化

采用按需加載的動態模型管理機制，支持模型在線下載、更新與部署，確保視頻應用始終使用最優模型版本，同時減少初始安裝包體積，提高運行效率。

?

2.2 更優的用戶體驗：實時性和高效率

（AI實時數據處理流程示意圖）?

2.2.1實時交互處理

該方案支持實時響應用戶的交互需求。依托本地計算的高效運行，可確保流暢無延遲的用戶體驗，無需依賴網絡，即可實現快速響應與實時處理。

?

2.2.2 新增防抖圖像算法

在檢測視頻主體位置的過程中，檢測框可能會發生抖動偏移，從而導致主體放大的畫面也會產生抖動；針對這一問題，涂鴉增加抖動閾值，確保視頻處理畫面時的平滑流暢。

?

2.2.3 微調模型以提高準確度

涂鴉積累了海量不同場景下的主體圖片，覆蓋不同光照條件下白天黑夜等多個場景，數據脫敏之后，涂鴉對這些模型進行精心的訓練微調，確保模型推理過程中的泛化能力。

?

2.3 更安全的計算能力：低成本和隱私保護

（涂鴉 AI 端側算力結構圖）?

2.3.1降低處理成本

涂鴉支持開發者動態調整視頻幀的推理策略。在沒有檢測到視頻主體的時候，系統會間隔多幀識別一幀；當檢測到主體時，就會自動調整為間隔 3 幀檢測一幀。這樣就能充分利用移動端的硬件加速，顯著提升視頻編解碼速度，降低 CPU 負載，提高整體性能。

而且，本地化處理相比云端處理的成本更低、更能節約云端負荷，算力消耗每萬次減少 25 TFLOPs，節省成本約 10% 左右。

?

2.3.2 保護隱私安全

該方案的所有數據處理均在本地完成，顯著降低時延、提高響應速度，同時避免數據外傳，增強用戶隱私保護，為應用提供更安全高效的計算環境。