隨著大模型以及 AIGC 的出圈，應用智慧化體驗提升已成為用戶用機的核心訴求之一。如何將 AI 下沉至終端并與系統深度融合解決用戶痛點、挖掘創新場景成為開發者面臨的挑戰。

為滿足開發者差異化的場景需求，OPPO 在 ColorOS 系統智能產品領域進行創新實踐，通過自研端側 AI 平臺（AIUnit）幫助開發者一站式完成算法部署、測試和發布。

在【OTalk丨OPPO 開發者技術沙龍-端側AI-智能產品專場】直播中，OPPO 軟件工程系統-端側AI研發團隊為大家介紹了 OPPO 的端側 AI 能力和應用場景、一站式端側 AI 平臺技術架構及創新實踐，解答開發者對于端側 AI 智能產品開發的疑問和訴求。

ColorOS AI 能力與具體應用場景有哪些？

目前，ColorOS 圖像識別相關AI 產品包括文字提取、文本意圖識別--OCR、文本意圖識別--復制、圖片識別、翻譯和掃描等。OPPO 希望通過 OCR、圖像分割等能力作為系統信息獲取觸點，通過 NLP、CV 等算法對信息的理解能力對獲取信息進行內容分類和意圖分析，串聯各類服務，為用戶提供智能高效用機體驗的同時為開發者提供更有效的流量轉化。

作為觸點的 OCR 識別能力支持橫豎文字、段落、方格、排版，生僻字的識別、中英文混合、基礎文本的識別率超 80%，覆蓋相冊、復制、識屏、掃一掃、相機、便簽、截屏等7大用機場景。

作為意圖理解核心的文本 NLP 能力已支持抖音、騰訊會議等 10+ 文本類型識別。通過整合各類辦公、生活應用服務，OPPO 還可為不同類型的內容提供對應的功能延伸，如為地址信息提供導航、打車等卡片選項，幫助各類型服務的開發者打造額外服務入口，為用戶提供一鍵直達的服務體驗。

ColorOS 系統為開發者提供統一 AI 能力的優勢在哪里？

首先是成本低，ColorOS 已具備成熟圖文識別能力，接入成本并不高；

其次是更安全，ColorOS 可以利用端側算力完成計算，避免云側AI信息泄露風險；

再者是數據全，ColorOS 掌握用戶用機習慣數據，這些數據三方無法獲取；

最后是跨平臺，ColorOS 串聯各類型服務，為用戶帶來更便捷智慧體驗。

綜上，對于開發者而言，無論是降低開發成本，還是為用戶提供統一的服務體驗，由ColorOS提供統一AI能力都將是有力支撐。

開發者如何解決算法在不同平臺的差異化部署和運行？

目前，OPPO已經初步搭建端側AI平臺基礎端云協同框架，并且預計在2024年發布全新升級的平臺化體系1.0，將會包含以下內容：

AIBoost 端側推理框架：支持模型輕量化部署，涉及剪枝量化、加密轉換、算子融合、異構計算等，同時適配Android原生NNAPI及不同的芯片平臺，兼容各種型號手機及IOT設備，還提供了配套的開發工具，以幫助開發者低代碼、自動化地生成部署代碼，降低開發成本；

AIUnit 端云融合運行服務：除了集成AIBoost滿足常見的TFLite、ONNX等模型端側推理運行外，還提供了全新的Android插件化資源框架Orange，可以幫助開發者將自身應用產品中的算法進行插件化改造剝離，以獨立的形態實現云側發布，并且覆蓋范圍將會涉及全球至少六個國家或地區。端側運行時將充分融合ColorOS系統優勢，實現算法的全生命周期管理，以場景為維度做端云算法的切換調度，保證設備穩定性和低功耗的同時提升用戶用機體驗；

Odin 端云協同部署平臺：借助OPPO自研的安第斯智能云，端側AI平臺可以實現全球化發布和差異化部署，開發者可以將自己的算法模型或插件按照自定義條件發布到任意OPPO設備，同時平臺還將統計和收集算法在端側的內存、耗時、功耗等運行時數據，可視化展示其性能指標，輔助開發者快速迭代。未來還將在用戶許可的條件下基于端側訓練及聯邦學習生成用戶標簽，幫助開發者伙伴實現服務精準推薦，建立起ColorOS系統與三方應用的端側AI生態互融的友好合作關系；

AI能力測試平臺：開發者在部署過程中會遇到二次部署開發、測試腳本開發、演示工具開發和接口開發等問題，還需要對端側推理的性能做驗證，AI能力測試平臺將面向這一痛點提供全套的插件化開發套件，開發者只需要少量的代碼即可完成上述物料的開發工作，只需要將物料上傳到AI能力測試平臺，并且按需設定測試環境配置，即可在真機上完成端側的測試工作，從而驗證算法在端側的客觀表現和性能指標。

此外，在豐富的框架和開發工具加持下，非AI開發者也可以接入OPPO的AI能力快速實現AI場景。未來半年內，OPPO還將支持全球化部署，上線測試平臺及開發套件，平臺化的建設將助力開發者從開發、部署、測試、發布全鏈路實現算法的端到端落地。

OPPO基于端側AI平臺能力進行了哪些創新實踐？

OPPO 推出全能掃碼算法，目前已應用于Reno10 Pro+超級掃一掃功能，實現35米超遠距離掃碼和10度超傾斜掃碼，全能掃碼檢測能力更快。

1）基于傳統圖像處理方法設計預檢測模塊，減少不必要的定位和檢測算法調用；

2）基于AIBoost實現檢測模型端側部署，減少碼類檢測耗時；通過小目標檢測和變焦邏輯實現超遠檢測功能；

3）針對遠距離、小角度解碼問題，使用碼類矯正、碼類等去模糊算法來增強成像質量，提升極限場景下解碼能力；

開發者Q &A 問答

1、OPPO端側AI平臺在能力支持上有哪些優勢？

OPPO 端側AI平臺的優勢在于：支持算法類型更多，支持云側部署，端側推理支持的芯片平臺更豐富且支持異構。

2、如何快速接入OPPO端側AI能力？

開發者可以登錄OPPO開放平臺官網，在產品列表中「端側AI」入口進行申請接入。






審核編輯：劉清