還在手動拼裝播放器、錄屏、錄制、元數據解析邏輯?
別急——這份 HarmonyOS Media Kit 文章,就是你通往全場景多媒體開發的“通關指南”。
您可以通過這篇文章了解到Media Kit的6大核心功能模塊、典型場景以及基礎流程,【快速上手】零基礎也能秒變“音視頻高手”。
一、概述
Media Kit 讓開發者可以調用系統的音視頻能力,涵蓋播放、錄制、錄屏、元數據提取與轉碼六大核心功能模塊,支撐系統應用與第三方應用在視頻播放、內容創作、教學錄屏、直播互動等典型場景下的音視頻處理需求。系統框架和各核心功能模塊介紹如下:
核心功能模塊
簡要概述播放長短視頻、錄制、錄屏、元數據、轉碼的功能描述及典型場景:

簡易架構圖
簡要描述鴻蒙系統架構、Media Kit提供的服務以及TOP使用Media Kit 的系統應用和三方應用

二、Media Kit 的核心亮點
輕量媒體引擎
占用系統資源少(線程、內存),支持 pipeline 拼裝、插件化擴展(source/demuxer/codec)。
HDR 視頻支持
支持 HDR Vivid 格式采集與播放,提升視覺體驗。
音頻池機制(SoundPool)
適用于短音效播放場景(如系統提示音、游戲音效等),支持一次加載、多次低延遲播放。
三、Media Kit 六大功能模塊簡介
(1)AVPlayer:播放音視頻
1. 功能簡介
AVPlayer 負責將音頻/視頻資源(如 MP4、MP3、MKV、MPEG-TS 等)解碼為可渲染的圖像和音頻信號,并通過輸出設備播放。
它支持:
音頻播放(如音樂播放器)
視頻播放(如視頻播放器)
2. 視頻播放流程

流程說明:
應用從XComponent組件獲取窗口SurfaceID,獲取方式參考XComponent。
應用把媒體資源、SurfaceID傳遞給AVPlayer接口。
Player Framework把視頻ES數據流輸出給解碼HDI,解碼獲得視頻幀(NV12/NV21/RGBA)。
Player Framework把音頻PCM數據流輸出給Audio Framework,Audio Framework輸出給音頻HDI。
Player Framework把視頻幀(NV12/NV21/RGBA)輸出給Graphic Framework,Graphic Framework輸出給顯示HDI。
(2)SoundPool:播放短音頻
1. 功能簡介
SoundPool 專為短音頻播放設計,適用于提示音、通知音等低延遲、高頻次播放場景。
2. 交互關系圖

流程說明:
音頻應用將媒體資源傳遞給SoundPool接口。
Player Framework將音頻PCM數據流輸出給Audio Framework,再由Audio Framework輸出給音頻HDI。
(3)AVRecorder:錄制音視頻
1. 功能簡介
AVRecorder 可實現音頻、視頻、音視頻混合錄制,支持自定義編碼格式、封裝格式等參數。
2. 交互關系圖

流程說明:
應用通過AVRecorder接口從錄制服務獲取SurfaceID。
應用將SurfaceID設置給相機服務,相機服務可以通過SurfaceID獲取到Surface。相機服務通過視頻HDI捕獲圖像數據送至框架層的錄制服務。
相機服務通過Surface將視頻數據傳遞給錄制服務。
錄制服務將音頻參數設置給音頻服務,并從音頻服務獲取到音頻數據。
錄制服務通過編碼服務將音視頻數據編碼。
(4)AVScreenCapture:屏幕錄制
1. 功能簡介
AVScreenCapture 支持屏幕錄制功能,分為錄屏存文件和錄屏取碼流兩種模式。
2. 交互關系圖

流程說明:
應用通過AVScreenCapture發起錄屏。
錄屏服務通過圖形服務獲取屏幕數據。
錄屏服務將音頻參數設置給音頻服務,并從音頻服務獲取到音頻數據。
錄屏服務通過編碼服務將音視頻數據編碼。
(5)AVMetadataExtractor:獲取音視頻元數據/縮略圖
1. 功能簡介
AVMetadataExtractor 用于從音視頻資源中提取元數據,如標題、藝術家、專輯、時長等信息,從視頻中提取指定時間點的畫面,生成縮略圖。
2. 交互關系圖

流程說明:
應用通過AVMetadataExtractor接口去獲取元數據(如標題、藝術家等)/縮略圖。
調用解封裝/解碼能力獲取相應數據。
(5)AVMetadataExtractor:獲取音視頻元數據/縮略圖
1. 功能簡介
AVTranscoder主要用于將已壓縮編碼的視頻文件按照指定參數轉換為另一種格式的視頻。
2. 交互關系圖

流程說明:
應用通過AVTranscoder接口進行視頻文件的格式轉換。
調用AVCodec的封裝解封裝、編解碼服務,將音視頻數據按照應用配置的新參數進行重新編碼封裝。
四、結語
Media Kit 提供了一整套音視頻開發工具鏈,無論你是開發音樂播放器、視頻播放器、錄音應用,還是屏幕錄制工具,都能找到合適的組件來實現功能。
如果你希望打造一款高質量、高性能、高兼容性的音視頻應用,Media Kit 就是你不可或缺的開發伙伴。
-
音視頻
+關注
關注
4文章
593瀏覽量
31370 -
HarmonyOS
+關注
關注
80文章
2153瀏覽量
36041
原文標題:【HarmonyOS-媒體技術-Media Kit】音視頻開發全棧解析
文章出處:【微信號:HarmonyOS_Dev,微信公眾號:HarmonyOS開發者】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
語音視頻社交背后技術深度解析
音視頻
音視頻/信號分配器,音視頻/信號分配器是什么意思
企業如何快速構建基于音視頻服務的業務
實時音視頻邁向“普惠化” 助音視頻社交發掘更多可能
華為云音視頻質量監控與優化實踐
如何降低開發門檻助力音視頻創新玩法
如何對鴻蒙生態產品進行音視頻測試
KILOVIEW打造的音視頻全IP化解決方案
CV-CUDA 助力騰訊云音視頻 PaaS 平臺實現視頻增強 AI 全流程 GPU 加速
音視頻開發全棧解析
評論