ESP-RTC

樂鑫科技推出 ESP-RTC (Real-Time Communication) 音視頻通信方案，能夠實現穩定流暢、超低延時的語音和視頻實時通信。

ESP-RTC 以樂鑫 ESP32-S3-Korvo-2 多媒體開發板為核心。ESP32-S3-Korvo-2 搭載 ESP32-S3 AI SoC，擁有雙麥克風陣列，支持近/遠場語音喚醒和語音識別。它還集成了攝像頭、Micro SD 卡、LCD 等外設，支持基于 MJPEG 視頻流的處理，為用戶構建低成本、低功耗、可聯網的音視頻產品提供了理想的開發原型。

ESP32-S3-Korvo-2 多媒體開發板

ESP-RTC 方案參考硬件框架

ESP-RTC 方案基于樂鑫自研的 SIP（Session Initialization Protocol，會話初始協議）協議棧，實現了實時的音視頻通信。協議棧包含傳輸層、事務層和會話層，其信令交互模塊支持 UDP、TCP 和 TLS 三種方式，媒體傳輸模塊支持 RTP (UDP)、RTCP、SRTP、TURN 等 NAT 透傳協議。值得一提的是，ESP-RTC 方案還在傳輸模塊中增加了弱網對抗算法，如 Jitter Buffer 和 PLC，有效解決了丟包、抖動、擁塞、延時等問題，能夠充分保證音視頻通信的流暢性與實時性。

ESP-RTC 方案也支持 RTSP（Real Time Streaming Protocol，實時流協議）協議棧，其媒體傳輸模塊同時支持 RTP/UDP 和 RTP over TCP。ESP-RTC 方案既可以作為 RTSP 服務器，支持使用 VLC/FFMPEG/PotPlayer/KmPlayer 等播放器進行點播；也可以作為 RTSP 客戶端，支持對 EasyDarwin 等開源服務器進行直播推流和拉流播放。

ESP-RTC 基于樂鑫自研的音頻 3A 算法(AEC 聲學回聲消除、ANS 背景噪聲抑制、AGC 音頻自動增益)，降低了通話中的噪音和回聲，使語音對講保持高質量穩定。它還采用樂鑫芯片級編解碼算法，為用戶提供了清晰畫質的視頻通話體驗。結合樂鑫 AI SoC ESP32-S3，ESP-RTC 可借助其出色的 AI 運算能力，實現高性能語音喚醒與識別、圖像識別等應用，廣泛適用于智能音箱、可視對講門鈴、智能家居控制面板、寵物監控、車載行車記錄儀、兒童玩具等場景。

ESP-RTC 方案支持 FreeSWITCH、FreePBX 等開源服務器，也可接入成熟的 SFU 云端服務器，實現多人同屏音視頻通話。用戶借助樂鑫開源物聯網開發框架 ESP-IDF 和音頻開發框架 ESP-ADF，即可快速搭建音視頻通信相關應用。

如果您想了解更多關于樂鑫 ESP-RTC 實時音視頻通信方案的信息，或尋求商業項目合作，請聯系我們的客戶支持團隊。您也可以前往樂鑫官?淘寶店鋪購買 ESP32-S3-Korvo-2 開發板，構建自己的音視頻通話應用。