“千里眼”“順風耳”沒那么簡單，Mediawin背后解決了哪些技術難題

　　音視頻傳輸延遲嚴重不同步：迪韻科技首席技術官彭遠疆說道：“由于網(wǎng)絡環(huán)境的影響，音視頻數(shù)據(jù)包在網(wǎng)絡上傳輸會面臨各種挑戰(zhàn)。首先，一般實時音視頻流采用UDP傳輸協(xié)議，容易發(fā)生丟包的情況，導致接收端花屏和語音失真。其次，每一個數(shù)據(jù)包從發(fā)出到被接收的時間都是不一樣的，所以需要在接收端引入緩存機制。不過緩存越長，抗網(wǎng)絡抖動的效果自然越好，但是附加延時也會越大，采集端和接收端的時間差越明顯，在需要音視頻互動的場景中體驗效果非常差。最后，由于網(wǎng)絡帶寬的限制，丟包率和卡頓概率都會急劇提高。”

　　迪韻科技首席技術官彭遠疆

　　網(wǎng)絡傳輸算法是“殺手锏”：Mediawin平臺在RTP/RTCP傳輸協(xié)議的基礎上，建立了適合智能設備的流媒體網(wǎng)絡傳輸算法模型，通過對每一幀的發(fā)射/接收時間進行統(tǒng)計分析，實時估算出當前網(wǎng)絡的延時、丟包、帶寬等數(shù)據(jù)，并通過實時調整編碼碼率、緩沖長度、重傳策略等，確保在各種復雜網(wǎng)絡環(huán)境下的均能保持良好的音視頻傳輸質量。另外，由于采用了國際標準的SIP/ONVIF接入?yún)f(xié)議和TLS/SRTP安全協(xié)議，Mediawin平臺不僅能接入各類音視頻硬件，同時也為最終用戶提供了金融級的安全保障。

　　音視頻處理效果差，產品體驗不佳：由于受到周圍自然環(huán)境的影響，比如強光背景、低亮度環(huán)境、汽車噪聲、聲音反射等，硬件設備端采集到音視頻流需要經過復雜的算法處理，才可能擁有較好的畫質和音效。彭遠疆表示：“音頻前端如回聲和混響消除、噪聲抑制、拾音音量自動調節(jié)等算法均是難點。如若涉及多人視頻，還需要解決多人語音的混音、視頻混屏和切換的問題，并且需要保障音頻和視頻的時間差低于300ms，否則就會出現(xiàn)唇音不同步的現(xiàn)象。”

　　設備+云聯(lián)動音視頻算法“殺手锏”：深度優(yōu)化了底層的音視頻算法，比如音頻回聲消除、噪聲抑制、視頻降噪、白平衡控制、曝光控制等，在提升效果的同時還能夠適應各種不同的軟硬件平臺。

　　不過，在音視頻處理的過程中，不可能將所有的算法都放在設備端，而應該根據(jù)實際應用情況，合理的分布在設備端和云端。彭遠疆表示：“Mediawin的音視頻云平臺采用了大規(guī)模的分布式網(wǎng)絡技術，可支持多人實時在線的大容量并發(fā)和拓展，集成降噪、混音、混屏、轉碼、人臉識別等各種音視頻處理算法，同時接入第三方功能，擴充語音識別、語義理解、人工智能等服務。”

　　未來展望

　　彭遠疆表示，基于在音視頻方案和技術上的積累，Mediawin平臺不斷拓展垂直生態(tài)的第三方合作伙伴，開放API接口接入更多的應用算法（如摔倒檢測、手勢識別等），打造更加龐大的物聯(lián)網(wǎng)音視頻應用平臺。同時“眼睛”和“耳朵”作為物聯(lián)網(wǎng)的一部分，需要融合到其他行業(yè)生態(tài)中，Mediawin平臺希望橫向對接其他的專業(yè)領域云平臺，如智慧家庭、智能家居、智能醫(yī)療等。