国产精品久久久aaaa,日日干夜夜操天天插,亚洲乱熟女香蕉一区二区三区少妇,99精品国产高清一区二区三区,国产成人精品一区二区色戒,久久久国产精品成人免费,亚洲精品毛片久久久久,99久久婷婷国产综合精品电影,国产一区二区三区任你鲁

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

從Satin到Lyra為什么微軟、谷歌都盯向音頻編解碼器?

LiveVideoStack ? 來源:LiveVideoStack ? 作者:LiveVideoStack ? 2021-05-24 15:36 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

回顧今年的2月份,可以說是音頻編解碼器最為熱鬧的一個月。先是微軟宣布推出最新款由AI支持的音頻編解碼器——Satin。僅一周后,谷歌推出了用于語音壓縮的新型超低比特率音頻編解碼器——Lyra,并且Android版本已開源。在此,也非常感謝來自國內音頻領域的知名業內人士對本文發表評論及審校。

不難發現,硅谷大佬們對音頻編解碼器的深度研發進度已提上日程,對未來可應用的場景讓人們充滿期待。值得注意的是這兩款音頻編解碼器都是基于AI的語音編碼,但它們又有各自不同的特點。

Satin:用于實時通信的AI音頻編解碼器 作為一款由人工智能驅動的音頻編解碼器,Satin可以在網速6kbps時提供超寬頻段的語音,17kbps時提供全頻段的立體聲音樂,網速越高,質量越高。

Satin旨在高丟包率下也提供良好的音頻質量。此外,在冗余算法的改進下,可以應對突發丟包情況,提供更好的保護。以下是經過改進的彈性算法和Satin編解碼器的最終效果: SILK@6kbps,突發數據包丟失(附加6kbps的冗余) Satin@6kbps,突發數據包丟失,改進的冗余算法(附加6kbps的冗余)

相對于Silk推出的超寬帶語音,12kHz的頻率,以24kHz的采樣率(在人類聲音超過12kHz的頻率時,能量會迅速下降);Satin重新定義了超寬帶,以覆蓋16kHz的頻率,采樣率在32kHz,以提供更高的清晰度和穩定性,而其高效的壓縮功能則可以實現6 kbps的超寬帶語音。

4f0e8eb2-bc62-11eb-bf61-12bb97331649.png

/ t /一詞在“ suit”一詞中的頻率分量。除了4 kHz的窄帶截止甚至8 kHz的寬帶截止以外,還有大量的能量。將能量保留在較高的頻譜分量中會導致聲音聽起來更加自然。 以下分別為在6kbps下,Silk窄帶和Satin超寬帶的音頻示例(建議使用耳機試聽): 為了保證在6kbps超寬帶下的語音質量,Satin使用對語音產生、建模和心理聲學的深度理解來提取和編碼信號的稀疏表達。

為了進一步降低所需的比特率,Satin只在較低的頻帶中編碼和傳輸某些參數。在解碼器上,Satin使用深層神經網絡從接收到的低頻帶參數以及通過導線發送的最少量輔助信息中估計高頻帶參數。 雖然這種方法解決了在超低比特率下對使用超寬帶語音的最大挑戰,但也帶來了計算復雜度的新挑戰。對此,微軟將重心放在對算法優化和循環向量化等技術上,使計算復雜度降低40%,并保障能夠在所有用戶的設備上運行。

4f31376e-bc62-11eb-bf61-12bb97331649.png

除此之外,微軟還關注到了關于Satin的丟包數據恢復能力。對此,Satin對每個數據包進行獨立編碼,因此丟失一個數據包的效果不會影響后續數據包的質量。編解碼器還被設計為有助于在內部參數域中隱藏高質量的丟包。這些功能可幫助Satin無縫處理隨機丟失,一次丟失一個或兩個數據包。

目前,Satin已被用于所有Teams和Skype兩方通話,并將很快用于Teams會議。目前,它以6-36 kbps的比特率范圍在寬帶語音模式下運行,并且在不久的將來將擴展為以48 kHz的最大采樣率支持全頻帶立體聲音樂。

Lyra:一款用于語音壓縮的新型超低比特率編解碼器 Lyra是由谷歌團隊研發并已開源了Android版本。它所擁有的能力在于能在3kbps網絡帶寬下為用戶提供自然清晰的語音聊天,以及僅90ms延遲的情況下在從高端云服務器到中端智能手機的任何設備上運行。(有關Lyra的詳細介紹請瀏覽:在3kbps的帶寬下還能清晰地語音聊天?)

對比Satin & Lyra:雖然這兩個音頻編解碼器都能夠在低比特率下進行操作,并通過AI提供動力,但它們有很大的不同。Lyra僅專注于窄帶,而Satin則致力于超寬帶。 另外,國內音頻領域的知名業內人士指出:“在AI Codec領域中,有兩種方式。一種是 end to end 也就是全AI,所以Lyra屬于全AI結構

。而另一種是hybird結構,就是只有部分模塊才使用AI,因此Satin是hybird結構。那么之所以現在才使用AI與音頻編解碼器結合,是因為在相同碼率下,使用AI能夠大幅提升音頻質量。”

相關鏈接: https://mp.weixin.qq.com/s/Y1wceNAuMO7X8Vq3NiJ_GQ https://techcommunity.microsoft.com/t5/microsoft-teams-blog/satin-microsoft-s-latest-ai-powered-audio-codec-for-real-time/ba-p/2141382 https://bloggeek.me/lyra-satin-webrtc-voice-codecs/

編輯:jq

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 寬帶
    +關注

    關注

    4

    文章

    1049

    瀏覽量

    64298
  • 數據
    +關注

    關注

    8

    文章

    7335

    瀏覽量

    94755
  • AI
    AI
    +關注

    關注

    91

    文章

    39755

    瀏覽量

    301363
  • 音頻編解碼器

    關注

    4

    文章

    203

    瀏覽量

    56754

原文標題:從Satin到Lyra 為何微軟、谷歌都盯向音頻編解碼器?

文章出處:【微信號:livevideostack,微信公眾號:LiveVideoStack】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    TLV320AIC2x系列編解碼器:高性能音頻解決方案解析

    TLV320AIC2x系列編解碼器:高性能音頻解決方案解析 在音頻處理領域,編解碼器(CODEC)的性能直接影響著音頻系統的整體表現。TI的
    的頭像 發表于 02-04 11:00 ?227次閱讀

    詳解TI的PCM2901/2903立體聲音頻編解碼器

    詳解TI的PCM2901/2903立體聲音頻編解碼器音頻設備領域,一款性能出色且功能豐富的編解碼器是實現高質量音頻處理的關鍵。今天我們要
    的頭像 發表于 02-04 10:30 ?234次閱讀

    深入解析LM4546B AC '97多通道音頻編解碼器

    深入解析LM4546B AC '97多通道音頻編解碼器 在當今的電子世界中,音頻編解碼器扮演著至關重要的角色,尤其是在PC系統、便攜式設備以及汽車電子等領域。今天,我們要深入探討一款由
    的頭像 發表于 02-03 10:50 ?184次閱讀

    深入剖析LM4549B:高性能音頻編解碼器的技術指南

    深入剖析LM4549B:高性能音頻編解碼器的技術指南 在當今的音頻處理領域,高性能的音頻編解碼器對于實現出色的
    的頭像 發表于 02-03 10:50 ?220次閱讀

    TLV320AIC34音頻編解碼器:低功耗設計與高性能音頻處理的完美結合

    TLV320AIC34音頻編解碼器:低功耗設計與高性能音頻處理的完美結合 在當今的便攜式音頻和通信設備領域,低功耗、高性能的音頻
    的頭像 發表于 02-02 16:30 ?205次閱讀

    探索PCM3168A音頻編解碼器:高性能音頻處理的理想之選

    探索PCM3168A音頻編解碼器:高性能音頻處理的理想之選 在音頻處理領域,一款出色的編解碼器對于實現高質量
    的頭像 發表于 02-02 14:35 ?295次閱讀

    解析PCM5310音頻編解碼器:多功能設計與性能優勢

    解析PCM5310音頻編解碼器:多功能設計與性能優勢 在當今數字化音頻技術飛速發展的時代,音頻編解碼器作為核心組件,對于實現高質量
    的頭像 發表于 02-02 11:45 ?287次閱讀

    TLV320AIC3007:高性能低功耗音頻編解碼器的設計與應用

    TLV320AIC3007:高性能低功耗音頻編解碼器的設計與應用 在當今的電子設備中,音頻功能至關重要,特別是在智能手機、便攜式媒體播放等設備中,對
    的頭像 發表于 02-02 11:30 ?192次閱讀

    TLV320AIC3206:超低功耗立體聲音頻編解碼器的卓越之選

    TLV320AIC3206:超低功耗立體聲音頻編解碼器的卓越之選 在當今的音頻處理領域,低功耗、高性能的音頻編解碼器是眾多便攜式設備和
    的頭像 發表于 01-30 16:00 ?288次閱讀

    探索MAX9860:16位單聲道音頻語音編解碼器的卓越性能與應用

    探索MAX9860:16位單聲道音頻語音編解碼器的卓越性能與應用 在當今的音頻設備領域,低功耗、高性能的音頻編解碼器需求日益增長。Maxim
    的頭像 發表于 01-28 16:10 ?152次閱讀

    德州儀器PCM2904/PCM2906立體聲音頻編解碼器:特性、應用與設計指南

    德州儀器PCM2904/PCM2906立體聲音頻編解碼器:特性、應用與設計指南 在當今數字化音頻的時代,高質量的音頻編解碼器對于各種
    的頭像 發表于 12-23 15:05 ?450次閱讀

    TLV320AIC12KIDBTR 低功耗單聲道語音頻編解碼器

    TLV320AIC12KIDBTR低功耗單聲道語音頻編解碼器產品型號:TLV320AIC12KIDBTR產品品牌:TI/德州儀器產品封裝:TSSOP30產品功能:語音頻編解碼器
    的頭像 發表于 12-20 11:30 ?431次閱讀
    TLV320AIC12KIDBTR   低功耗單聲道語<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>

    基于E203 RISC-V的音頻信號處理系統 -CODEC(音頻編解碼器)配置

    CODEC介紹 本設計采用的音頻編解碼器是WM8731,該編解碼器可以通過I2C進行寄存配置,可以調節主從模式、數據位數可設置為16bit、24bit、32bit。可以設置的傳輸模
    發表于 10-28 06:29

    增強T-BOX設計,新唐編解碼器的重要作用

    。 T-BOX音頻架構: T-BOX 音頻架構的主要特點包括: 獨立電源管理系統 雙麥克風音頻處理 編解碼器、D類音頻放大器和車載信
    發表于 09-05 06:26

    如何使用 M487 微控制和外部音頻編解碼器NAU88L25將 AMR 格式的聲音錄制 MicroSD 卡中?

    使用 M487 微控制和外部音頻編解碼器NAU88L25將 AMR 格式的聲音錄制 MicroSD 卡中
    發表于 08-20 06:28