文章轉發自51CTO【ELT.ZIP】OpenHarmony啃論文俱樂部——一文穿透多媒體過往前沿

上篇回顧

一文穿透多媒體過往前沿上篇無損壓縮，介紹：PNG、GIF、MNG和APNG

1.有損壓縮基本概念

有損壓縮即指原始信息序列中的一些信息丟失的壓縮，這便意味著原始信息一經有損壓縮過程操作后，不能再由生成的序列重新還原而得到。在此之前，多數朋友潛意識里可能會默認有損壓縮的意義是相比無損壓縮，為了實現更好的壓縮比，致使對相同源數據操作后，得到的結果質量相對會更差。其實呢，并非如此——舉個常見的例子：對同一元圖像，對其均按100%質量存儲，得到的jpg格式大小可能是4M左右，而png格式大小卻達到了40M。

那么，jpg相比png少的幾十M大小的數據究竟是什么呢？其中，除舍棄的部分人眼不可察覺的顏色位之外，還包括大多數要還原回元圖像所需的必需數據。因此，信息丟失并不意味著輸出質量降低。但，大多數有損壓縮技術的使用方式高度依賴于被壓縮的媒體，就像音頻的有損壓縮與圖像的有損壓縮十分不同。

多媒體圖像如今已然成為日常生活中不可獲缺的組成部分。圖像中編碼的信息量是相當大的，即便帶寬和存儲能力方面有了長足的進步，但若不對圖像進行壓縮，許多應用的成本仍然會較高。

JPEG（編者注：Joint Photographic Experts Group聯合攝影專家組工作組的縮寫）和相關的MPEG（編者注：Moving Picture Experts Group動畫專家工作組的縮寫）格式是多媒體壓縮的典型范例，它們均在實踐中被廣泛應用，同時也使用了諸如Huffman碼、算術編碼、游程編碼、標量量化等技術。

其中，JPEG用于靜態圖像，在網絡上被作為攝影圖像的標準；MPEG是基于JPEG的一種變體，用于視頻編碼（每一幀都使用JPEG的變體編碼）。二者均為有損格式。

2.有損壓縮的發展進程

2.1 JPEG的發展進程

JPEG在1992年推出以來，一直是世界上使用最為廣泛的圖形壓縮標準。JPEG 壓縮圖像通常以JFIF（編者注：JPEG 文件交換格式JPEG File Interchange Format的縮寫）文件格式存儲。文件擴展名是JPG或JPEG。支持 8 位灰度圖像和 24 位彩色圖像（紅、綠、藍各 8 位）。JPEG 對圖像應用有損壓縮，這可以顯著減小文件大小。應用程序可以確定要應用的壓縮程度，壓縮量會影響結果的視覺質量。如果不是太大，壓縮不會顯著影響或降低圖像質量，但 JPEG 文件在反復編輯和保存時會出現代際退化。

JPEG 2000 (JP2) 是聯合攝影專家組工作組在1997年～2000年間開發的，旨在取代其原始JPEG標準。該標準基于離散余弦變換（DCT），采用新設計的基于離散小波變換(DWT) 的方法。對于符合 ISO / IEC 15444-1 的文件，標準化文件擴展名為.jp2。該標準可適用于帶有Motion JPEG 2000擴展的運動成像視頻壓縮。JPEG 2000 技術在 2004年被選為數字電影的視頻編碼標準。

JPEG XL是一種免版稅的 光柵圖形文件格式，是2017年被JTC1 / SC29 / WG1 (JPEG) 聯合發布的下一代圖像編碼標準。與 JPEG 相比，其壓縮效率顯著提高（提高了 60%）。該標準有望超越HEIC（編者注：High Efficiency Video Coding）、AVIF（編者注：AV1 Image File Format）、WebP和JPEG 2000所顯示的靜止圖像壓縮性能。它還為傳統/傳統 JPEG 格式的圖像提供高效的無損重新壓縮選項。文件格式和核心編碼系統分別于2021年10月13日和2022年3月30日正式標準化。JPEG XL 支持超高分辨率圖像（高達 1 兆像素）、高達 32 位/分量、多達 4099 個分量（包括alpha 透明度）、動畫圖像和嵌入式預覽的有損壓縮和無損壓縮。

2.2視頻編碼發展進程

目前，視頻編碼方式主要分為三大系列：

2.2.1H.26x系列

H.26x系列（由ITU[國際電傳視訊聯盟]主導），包括H.261、H.262、H.263、H.264、H.265、H.266…

格式	細節
H.261	制定于1990年，主要在老的視頻會議和視頻電話產品中使用
H.263	制定于1996年，主要用在視頻會議、視頻電話和網絡視頻上
H.264	制定于2003年，MPEG-4第十部分，或稱AVC(Advanced Video Coding)，被廣泛用于高精度視頻錄制、壓縮及發布
H.265	制定于2013年，High Efficiency Video Coding，簡稱HEVC，支持4K到8K高畫質分辨率，兩倍于H.264的壓縮率
H.266	制定于2020年，Versatile Video Coding，簡稱VVC，主面向4K到8K高畫質分辨率，兩倍于H.265的壓縮率

2.2.2MPEG系列

MPEG系列（由ISO[國際標準組織機構]下屬的MPEG[動態圖像專家組]開發），包括MPEG-1、MPEG-2、MPEG-4、MPEG-7、MPEG-21…

格式	細節
MPEG-1	制定于1992年，是VCD的視頻圖像壓縮標準
MPEG-2	制定于1994年，是DVD/超級VCD的視頻圖像壓縮標準
MPEG-3	由于MPEG－2的出色表現，已能適用于HDTV，使得原本為其設計的MPEG-3，還沒出世便被拋棄了
MPEG-4	制定于1998年，是網絡視頻圖像壓縮標準之一，可使用在網絡傳輸、廣播和媒體存儲，常見的就是MP4

2.2.2其他系列

其他系列，包括AMV、AVS、Bink、CineForm、Cinepak、Dirac、DV、Indeo、Video、Pixlet、RealVideo、RTVideo、SheerVideo、Smacker、Sorenson Video、Theora、VC-1、VP3、VP6、VP7、VP8、VP9、WMV…

3.JPEG 技術介紹

3.1JPEG簡介

JPEG是聯合攝影專家組開發的圖像壓縮標準，目的是在不影響圖像質量的情況下盡可能減少自然的、像照片一樣的真彩圖像（每個像素值都分成R、G、B三個基色分量，每個基色分量直接決定其基色的強度）的文件大小，但它不能很好地處理雙層（黑白）圖像，也不能處理偽彩色圖像（將實際是索引值的每個像素值作為色彩查找表CLUT中相應項的入口地址，再根據該地址查找出實際R、G、B的強度值）。JPEG在“連續色調”圖像上效果最好，若是有許多跳躍的色值則效果不太好。

3.2JPEG基本步驟

若顏色分量是獨立不相關的，便可以獲得最好的壓縮效果。因此，這一步主要是通過線性變換將RGB分量轉換為信息集中分布在亮度而非色度上的YCbCr分量模式。

利用YCbCr的特性，去除一些Cb和Cr元素，即可在這一步取得初步的壓縮效果。如，將RGB為44的格式轉換為YCbCr為42的格式，便獲得了壓縮比為 12/8=1.5 的壓縮效果。這一步，將YCbCr的每個分量轉換成一個領域表示，以便后續操作。JPEG編碼簡單將頻域中的每個分量除以一個常量，經過一番四舍五入。結果是，許多高頻的分量被四舍五入為了零，其余大部分分量則變成了較小的正數或負數，只需要更少的位進行存儲。因此，整個過程中主要的有損操作都在這一步完成。

詳見《輕翻那些永垂不朽的詩篇 第四章 第二代圖片壓縮技術》中相關內容。

1. 顏色空間轉換：

2. 色度采樣（可選）：

3. 離散余弦變換（DCT）：

4. 量化：

5. 熵編碼：

4.MPEG技術介紹

4.1MPEG簡介

MPEG全稱動態圖像專家組。理論上，因為視頻流是離散圖像序列，MPEG則使用這些連續幀之間的特殊或時間關系壓縮視頻流。基于之前許多方法，可見，一種技術越能有效利用一段數據中的某些關系，數據壓縮的效果便越好。

MPEG標準主要有五個，MPEG-1、MPEG-2、MPEG-4、MPEG-7及MPEG-21。其委員會組建于1988年，專門負責為CD制定視頻和音頻標準。第一個公開標準是MPEG-1, ISO/IEC 11172，于 1993 年首次發布。

MPEG算法只對視頻幀序列的新生部分和運動部分的信息進行編碼，如下圖三個序列中的小人便是MPEG編碼壓縮時需要考慮的范疇。

4.2MPEG基本應用

應用	細節
有線、無線電視	一些電視系統通過線路傳送MPEG-II程序
直播衛星	MPEG視頻流由碟形解碼器接收，提取標準NTSC信號數據
媒體金庫	供應商提供的視頻點播系統，單臺設備就能播放20萬個MPEG編碼電影
實時編碼	結合特殊用途的并行硬件，實時編碼器可花費10~30萬元

隨著互聯網的數字視頻消費的持續增長，包括UHD、VR和流媒體等服務，以及社交網絡的視頻分享，電信基礎設施的可用帶寬正在接受挑戰。AV1和H.266是新一代視頻格式，將被廣泛應用從而應對以上問題。

5. AV1技術介紹

5.1AV1簡介

開放媒體聯盟(AOMedia)于2015年成立，作為一個開發開放、免版稅的多媒體交付技術的聯盟。其在2018年發布了第一個視頻壓縮格式AV1，《AV1 Video Codec | Alliance for Open Media》，比其前身VP9的壓縮能力增強了約30%。AV1格式已經得到了許多網絡平臺的支持，包括安卓、Chrome、微軟Edge和火狐，以及多個基于網絡的視頻服務提供商，包括YouTube、Netflix、Vimeo，已經開始大規模推出AV1流媒體服務。

AV1 視頻編碼截至本文目前仍處于起步階段，任何 AMD 和 NVIDIA 消費級 GPU 都沒有硬解 AV1 的能力，除了少數型號外少有支持。但是，目前大多數 GPU 能夠軟解 AV1（ AMD Navi 24 GPU 除外）。

在同樣的視頻質量下，AV1 的視頻碼率是 44.9Mb / s，而 H.264 格式的是 64.7Mb / s，因此它可以節約 30% 的流量 / 比特率，不管對于用戶還是服務供應商來說這都十分劃算。隨著 AV1 編解碼器的日益普及，它將會成為 AVC / HEVC 的免費替代品。有些視頻流媒體服務只要檢測到支持的解碼硬件，例如 Netflix，就會自動為你提供 AV1 流視頻，所以這對于現有流媒體服務來說倒是十分有利。

5.2AV1優點

• 免收專利費
• 與VP9和H.265相比，有著明顯的編碼效率提升

Source: Graphics & Media Lab Video Group, Moscow State University

從圖中可以看到，相較于VP9與H.265，AV1編碼效率有近30%的提升。

5.3AV1編碼質量測試

為了驗證AV1的編碼效果，使用Youtube提供的分別為480p、720p、1080p、4K的VP9編碼格式和480p、720p、1080p的AV1編碼格式視頻樣本進行測試。

由于目前支持硬解AV1編碼的GPU芯片較少，只能依靠軟解，因此在實際測試AV1視頻播放時較為卡頓。

上圖分別取自1080P分辨率下AV1與VP9的表現效果。可以看出，AV1比VP9擁有更好的清晰度。

5.4 結論

對比VP9，AV1擁有更好的編碼效率，其普及對于流視頻具有重要意義，用戶可在帶寬及消耗流量不變的情況下觀看畫面質量更清晰的視頻。

6.H.266

6.1H.266簡介

VCC簡稱 H.266 的通用視頻編碼(Versatile Video Coding，VVC)，由德國弗勞恩霍夫海因里希赫茲研究所（Fraunhofer HHI）于2020年7月正式發布。

該新一代MPEG視頻標準由國際電聯(ITU-T)和國際標準化組織(ISO)聯合開發，過去三年，包括蘋果、愛立信、英特爾、華為、微軟、高通、索尼等在內的企業，一直在努力推動這項新技術的發展。

與簡稱 H.265 的高效視頻編碼（High Efficiency Video Coding, HEVC）前身一樣，H.266有望將視頻文件的比特率和大小降低 50% 左右，同時不會在視覺保真度上產生明顯的差異，主要面向4K、8K服務。簡單來說，基于H.265編碼的一段90分鐘UHD 4K視頻需要10GB左右，而基于 H.266 則僅需5GB。

6.2與AV1的爭奪戰

隨著全球互聯網視頻需求的增長，MPEG 正在推動 H.266 / VCC 及其它兩個標準的發展。其中 MPEG-5 Part 1又被稱作基礎視頻編碼（Essential Video Coding，EVC），由華為、高通、三星等企業牽頭制定；Part 2又被稱作低復雜度增強視頻編碼（LCEVC）。在2020年5月，EVC 編碼標準正式被提升為最終國際標準（FDIS）狀態。

因此，MPEG 的此番發力，與免專利費的 AV1 開放標準所帶來的強大競爭有直接關系。

英國廣播公司（BBC）研發部門去年進行的初步測試顯示，VVC 的成績很是鼓舞人心，因為新標準較 HEVC 和 AV1 節省了大量的比特率，尤其是在 4K UHD 文件的支持上。

<本文完>

技術DNA

智慧場景

參考文獻

https://www.researchgate.net/publication/270408593_A_Survey_of_Data_Compression_Algorithms_and_their_Applications

https://ieeexplore.ieee.org/document/9363937/citations

http://www.researchgate.net/publication/348023353_An_Overview_of_Dedicated_Hardware_Designs_for_State-of-the-Art_AV1_and_H266VVC_Video_Codecs

https://zhuanlan.zhihu.com/p/86890266

https://www.eet-china.com/news/202008181407.html

https://blog.csdn.net/lxc1014/article/details/45666281

http://www.zlib.net/

https://tinypng.com/

1. Hosseini M . A Survey of Data Compression Algorithms and their Applications[C]// Applications of Advanced Algorithms. 2012.

2. Han J , Li B , Mukherjee D , et al. A Technical Overview of AV1[J]. Proceedings of the IEEE, 2021, PP(99):1-28.
3. Saldanha M , Correa M , Correa G , et al. An Overview of Dedicated Hardware Designs for State-of-the-Art AV1 and H.266/VVC Video Codecs[C]// 2020 27th IEEE International Conference on Electronics, Circuits and Systems (ICECS). IEEE, 2020.
4. AV1編碼質量初探
5. H.266/VCC編碼標準發布，4K/8K視頻大小減半清晰度不變
6. 視頻格式與編碼壓縮標準 mpeg4，H.264.H.265 有什么關系？
7. zlib Home Site
8. TinyPNG – Compress WebP, PNG and JPEG images intelligently

ELT.ZIP是誰？

ELT<=>Elite(精英)，.ZIP為壓縮格式，ELT.ZIP即壓縮精英。

成員：

上海工程技術大學大二在校生閆旭

合肥師范學院大二在校生楚一凡

清華大學大二在校生趙宏博

成都信息工程大學大一在校生高云帆

黑龍江大學大一在校生高鴻萱

山東大學大三在校生張智騰

ELT.ZIP是來自6個地方的同學，在OpenHarmony成長計劃啃論文俱樂部里，與來自華為、軟通動力、潤和軟件、拓維信息、深開鴻等公司的高手一起，學習、研究、切磋操作系統技術...

寫在最后

OpenHarmony 成長計劃—“啃論文俱樂部”（以下簡稱“啃論文俱樂部”）是在 2022年 1 月 11 日的一次日常活動中誕生的。截至 3 月 31 日，啃論文俱樂部已有 87 名師生和企業導師參與，目前共有十二個技術方向并行探索，每個方向都有專業的技術老師帶領同學們通過啃綜述論文制定技術地圖，按“降龍十八掌”的學習方法編排技術開發內容，并通過專業推廣培養高校開發者成為軟件技術學術級人才。

啃論文俱樂部的宗旨是希望同學們在開源活動中得到軟件技術能力提升、得到技術寫作能力提升、得到講解技術能力提升。大學一年級新生〇門檻參與，已有俱樂部來自多所高校的大一同學寫出高居榜首的技術文章。

如今，搜索“啃論文”，人們不禁想到、而且看到的都是我們——OpenHarmony 成長計劃—“啃論文俱樂部”的產出。

OpenHarmony開源與開發者成長計劃—“啃論文俱樂部”學習資料合集

1）入門資料：啃論文可以有怎樣的體驗

https://docs.qq.com/slide/DY0RXWElBTVlHaXhi?u=4e311e072cbf4f93968e09c44294987d

2）操作辦法：怎么從啃論文到開源提交以及深度技術文章輸出https://docs.qq.com/slide/DY05kbGtsYVFmcUhU

3）企業/學校/老師/學生為什么要參與 & 啃論文俱樂部的運營辦法https://docs.qq.com/slide/DY2JkS2ZEb2FWckhq

4）往期啃論文俱樂部同學分享會精彩回顧：

同學分享會No1.成長計劃啃論文分享會紀要（2022/02/18）https://docs.qq.com/doc/DY2RZZmVNU2hTQlFY

同學分享會No.2 成長計劃啃論文分享會紀要（2022/03/11）https://docs.qq.com/doc/DUkJ5c2NRd2FRZkhF

同學們分享會No.3 成長計劃啃論文分享會紀要（2022/03/25）

https://docs.qq.com/doc/DUm5pUEF3ck1VcG92?u=4e311e072cbf4f93968e09c44294987d

現在，你是不是也熱血沸騰，摩拳擦掌地準備加入這個俱樂部呢？當然歡迎啦！啃論文俱樂部向任何對開源技術感興趣的大學生開發者敞開大門。

掃碼添加 OpenHarmony 高校小助手，加入“啃論文俱樂部”微信群

后續，我們會在服務中心公眾號陸續分享一些 OpenHarmony 開源與開發者成長計劃—“啃論文俱樂部”學習心得體會和總結資料。記得呼朋引伴來看哦。