
當我們談論視頻技術時,超高清視頻(Ultra High Definition,簡稱UHD)無疑是當今最令人興奮的領域之一。上期,我們介紹了一下高動態范圍(HDR)當下復雜的標準狀況,以及這些標準之間的差異性。本期專門談一談HDR發展面臨適配性、流程復雜、兩極化三大問題。
關聯回顧
全圖說電視的發展歷史
全圖說視頻編解碼的發展歷史
由淺入深說高清——聊聊高動態范圍(HDR)
由淺入深說高清——HDR的標準之爭
上篇我們介紹了HDR有并存的多種格式標準,標準之間的兼容性較差,不能覆蓋主流終端的適配、認證以及測試過程,導致終端呈現效果差異明顯,用戶難以獲得一致的視覺體驗,這給產業生態帶來了挑戰和難題。當內容創建者以一種格式創建 HDR 內容但與特定設備不兼容時,就會出現兼容性問題。例如,如果用戶有一臺支持HDR Vivid的高清電視,但 HDR 內容是 HDR10 格式,電視將無法以最佳質量顯示內容。同樣,如果用戶擁有 HDR10 電視,但內容是HDR Vivid格式,電視將無法以最佳質量顯示內容。兼容性問題的處理策略
為了解決兼容性問題,有幾個處理策略:
1. 轉換內容:一種選擇是將內容轉換為兼容格式。有多種軟件程序可以將 HDR 內容從一種格式轉換為另一種格式。但是,這可能會導致質量下降,尤其是在從更高級的格式轉換為不太高級的格式時。 2. 使用兼容設備:另一種選擇是使用支持多種 HDR 格式的設備。例如,一些電視同時支持 HDR10 和 HDR Vivid 格式,允許用戶播放任一格式的內容。這消除了轉換內容的需要,并確保內容以最佳質量顯示。 3. 選擇通用格式:選擇像HLG這樣的通用格式也有助于處理兼容性問題。HLG 兼容 HDR 和非 HDR 設備,因此內容創作者可以創建這種格式的內容并確保它可以在任何設備上播放。 4. 認證測試:認證和測試對于確保設備與 HDR 標準兼容至關重要。制造商的目標應該是讓他們的設備獲得UWD、 UHD 聯盟等組織的認證,聯盟為 HDR 內容和設備制定了兼容性標準。此外,制造商應進行嚴格的測試,以確保其設備兼容多種 HDR 格式,并能夠以最佳質量顯示 HDR 內容。視頻全生命周期HDR兼容性考慮但以上還只是泛泛談了一下HDR兼容性問題的應對策略,一個視頻全生命周期,將經歷:拍攝、編輯、色彩分級、母版制作、傳播/傳輸、終端播放多個過程,每個過程都少不了處理HDR兼容性問題。所以如果任何一種HDR格式,要真正普及,就一定是端到端的解決方案。

HDR拍攝制作的工作流程示例-
視頻捕捉(Video Capture):HDR 制作的視頻捕捉階段涉及使用能夠捕捉比標準攝像機更廣泛的亮度級別和顏色的攝像機來捕捉素材。這可以包括具有高動態范圍傳感器的相機,它可以捕捉圖像高光和陰影中的更多細節,以及具有寬色域的相機,它可以捕捉更廣泛的顏色。一些相機還支持更高的幀速率,這對于創建流暢的慢動作鏡頭很有用。使用曝光范圍有限(稱為低動態范圍 (LDR))的非 HDR 相機拍攝的圖像可能會導致高光或陰影中的細節丟失。盡管配備自動多重曝光的相機可以改善這一過程。現代CMOS 圖像傳感器具有改進的動態范圍,通常可以在單次曝光中捕獲更廣泛的色調,從而減少執行多次曝光 HDR 的需要。一些智能手機為其相機提供 HDR 模式,大多數移動平臺都有提供多重曝光 HDR 拍照的應用程序。現代手機和相機上的一些傳感器甚至可以在芯片上組合兩個圖像,這樣用戶就可以直接獲得更寬的動態范圍,而無需進行像素內壓縮,以進行顯示或處理。2020 年,高通發布了驍龍 888,這是一款移動SoC,能夠進行 4K 計算式多重曝光 HDR 視頻捕捉,并以與HDR 顯示器兼容的格式進行錄制。2021 年,小米 11 至尊紀念版智能手機能夠為視頻拍攝進行計算性多重曝光 HDR。

3.顏色分級(Color Grading):顏色分級是調整素材的顏色和亮度級別以獲得所需外觀的過程。這可能涉及調整鏡頭的曝光、對比度、飽和度和色調,以及應用濾色器和其他效果。對于 HDR 內容,顏色分級尤為重要,因為更廣泛的亮度級別和顏色范圍會使獲得一致的外觀更具挑戰性。在顏色分級過程中,重要的是使用色調映射工具來調整素材的亮度級別,以確保它在不同的 HDR 顯示器上呈現最佳效果。色調映射有助于確保 HDR 內容在具有不同峰值亮度水平(例如 1000 尼特、4000 尼特或 10000 尼特)的顯示器上正確顯示。
4.母版制作(Mastering):顏色分級完成后,需要對素材進行母版處理,以便以各種 HDR 格式交付。母版處理涉及以所需格式創建視頻的最終版本,其中可能包括調整亮度和顏色級別以匹配目標顯示器。在母版制作過程中,確保視頻與目標格式兼容并且在 HDR 顯示器上呈現最佳效果非常重要。HDR 元數據用于向 HDR 顯示器提供有關內容的顏色和亮度級別的信息。確保 HDR 元數據在母版制作過程中正確編碼到內容中非常重要,因為這會影響內容在不同 HDR 顯示器上的顯示方式。

5. 編解碼存儲和傳輸(Codec):不同的視頻編解碼器以不同的方式支持 HDR,有些編解碼器比其他編解碼器更適合處理 HDR 內容。高效視頻編碼 (HEVC) 編解碼器,也稱為 H.265,是比 H.264 更先進的編解碼器,支持比以前的編解碼器更廣泛的位深度和色彩空間,具有更高的壓縮效率,這使其非常適合處理 HDR 內容。HEVC 還包括對 HDR 元數據的支持,這使得視頻可以在 HDR 顯示器上正確顯示。H.266,也稱為通用視頻編碼 (VVC),是一種較新的視頻編解碼器,提供比 HEVC 更高效的壓縮。它還支持更廣泛的位深度和色彩空間,這使其非常適合處理 HDR 內容。與 HEVC 一樣,H.266 包括對 HDR 元數據的支持。但是,特定編解碼器對 HDR 的支持也取決于用于播放內容的軟件和硬件。后面我們會單獨再展開談一下視頻編解碼的故事。
6. 終端播放(Terminal Display):硬件終端的HDR的能力是關鍵,當然,播放軟件也很重要,任何一個環節處理不當,都會讓HDR的效果大打折扣。為了獲得最佳的 HDR 體驗,使用專為處理 HDR 內容而設計的顯示器非常重要。這些顯示器通常被標記為“支持 HDR”,并且峰值亮度水平至少為 1000 尼特。使用具有準確色彩表現的顯示器也很重要,尤其是當您在專業環境中處理 HDR 內容時。覆蓋寬色域的顯示器,例如 P3 或 Rec.2020 ,將能夠顯示比色域更窄的顯示器更多的顏色。為確保 HDR 內容在特定設備上正確顯示,設備支持內容使用的 HDR 元數據非常重要。此元數據提供有關內容的顏色和亮度級別的信息,并允許設備相應地調整其顯示設置。最后,正確校準顯示器以確保它以正確的亮度級別顯示 HDR 內容非常重要。這可能涉及調整背光級別、對比度和亮度等設置以獲得最佳圖像。顯示器還需要配備HLG和PQ伽馬曲線,用于支持HDR視頻。HDR Vivid的端到端處理方案
接下來,我們針對HDR Vivid來談一下如何做到完善的端到端標準。

HDR Vivid端到端解決方案工作流程圖
為了保證最優的顯示效果,準確地把握每一個環節的要點與要求,HDR Vivid 構筑了端到端解決方案。首先,源端輸入為PQ/HLG 格式的HDR 視頻;前處理模塊可以基于HDR 視頻進行分析,生成靜態元數據與動態元數據;編碼傳輸模塊可以將HDR 視頻與元數據進行編碼封裝,輸出HDR Vivid 碼流;解碼模塊可以對碼流進行解碼分析,得到HDR解碼視頻與元數據;HDR 和SDR 顯示模塊會結合元數據與目標顯示終端參數,對HDR視頻進行相應的顯示適配處理,并在顯示終端上正確顯示。下面將分別介紹HDR Vivid內容制作端與終端處理方案。
1. 內容制作端方案
1.1 后期制作方案:HDR Vivid 精品內容需要通過后期制作來實現。目前HDR Vivid 技術已經集成于多種后期制作工具中,專業制作者可以在原有熟悉的生產環境下,結合自身對藝術的感知與表達,通過調整HDR Vivid 動態元數據,傳遞出獨有的HDR Vivid 內容風格。HDR Vivid 技術的制作工具是在已有制作端增加少許改動實現的。在制作端不修改已有的PQ(ST2084)和HLG HDR 制作流程,只增加了動態元數據產生環節,提供了自動化動態元數據生成工具和實現個性化創作意圖的手動調節工具,采用符合調色習慣的圖形界面。
1.2 直播方案:目前HDR Vivid 已經支持在直播端的內容生成方案,具體形式為直播編碼器對原始HDR 碼流(PQ/HLG 格式)進行實時分析與動態元數據提取,再將元數據按照HDR Vivid封裝標準要求進行封裝,形成HDR Vivid 碼流后進行后續分發與傳輸。
1.3. 云端轉碼方案:云端智能處理場景是利用云端算力,對HDR Vivid 視頻進行轉碼處理,以及自動化生成HDR Vivid 的重要手段。目前云端已具備帶有將HDR Vivid 元數據進行解析和透傳的能力。云端轉碼的處理流程包括對輸入文件格式的解析、解碼、處理、編碼、輸出文件格式生成等步驟。
端到端的自動化云端HDR 媒資生產過程主要有:
(1)HDR Vivid 元數據修改后直接透傳。先將元數據解析成文本格式(如XML 或者JSON 格式),進一步修改后,再根據標準嵌入到媒體流中。通過元數據的直接透傳,可將原視頻的元數據信息直接寫入轉碼后的視頻,保證原始作者的創作意圖。
(2)非HDR Vivid 視頻轉換后修改再透傳。如果輸入的原始視頻是不帶有HDR Vivid元數據的HDR 視頻,那么可以根據標準自動生成元數據并嵌入視頻流。
(3)對于輸入源視頻為SDR 視頻的情況,可先將SDR 視頻轉換為HDR 視頻,轉換方式可采用傳統逆色調映射(Inverse Tone Mapping)或者基于AI 技術進行轉換,轉換后對原始畫質進行提升重建,然后進行元數據的自動化生成和寫入。
2. 終端處理方案
接收端播放設備在接收到HDR Vivid 碼流后,需要先進行視頻解碼,分析出其中的動態元數據并基于此進行HDR 渲染,最終呈現出高質量的畫面內容。這里的HDR Vivid 碼流可以是經過后期制作的精品內容,也可以是直播場景中的實時碼流等。一般可以將解碼方式分為兩種:硬件解碼和軟件解碼,具體實現方式下面分別說明,解碼播放的基本流程如下圖所示:

2.1 硬件解碼播放
硬件解碼播放是指終端顯示設備利用自身具備的硬件解碼能力,從HDR Vivid 碼流中解析出動態元數據并根據元數據進行動態映射及色彩校正,最終在設備上正確顯示的過程。目前,支持硬件解碼播放HDR Vivid 的設備日趨多元化,包括且不限于相應品牌電視、手機、平板電腦等。即使是尚不具備硬件解碼能力的顯示設備,也可能通過支持軟件解碼播放的APP、播放器等,觀看到HDR Vivid內容。若以上解碼能力皆不具備,終端顯示設備會將元數據丟棄,按原始碼流格式正常播放(HDR10/HLG),這也體現了HDR Vivid 良好的后向兼容性。
2.2 軟件解碼播放
軟件解碼播放是指依靠軟件解碼能力將動態元數據從HDR Vivid 碼流中解析出來,并基于此在終端設備上進行動態映射及色彩校正并正確顯示的過程。目前,應用的具體形式包括且不限于智能手機、平板電腦、智能電視上的APP 以及PC 上的視頻播放器等。由于該方案不受硬件設備支持的限制,一定程度上對大范圍地推廣優質HDR Vivid 內容有著積極的影響,有利于促進HDR Vivid 產業鏈的形成與發展,也可以看作對硬件解碼播放場景一個較好的補充。
HDR Vivid采用動態元數據映射方案,可以根據不同場景的特點,結合終端的最大顯示能力,生成不同的映射曲線,更好地還原創作者的原始意圖。在一般的映射方案中,往往比較容易出現高光區域細節丟失的情況,也稱為過曝現象。HDR Vivid 采用動態元數據,基于對場景的分析,構建映射曲線,高亮部分得以有層次地保留;同時將終端顯示設備的能力納入考量,原始場景會得到最大程度的視覺還原。
若僅僅考慮源中的高亮區域,為了使其正常顯示而將整條映射曲線壓得過低(類似S型曲線),最終顯示設備上的暗部細節將會丟失。HDR Vivid 通過pheonix 分段映射曲線的設計,針對較暗區域可實現不對其亮度進行壓縮(采用直線映射),保留了原有的細節。
當亮度發生變化時,顏色色相往往會發生偏移失真,HDR Vivid 方案在利用映射曲線進行亮度映射后,還會針對色相進行校正與補償,使其更加接近片源的原始風格。 除了上述談到的兼容性問題和流程復雜的問題之外,HDR還面臨另外一個挑戰,就是HDR存在兩極化的問題。HDR Vivid的標準推出,對于中國4K/8K HDR播出標準和制作規范的統一有推動作用,但目前整體視頻行業還是高清以及4K SDR內容,更易于制作普及。而除了4K HDR和HD SDR同播和直播流程,可以采用固定的轉換參數來適配外,追求高品質的HDR及下轉SDR效果,需要經過后期的分別調色來保證在HDR和SDR屏幕上最佳呈現,但這樣也會增加制作的負擔,效率影像以及可能由于多次轉換帶來的風險。另外,由于各電視廠家的不同規格產品存在現實效果(或者優化效果)不一致,也會影響高質量HDR內容最終的呈現效果。 盡管存在上述的種種挑戰,我們也必須樂觀地看到一些好的趨勢和變化:手機HDR拍攝降低了UGC HDR的門檻,HDR向移動端加速滲透。UGC、OTT平臺的HDR內容增長提升了大眾對HDR的認知。以騰訊、愛奇藝、優酷、咪咕等為達標的OTT平臺和以抖音、快速、微博、B站等為代表的UGC平臺在近2年均開始布局HDR技術。百城千屏,醫療,工業等產業互聯網將引入HDR,加速推動HDR的產業普及。預計2023到2025年,HDR將處于加速發展階段。熱播電視劇以及北京冬奧會、世界杯等大型賽事大大拉動大眾對HLR技術對認知。相信,隨著 HDR 技術的不斷發展,制造商和內容創作者一定能夠實現不同 HDR 格式之間的標準化和互操作性。這最終將使消費者受益,因為他們將能夠在任何設備上享受 HDR 內容,而不必擔心兼容性和流程性問題。
今天,我們就先聊到這里,下一期,我們再展開談一下超高清視頻的編解碼技術。
————未完待續————
-
開源技術
+關注
關注
0文章
389瀏覽量
8745 -
OpenHarmony
+關注
關注
33文章
3952瀏覽量
21096
原文標題:河套IT TALK 64:(原創)HDR的適配性與流程化的挑戰
文章出處:【微信號:開源技術服務中心,微信公眾號:共熵服務中心】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
深入剖析ARM64內核關鍵文件:kernel-6.1/arch/arm64/kernel/head.S
CM8024H錄像終端:全場景適配,為廣電高清化智能化轉型賦能
基于Vitis Model Composer完成全流程AI Engine開發
Neway微波產品的國產化替代方案
從設計到落地,音圈執行器如何適配你的自動化需求??
江智原創性老人八大關鍵時光點全覆蓋 康養生態軟件系統
光纖配線架的環境適配性是哪些
電子機械生產ERP適配性如何
PanDao:簡化光學元件制造流程
移動設備中的MDDESD防護挑戰:微型化封裝下的可靠性保障
全鏈路賦能游戲鴻蒙化適配,鴻蒙游戲開發者服務煥新升級
河套IT TALK 64:(原創)HDR的適配性與流程化的挑戰
評論