引言

基礎模型 (Foundation model) 指的是在大量數據上訓練出來的、可以適應一系列下游任務的模型[1]，它被看作是邁向通用人工智能的重要一步。近些年來，隨著CLIP的橫空出世，視覺-文本預訓練 (Vision-Language Pretraining) 及其在各類任務的遷移學習成為了備受關注的研究方向，并被認為是建立視覺基礎模型的一個頗具前景的方向。

根據輸入數據和目標下游任務的不同，現有的VLP方法可以大致分為兩類：圖像-文本預訓練和視頻-文本預訓練。前者從圖像-文本對中學習視覺和語言表征的聯合分布，后者則從視頻-文本對中建立視頻幀和文本之間的語義關聯。然而，當前尚無工作探索將二者統一起來，這篇文章認為這主要因為現有的訓練方式無法發揮圖像-文本預訓練和視頻-文本預訓練之間的互補性，但單純地實現統一而在兩類下游任務上折損性能將是沒有意義的。盡管困難重重，對于基礎模型的追求使得這一問題依舊難以回避。

這促使這篇工作思考并最終提出了一個真正統一的視覺-語言基礎模型OmniVL以同時支持圖像-文本和視頻-文本的預訓練以及相應的下游任務，包括視覺任務（如圖像分類、視頻動作識別）、跨模態對齊任務（如圖像/視頻-文本檢索）以及多模態理解和生成任務（如圖像/視頻問答、字幕自動生成等）。OmniVL第一次探索出了圖像和視頻任務雙向互助的訓練范式，而不是以往的單一方向，即用圖像（圖像-語言）來幫助視頻（視頻-語言）。

方法

OmniVL實現了模態、功能和訓練數據三個維度的統一，本篇對方法的介紹也將圍繞著三個統一進行展開。

統一的模態.OmniVL采用了一個統一的基于Transformer的視覺編碼器來提取視覺表征，其中視頻與圖像輸入共享大部分網絡結構，對于視頻而言，OmniVL采用了3D patching embedding和時間注意力塊[4]。此外，OmniVL額外利用一個文本編碼器來提取語言表征。

統一的功能.OmniVL采用了編碼器-解碼器的結構，并具有兩個視覺引導的解碼器：跨模態對齊解碼器和文本生成解碼器，前者通過視覺-文本匹配（的二分類）損失進行監督以學習視覺和文本模態之間的對齊，后者則通過語言建模（的生成式回歸）損失進行監督以學習從視覺特征中生成文本的能力。這兩個解碼器與上述的兩個編碼器相互配合，賦予了OmniVL“理解“和“生成”的能力。

統一的數據.受到Florence[5]中使用的統一對比學習[6]的啟發，OmniVL統一了圖像-文本和圖像-標簽數據作為預訓練語料庫、并將其進一步擴展到視頻-文本和視頻-標簽數據上。這基于兩個方面的考慮：1）利用盡可能多的有監督（或無監督）的數據來豐富語料庫；2）人工標注的視覺-標簽數據（如ImageNet和Kinetics-400）可以幫助模型學習出更具辨別性的表征，這有助于分類相關的遷移學習任務，而從網絡爬取的視覺-語言數據 (如CC12M和WebVid) 涵蓋更廣泛的視覺概念，這有助于跨模態任務。這種簡單的擴展可以幫助OmniVL同時享有兩種優勢。

最后回到了上面提到的最重要的問題：如何實現圖像-文本和視頻-文本學習的相互促進。前文提到，現有工作往往只是單獨利用圖像-文本或者視頻-文本進行預訓練（如下圖2-3行），因此在另一類任務上的表現往往差強人意（多數情況被直接忽略）。尤其是如果只在視頻-文本上預訓練的話，受限于有限的數據規模、以及視頻數據本身的復雜性，在對應的視頻任務上表現也很糟糕。為了解決這一問題，一些工作如FiT[7]提出了將圖像看作單幀視頻、從而利用其和視頻數據進行聯合訓練（如下圖第4行），這一做法相較單純地利用視頻數據有顯著提升，但是直接從零學習圖像和視頻的表征以及跨模態的對齊顯然頗具挑戰性，這為網絡的學習和收斂增加了困難。Pretrain-then-finetuning是視覺領域一個常用的做法，它指的是首先在標準的圖像數據集上訓練骨干網絡如ResNet，然后將其在下游任務包括視頻動作識別上進行微調，這一方法在各類任務上都取得了顯著的成功。借鑒于此，一種簡單的做法是首先在圖像-文本上進行第一階段的預訓練、然后在視頻-文本上進行第二階段的預訓練（如下圖第5行）。這一做法是很有競爭力的一個baseline，但是在一方面在圖像任務上的性能有所下降、另一方面在視頻任務上的表現還不夠驚艷。

為了更加充分地利用圖像-文本和視頻-文本數據的互補性、進一步提升在不同下游任務上的表現，OmniVL提出了一個解藕的聯合訓練方式，即首先在圖像-文本上進行預訓練、然后結合視頻-文本進行聯合預訓練（如上圖第6行），這不僅可以防止對圖像表征的遺忘、甚至可以在二者對應的任務上繼續提高性能。這篇工作認為這是由于第一階段網絡可以專注在學習空間表征和其與文本模態的對齊上、第二階段則可以增益性地學習運動表征和跨模態的關系建模，這不僅使學習從空間維度到時間維度更加高效，而且還能使不同源的數據之間形成互補。

實驗

視覺任務

文章首先采用經典的圖像分類 (linear probing) 和視頻動作識別任務 (finetuning) 作為基準評估了視覺編碼器在視覺任務上的表現。

遵從CLIP的實現，OmniVL凍結了視覺編碼器的參數并對新附加的線性層進行微調。在6個圖像分類數據集上，OmniVL相比于大多數baseline取得了一致更好的結果。與CLIP和FLAVA (70M) 相比，雖然使用明顯更少預訓練數據，OmniVL仍然取得了總體上有競爭力的結果。

對于視頻動作識別，文章在兩個規模較小的數據集UCF101和HMDB51上評估了linear probing的結果，并在兩個規模較大的數據集Kinetics-400和Something-something V2上評估了微調的結果，實驗表明OmniVL都顯著地超越了baseline。

跨模態對齊任務

接下來文章探究了OmniVL在圖像-文本檢索和文本到視頻檢索任務上的表現。值得一提的是，為了平衡推理效率和多模態信息的深度融合，OmniVL首先根據單模態編碼器得到視覺和文本embedding的相似度得分選擇Top-K（默認為K=128）候選者，然后利用跨模態對齊解碼器計算其成對的匹配得分對候選者重新排序，這種雙階段匹配的方式進一步體現了該架構的優越性。

從上圖可以看出，無論是在圖像-文本檢索還是文本到視頻檢索上，OmniVL都在不同數據集上取得了目前最佳的性能。尤其是在文本到視頻檢索任務上，得益于所提出的解藕聯合預訓練方法，OmniVL顯著地超越了現有方法。

多模態理解和生成任務

以視覺為基礎的跨模態對齊解碼器和文本生成解碼器使OmniVL具備了多模態理解和生成的能力，在這一部分中，文章評估了它在字幕生成和圖像/視頻問題回答上的表現。

在這類任務上，OmniVL同樣取得了最好的結果。

總結和未來工作

這篇工作提出了OmniVL，一個全新的視覺-語言基礎模型，它將圖像-語言和視頻-語言統一起來，并同時支持視覺任務、跨模態對齊任務以及多模態的理解和生成任務。OmniVL采用了統一的視覺-語言對比損失，這讓其能夠同時利用圖像-文本、圖像-標簽、視頻-文本和視頻-標簽數據進行預訓練。另外，文章中提出了一個解耦地聯合訓練范式，將視覺-語言建模解耦為空間和時間兩個維度，從而同時提高了在圖像和視頻任務的性能。

在這篇工作僅僅在CC12M和WebVid-2.5M這類相對小規模的數據上進行預訓練，隨著LAION、WebVid-10M的問世，可以在更大規模的數據上訓練更大的模型，以探索具有更強零樣本、小樣本能力的模型。另外一個值得探索的方向是結合更豐富的有標簽數據和更優的監督目標，使得模型可以支持細粒度的任務如物體檢測、追蹤等，從而朝著通用的統一模型更上一層臺階。

審核編輯 ：李倩