當前學界和工業界都對多模態大模型研究熱情高漲。去年，谷歌的 Deepmind 發布了多模態視覺語言模型 Flamingo ，它使用單一視覺語言模型處理多項任務，在多模態大模型領域保持較高熱度。Flamingo 具備強大的多模態上下文少樣本學習能力。

Flamingo 走的技術路線是將大語言模型與一個預訓練視覺編碼器結合，并插入可學習的層來捕捉跨模態依賴，其采用圖文對、圖文交錯文檔、視頻文本對組成的多模態數據訓練，在少樣本上下文學習方面表現出強大能力。但是，Flamingo 在訓練時只使用預測下一個文本單詞作為目標，并沒有對視覺部分施加專門的監督信號，直接導致了在推理階段，其只能支持以文本作為輸出的多模態任務，大大限制了模型的能力以及應用場景。

Flamingo 目前并沒有開源，今年 3 月，非盈利機構 LAION 開源了 Flamingo 模型的復現版本 OpenFlamingo。

近日，智源研究院「悟道?視界」研究團隊提出了一種新的多模態大模型訓練范式，發布并開源了首個打通從多模態輸入到多模態輸出的「全能高手」，統一多模態預訓練模型 Emu 。

Emu 模型創造性地建立了統一的多模態預訓練框架，即將圖文對、圖文交錯文檔、視頻、視頻文本對等海量形式各異的多模態數據統一成圖文交錯序列的格式，并在統一的學習目標下進行訓練，即預測序列中的下一個元素 (所有元素，包含文本 token 和圖像 embedding)。此外，Emu 首次提出使用大量采用視頻作為圖文交錯數據源，視頻數據相比于 Common Crawl 上的圖文交錯文檔，視覺信號更加稠密，且圖像與文本之間的關聯也更加緊密，更加適合作為圖文交錯數據去激發模型的多模態上下文學習能力。

論文結果顯示，Emu 超越了此前 DeepMind 的多模態大模型 Flamingo，刷新 8 項性能指標。

除以文本作為輸出的任務指標之外，Emu 模型具有更加通用的功能，能夠同時完成以圖片作為輸出的任務，如文生圖；且具備很多新型能力，如多模態上下文圖像生成。Emu 的能力覆蓋圖像與文本的生成及視頻理解。

• 論文鏈接：https://arxiv.org/pdf/2307.05222.pdf

• 模型鏈接：https://github.com/baaivision/Emu

• Demo 鏈接：https://emu.ssi.plus/

作為一種通用界面，Emu 可用于多種視覺、語言應用

超越 Flamingo、Kosmos，8 項基準測試表現優異

在 8 個涵蓋多模態圖像 / 視頻和語言任務的基準測試中，Emu 均有不俗表現，對比來自 DeepMind 的 Flamingo 與來自微軟的 Kosmos 亦有所超越。

Emu 在眾多常用測試基準上表現出極強的零樣本性能，展現了模型在遇到未知任務時強大的泛化能力。其中，Emu 在圖像描述 COCO Caption 的 CIDEr 得分為 112.4，且模型對圖片的描述中包含豐富的世界知識。此外，Emu 在圖像問答 VQAv2 和視頻問答 MSRVTT 數據集上也展現了強勁的視覺問答功能。

同時，Emu 具備強大的少樣本上下文學習能力，即對于給定任務提供幾個示例樣本，模型可以進行上下文學習從而更好地完成任務。Emu 在視覺問答數據集 VQAv2、VizWiz、MSRVTTQA 上的少樣本上下文學習表現突出。

全能高手：在多模態序列中進行「圖文任意模態生成」

Emu 模型能力覆蓋圖像與文本的生成及視頻理解， 相比其他多模態模型更具通用性，能完成任意圖生文以及文生圖的多模態任務。例如，精準圖像認知、少樣本圖文推理、視頻問答、文圖生成、上下文圖像生成、圖像融合、多模態多輪對話等。

Emu 是一個基于 Transformer 的多模態基礎模型，可以接受并處理形式各異的多模態數據，輸出指定的多模態數據。Emu 將圖文對、圖文交錯文檔、視頻、視頻文本對等形式各異的海量多模態數據統一成圖文交錯序列的格式，并在統一的學習目標下進行訓練，即預測序列中的下一個元素 (所有元素，包含文本 token 和圖像 embedding)。訓練完成后，Emu 能對任意形式的多模態上下文序列進行多模態補全，對圖像、文本和視頻等多種模態的數據進行感知、推理和生成。

視頻理解、多模態上下文生成、多模態對話是 Emu 模型的技術亮點。

Emu 模型具有強大的視頻理解能力，如在下圖演示中，針對下面 “視頻中的女主人公在干什么” 這一問題，Emu 模型給出了具有精準事實細節（蘋果 VR 設備）、連貫動作描述（坐在飛機上并使用 VR 設備）、合理行動猜測（可能在看一段視頻或 360 度視角的飛機外景象）的豐富回答。

Emu 不只能理解視頻信息，還能做到對視頻中時序信息的精細理解。例如下圖展示的奶昔制作視頻，Emu 分步且完整地描述了奶昔制作步驟。

Emu 新增了圖像融合能力，可以對輸入的圖像進行創造性地融合，并生成新的圖片。例如下圖最后一行，將兩幅世界名畫作為輸入，Emu 可以生成風格、元素類似的全新畫作：

上下文圖像生成也是一項全新的功能，Emu 可以將輸入的文本 - 圖片對作為 prompt，結合上下文信息進行圖片生成。例如在下圖第一行，輸入兩張圖片，并輸入文本指令讓 Emu 生成以圖 1 的動物為中心，但以圖 2 為風格的圖片。依賴于強大的多模態上下文生成能力，Emu 可以完成相應的指令。下圖的第二行展示了如果在 “文生圖” 時提供了 context，Emu 會結合 context 的風格，生成油畫風格的圖片，而相同的文本在無 context 的情況下進行 “文生圖” 只會生成現實風格的圖片：

圖像生成方面，Emu 可以根據給定的文本生成多幅語義相關的圖像：

Emu 可根據一張或者多張圖或視頻進行問答和多輪對話。如下第一張圖所示，給出一張景點圖并詢問旅游注意事項，Emu 給出了 5 個要點，其中再就第 5 個要點 “ safety equipment” 提問時，Emu 能夠針對這一點進行更加詳細地闡述。最后，Emu 還可以根據圖片作詩。

Emu 還有一項突出的能力是它的世界知識更豐富。如下圖所示，給出兩張動物的圖，詢問這兩張圖的區別，Emu 可以準確描述動物的名稱及分布地：

Emu 模型可以準確識別畫作，例如下圖輸入莫奈的《日出?印象》這幅作品， Emu 不僅準確回答出了作品的名字，描述了畫面信息，還給出了很多背景知識，例如這是著名印象派風格的作品。而 mPLUG-Owl 、LLaVA 并不知道畫作的名稱，只是簡單描述了畫中場景。InstructBLIP 給出了作品名稱和描述，但在背景知識上略遜于 Emu。

再看下圖，給出阿加莎?克里斯蒂的肖像，問題是 “說出這位女性寫的 8 本書并推薦一本給我”，Emu 正確理解了這個問題，識別出作者并列出其 8 個作品，并從中挑選了偉大的代表作推薦。LLaVA 人物識別準確，只部分理解了題意，給出推薦作品，但并沒有給出 8 個代表作。mPLUG-Owl 識別出了人物 ，也是部分理解了問題，只給出了 4 部作品和一句話簡介。InstructBLIP 則給出了一個錯誤答案。

首次大量采用視頻數據，創新性建立統一的多模態學習框架

現有多模態領域的研究工作常將大語言模型與預訓練視覺編碼器連接來構建多模態大模型（LMM）。盡管現有的 LMMs 很有效，但主要以預測下一個文本 token 作為訓練目標，而對視覺模態缺乏監督。這樣的訓練目標也限制了模型在推理應用時只能輸出文本回復，而不具有生成圖片回復的能力。

此外，數據直接影響到模型的搭建，視頻數據愈來愈成為圖像信息時代的主要信息形態。帶有交錯圖像字幕的視頻數據，相比于圖文交錯文檔，天然包含更密集的視覺信號，且與文本編碼有更強的跨模態關聯性。而現有工作主要利用圖像 - 文本對及圖文文檔進行訓練，對視頻數據有所忽略。

如何把海量多模態數據包括視頻數據納入一個更加「統一」的多模態學習框架，從而提升多模態大模型的通用性，智源視覺團隊解決了幾個重要問題：

• 對不同來源的多模態交錯數據進行處理，以自動回歸的方式統一建模。

智源視覺團隊采用的多模態交錯數據具體包括圖像 - 文本對 (LAION-2B、LAION-COCO)、交錯圖像 - 文本數據 (MMC4)、視頻 - 文本對 (Webvid-10M) 和交錯視頻 - 文本數據 (YT-Storyboard-1B），將視覺表征與文本序列共同構成多模態序列，并進行統一的自回歸建模。

Emu 以自動回歸的方式統一了不同模態的建模

• 特別地，Emu 首次采用了海量視頻作為圖文交錯序列數據。

視頻訓練數據源自研究團隊從 YouTube 上收集的 1800 萬個視頻（非原始視頻，故事板圖像）及其相應的字幕，二者結合創造了一個按時間戳順序排序的視頻和文本的自然交錯序列。

交錯的視頻 - 文本數據

• 預測多模態序列的下一個元素。

模型訓練方面，Emu 將自回歸地預測多模態序列中的下一個元素（既包含文本也包含圖像）作為統一的學習目標進行預訓練。在這種不同形式的數據、統一形式的目標下完成訓練后。Emu 便成為了一個 “通才” 模型，可以輕松應對各種多模態任務，包括圖生文以及文生圖。