文章：https://lnkd.in/gcwEeKE3

Python 代碼：https://lnkd.in/ggEK6KwU

盡管指令調(diào)整的大型語言模型 （LLM） 在各種 NLP 任務(wù)中表現(xiàn)出卓越的能力，但它們在文本以外的其他數(shù)據(jù)模式上的有效性尚未得到充分研究。在這項工作中，我們提出了 Macaw-LLM，一種新穎的多模式 LLM，它無縫集成了視覺、音頻和文本信息。

Macaw-LLM 由三個主要組件組成：用于編碼多模態(tài)數(shù)據(jù)的模態(tài)模塊、用于利用預(yù)訓(xùn)練 LLM 的認知模塊以及用于協(xié)調(diào)不同表示的對齊模塊。

我們新穎的對齊模塊將多模態(tài)特征無縫地連接到文本特征，簡化了從模態(tài)模塊到認知模塊的適應(yīng)過程。

此外，我們在多輪對話方面構(gòu)建了一個大規(guī)模的多模態(tài)指令數(shù)據(jù)集，包括 69K 圖像實例和 50K 視頻實例。我們已經(jīng)公開了我們的數(shù)據(jù)、代碼和模型，我們希望這可以為多模態(tài) LLM 的未來研究鋪平道路，并擴展 LLM 處理不同數(shù)據(jù)模態(tài)和解決復(fù)雜現(xiàn)實場景的能力。