自從2018年谷歌發布BERT之后

到ChatGPT在火爆全球

大模型的超強能力以及背后的吸金屬性

吸引著無數廠商對其趨之若鶩

紛紛投入到煉大模型的熱潮中去

這大模型不僅是越來越大

模態還越“堆”越多

多模態大模型到底是個啥？

講到這里，我們先來說說

多模態大模型中的

這個“多模態”到底是個啥

多模態的概念源于德國生理學家

赫爾姆霍茨提出的“感覺道”

加被稱為“感覺通道”

主要探討了人類在感知和認知過程中

多種感官的相互作用和協同工作

如視覺、聽覺、觸覺、味覺和嗅覺等

在人工智能領域

多模態意味著算法可以處理不止一個模態的數據

可以在文本、圖像、音頻等

多種類型的數據中理解、轉譯、生成

有效提高大模型處理多種信息的

準確性和魯棒性

比如多模態大模型

理解文字和圖片兩種模態的數據

就能以文生圖，讓畫手直面職業危機

理解音頻、視頻、圖片多種形態的數據

在生成工業質檢模型時

就能實現視頻分析、圖片分析

甚至音頻分析等多樣化的選擇

自從OpenAI發布多模態大模型GPT-4后

全球各大廠商便又開始朝著“好事多模”進發

這模態越“堆”越多

前一段時間還出現了

六模態大模型和全模態大模型……

“堆模態”是喜還是憂？

看著大家爭相發布多模態大模型

突然就有一個問題：

大模型的模態越多就真的越好嗎？

答案卻是……不一定。

舉個例子，如果你要建造一棟房子

你會選擇使用多少種不同的材料呢？

顯然，選擇過多的材料會導致

建筑成本增加、建設時間、精力增加等問題

而多模態大模型的模態過多

也會導致一些問題的出現，比如：

1.多模態不等于湊模態

如今廠商們都在爭先恐后的發布

自家的多模態大模型

其中當然有許多精品

但也不乏粗制濫造的水貨

比如在自然語言處理中

增加一個文字轉換語音的功能

就生成自己家練出了多模態

2.多模態=高成本

算力資源是各大公司進入煉大模型的入場券

數據更熟訓練大模型的關鍵

模態越多大模型

訓練所需要的算力就越多

數據量也就越豐富

如果公司一味要求模態的豐富

最終很可能導致大模型模態多而不精

反而得不償失

3.多模態不等于好落地

上文也提到了

多模態大模型在處理復雜的應用場景時

可能更加有效

然而不同的應用場景對模態的需求是不同的

例如，在自然語言處理領域

對于一些特定任務

如情感分析或文本分類

使用單一的文本模態可能已經足夠

而不需要額外的圖像或音頻模態

“貪多嚼不爛”這句俗語

如今也可以用在煉大模型上

廠家們在決定“堆模態”前

不妨先考慮一下

落地場景、數據質量、算力資源等綜合因素

適當選擇模型結構

切記模型雖好，但不能貪多哦！

審核編輯 黃宇