現有的大多數人工智能模型和方法仍屬于窄人工智能，也被稱為弱人工智能（weak artificial intelligence）。相對而言，強人工智能（strong artificial intelligence）期望機器能像人一樣思考、推理，能處理各種任務，比肩人類的智能水平（human-like or human-level intelligence）。與強人工智能相比，現有通用人工智能更加強調機器的“泛 化”能力，包括場景泛化（即模型從單一場景泛化 至多個場景）、模態泛化（即一個模型適用于多種 模態的任務）、任務泛化（即一個模型可以處理多種類型的任務）等。

通用人工智能目前仍然處于發展初期，是對現有窄/弱人工智能的反思、補充和改進，也是通往強人工智能道路上的重要路線。通用人工智能所研究的是一個智能系統應該具備哪些能力，并且運用這些能力解決各式各樣的復雜問題。

通用人工智能的多模態通用技術

現實生活中，人類接收的信息模態多種多樣，如視覺、聲音、文字、嗅覺、觸覺等。人類可以綜合運用多種模態的信息對事物進行理解和推理。多模態學習是通用智能需要解決的關鍵問題之一，其任務可以歸結為兩個基本類：多模態表征學習和模態轉換。需要指出的是，這兩個問題并非不相關，比如表征可以用來做模態轉換。下面介紹幾種典型的多模態學習任務。

多模態表征學習和融合

多模態表征學習指的是學習包含多個模態的樣本表征，比如視頻里可能包含的視覺信息、聲音信息等，使得表征能夠反映所包含的多個模態信息，以幫助理解識別等任務。最直接的方法是分別處理各個模態，得到每個模態的表征，再將其直接拼接起來作為最后的表征；也可以最終只產生一個表征，把不同模態的表征融合成一個表征；也可以繼續把融合的表征做進一步處理，以生成更強的表征；還可以在產生表征的過程中，不停地進行模態之間的信息交互或者融合，以增強每個模態的表征。

多模態協同學習

多模態協同學習指的是利用模態之間的關聯，借助其他一個或者多個模態，來幫助某一模態或者多個模態建模和學習。模態之間的關聯信息非常常見，比如人在說話的時候，既有聲音模態，也有視覺（唇語）模態，如人臉表情或者行為動作；比如互聯網上的圖片，通常有文件名等；比如在視頻中，視頻幀可能有相應的聲音（語音或者音樂），也可能有文字腳本。人類對單一模態的理解，也是通過聯合其他模態信息進行分析的。多模態協同學習的要領在于把關聯轉換成合適的約束，以及從各個模態獲取合適的信息形成約束。例如圖像和文本（比如圖像及其文件名）有一一對應關系。

借助于物體的屬性描述來幫助圖像識別建模，在某種意義上也是多模態協同學習。例如，對狗的識別，我們都清楚地了解狗是由哪些部分組成的，具有怎樣的屬性特征，比如它有4條腿、尾巴、毛發等。但是在目前主流的物體識別中，這種信息沒有被加進去，“狗”只是作為一個標簽。而人類從圖像里識別狗的時候，頭腦中有很多狗的圖像認知信息，同時也從別的渠道獲得狗的其他知識，如組成方式等。所以，建模時需要把關于狗的額外知識信息加進去，來提升建模識別性能，也會提升模型的魯棒性。

多模態統一表征學習

多模態統一表征學習指的是把不同模態映射到 同一個特征空間，使得不同模態在這個特征空間里可以直接比較（比如歐氏距離），比較的時候不用 區分特征來自什么模態。多模態任務可以是把一幅圖片轉變成一段文字或者一首詩，或者將文字轉化成一幅圖像；以及在文字、圖片或者視頻搜索中，如果圖像和文本的特征都轉換到同一個空間中，那我們就可以進行統一的搜索，而不再區分不同的模態。

人類具有在不同模態之間快速映射的能力，比如看到一個場景，我們的頭腦會快速“搜索”到應景的一首歌、一段文字或者一首詩。多模態統一表示是模擬人類這個能力的一種實現方法。多模態統一表征問題的主要研究點在于如何定義關系保持和尋找合適的映射，以及對大規模數據和實際問題的探索。目前已經有了實際系統的探索，如“小冰寫詩”。

責任編輯：YYX