一句話總結

本綜述全面回顧了生成模型的歷史、基本模型組件、AIGC從單模態交互和多模態交互的最新進展，以及模態之間的交叉應用，最后討論了AIGC中存在的開放問題和未來挑戰。

摘要

最近，ChatGPT 與 DALL-E-2 和 Codex 一起受到了社會的廣泛關注。因此，許多人對相關資源產生了興趣，并試圖揭開其出色表現背后的背景和秘密。

實際上，ChatGPT 和其他生成式人工智能 (GAI) 技術屬于人工智能生成內容 (AIGC) 的范疇，涉及通過人工智能模型創建數字內容，例如圖像、音樂和自然語言。

AIGC 的目標是使內容創建過程更加高效和易于訪問，從而能夠以更快的速度制作高質量的內容。

AIGC是通過從人類提供的指令中提取和理解意圖信息，并根據其知識和意圖信息生成內容來實現的。

近年來，大型模型在 AIGC 中變得越來越重要，因為它們提供了更好的意圖提取，從而改進了生成結果。

隨著數據的增長和模型的規模，模型可以學習的分布變得更加全面和接近現實，從而導致更真實和高質量的內容生成。

本調查全面回顧了生成模型的歷史、基本組件、AIGC 從單模態交互和多模態交互的最新進展。我們從單峰性的角度介紹了文本和圖像的生成任務和相關模型。我們從多模態的角度來介紹上述模態之間的交叉應用。最后，我們討論了 AIGC 中存在的開放性問題和未來的挑戰。

論文：A Comprehensive Survey of AI-Generated Content (AIGC): A History of Generative AI from GAN to ChatGPT
鏈接：https://arxiv.org/pdf/2303.04226v1.pdf
單位：CMU & Lehigh University

貢獻

一共有三點貢獻：

據我們所知，我們是第一個為 AIGC 和 AI 增強生成過程提供正式定義和全面調研的人。

我們回顧了AIGC 的歷史和基礎技術，并從單模態生成和多模態生成的角度對GAI 任務和模型的最新進展進行了全面分析。

我們討論了AIGC 面臨的主要挑戰和AIGC 未來的研究趨勢。

總體看

圖像生成中的 AIGC 示例。向 OpenAI DALL-E-2 模型給出文本指令，它根據指令生成兩張圖像：

AIGC整體圖。一般來說，GAI模型可以分為兩類：單峰模型和多峰模型。單模態模型從與生成的內容模態相同的模態接收指令，而多模態模型接受跨模態指令并產生不同模態的結果：

生成AI在CV、NLP和VL領域的歷史：

單模態

預訓練大語言模型的大體類型：

模型大小、訓練速度在不同模型和計算設備的統計數據：

InstructGPT的架構：

視覺分類的模型分類：

視覺生成模型的基本框架：

多模態

兩種視覺語言編碼類型：

兩種解碼類型：

DALL-E-2模型結構：

KG-文本的生成模型的一種方法DUALENC：

跨模態文本分子生成模型MoMu：

當前研究領域、應用與相關公司的關系圖，其中深藍色圓圈代表研究領域，淺藍色圓圈代表應用，綠色圓圈代表公司：

應用

生成AI模型應用：

AIGC的效率

prompt learning的通常流程：

審核編輯 ：李倩