技術和算法的開發和精進讓AI換臉、AI克隆都成了可實現的事情。近日,上海科技大學團隊的一項新研究,再一擴展了這一領域,其開發建立了人體圖像合成——人體圖像合成的目的是制作可信和逼真的人類圖像,包括運動模擬、外觀傳遞和新視圖合成等。
這意味著,模型一旦經過訓練,就可以用來處理所有這些任務。只要一張照片、一段視頻,就能讓特朗普跟著明星偶像“唱、跳、Rap”。
研究團隊先是采集了30個研究對象的數據,他們的體型、身高各不相同。每個研究對象穿著不同的衣服,完成一套指定動作和一套隨機動作。基于此,建立了一個具有多種樣式、不同人物穿不同衣服的數據集,稱為Impersonator(iPER)數據集。
隨后,研究人員使用三維人體網格恢復模塊,以分離姿勢和形狀。值得一提的是,現有任務特定方法主要利用二維關鍵點、對人體結構進行估計。但是,它們只表示位置信息沒有能力描述人的個性化形狀和肢體旋轉模型。
而三維人體網格不僅可以對關節的位置和旋轉進行建模,還可以對關節的位置和旋轉進行建模描述個性化的體型。
為了保存源信息,如紋理、樣式、顏色和人臉標識,研究人員還提出了一種注意型液化GAN。比如,通過降噪卷積自動編碼器提取特朗普的身體特征,然后經過GAN不斷地訓練學習、微調、監督、轉化,將低分辨率的模型轉變成高分辨率的模型,使輸出來的視頻圖像清晰。
人體圖像合成一經開發,將在角色動畫、角色再現、虛擬服裝試穿、電影或游戲制作等方面展示其巨大的潛在應用前景。當然,技術的使用永遠需要合理的規制,“以假亂真”一旦泛濫,將對市場造成難以恢復的危害。
責任編輯:PSY
-
人體
+關注
關注
0文章
11瀏覽量
11584 -
圖像
+關注
關注
2文章
1096瀏覽量
42329 -
AI
+關注
關注
91文章
39793瀏覽量
301407 -
合成
+關注
關注
0文章
16瀏覽量
13930
發布評論請先 登錄
圖像采集卡:連接設備與數據的圖像樞紐
數字圖像采集的核心載體——圖像采集卡技術白皮書
EspeedGrab圖像采集軟件介紹(Cameralink轉USB采集)
圖像采集卡:機器視覺時代的圖像數據核心樞紐
圖像采集卡:機器視覺與專業成像的關鍵橋梁
HarmonyOS應用圖像stride處理方案
利用NVIDIA 3D引導生成式AI Blueprint控制圖像生成
基于LockAI視覺識別模塊:C++使用圖像的統計信息
技術分享 | 高逼真合成數據助力智駕“看得更準、學得更快”
基于RV1126開發板實現自學習圖像分類方案
如何使用離線工具od SPSDK生成完整圖像?
特力康輸電線路圖像監控裝置的主要功能
人體圖像合成制作可信和逼真的人類圖像
評論