英特爾研究院宣布與Blockade Labs合作發(fā)布LDM3D(Latent Diffusion Model for 3D)模型,這一全新的擴散模型使用生成式AI創(chuàng)建3D視覺內(nèi)容。LDM3D是業(yè)界領先的利用擴散過程(diffusion process)生成深度圖(depth map)的模型,進而生成逼真的、沉浸式的360度全景圖。LDM3D有望革新內(nèi)容創(chuàng)作、元宇宙應用和數(shù)字體驗,改變包括娛樂、游戲、建筑和設計在內(nèi)的許多行業(yè)。
“
生成式AI技術旨在提高和增強人類創(chuàng)造力,并節(jié)省時間。然而,目前的大部分生成式AI模型僅限于生成2D圖像,僅有少數(shù)幾種可根據(jù)文本提示生成3D圖像。在使用幾乎相同數(shù)量參數(shù)的情況下,不同于現(xiàn)存的潛在擴散模型,LDM3D可以根據(jù)用戶給定的文本提示同時生成圖像和深度圖。與深度估計中的標準后處理方法相比,LDM3D能夠為圖像中的每個像素提供更精準的相對深度,并為開發(fā)者省去了大量用于場景開發(fā)的時間。
--Vasudev Lal
”
封閉的生態(tài)系統(tǒng)限制了規(guī)模。英特爾致力于推動AI的真正普及,通過開放的生態(tài)系統(tǒng)讓更多人從這項技術中受益。計算機視覺領域近年來取得了重大進展,特別是在生成式AI方面。然而,當今許多先進的生成式AI模型只能生成2D圖像。與通常只能根據(jù)文本提示生成2D RGB圖像的現(xiàn)有擴散模型不同,LDM3D可以根據(jù)用戶給定的文本提示同時生成圖像和深度圖。與深度估計(depth estimation)中的標準后處理(post-processing)方法相比,LDM3D在使用與潛在擴散模型Stable Diffusion幾乎相同數(shù)量參數(shù)的情況下,能夠為圖像中的每個像素提供更精準的相對深度(relative depth)。
這項研究有望改變我們與數(shù)字內(nèi)容的互動方式,基于文本提示為用戶提供全新的體驗。LDM3D生成的圖像和深度圖能夠?qū)⒅T如寧靜的熱帶海灘、摩天大樓、科幻宇宙等文本描述轉(zhuǎn)化為細致的360度全景圖。LDM3D捕捉深度信息的能力,可以即時增強整體真實感和沉浸感,使各行各業(yè)的創(chuàng)新應用成為可能,包括娛樂、游戲、室內(nèi)設計、房產(chǎn)銷售,以及虛擬博物館與沉浸式VR體驗等。
6月20日,在IEEE/CVF計算機視覺和模式識別會議(CVPR)的3DMV工作坊上,LDM3D模型獲得了“Best Poster Award”。
LDM3D是在LAION-400M數(shù)據(jù)集包含一萬個樣本的子集上訓練而成的。LAION-400M是一個大型圖文數(shù)據(jù)集,包含超過4億個圖文對。對訓練語料庫進行標注時,研究團隊使用了之前由英特爾研究院開發(fā)的稠密深度估計模型DPT-Large,為圖像中的每個像素提供了高度準確的相對深度。LAION-400M數(shù)據(jù)集是基于研究用途創(chuàng)建而成的,以便廣大研究人員和其它興趣社群能在更大規(guī)模上測試模型訓練。
為了展示LDM3D的潛力,英特爾和Blockade的研究人員開發(fā)了應用程序DepthFusion,通過標準的2D RGB圖像和深度圖創(chuàng)建沉浸式、交互式的360度全景體驗。DepthFusion利用了TouchDesigner,一種基于節(jié)點的可視化編程語言,用于實時互動多媒體內(nèi)容,可將文本提示轉(zhuǎn)化為交互式和沉浸式數(shù)字體驗。LDM3D是能生成RGB圖像及其深度圖的單一模型,因此能夠節(jié)省內(nèi)存占用和降低延遲。
備注:
1 地址:https://huggingface.co/docs/diffusers/main/en/api/pipelines/stable_diffusion/ldm3d_diffusion
2 地址:
https://arxiv.org/abs/2305.10853
-
英特爾
+關注
關注
61文章
10301瀏覽量
180455 -
cpu
+關注
關注
68文章
11279瀏覽量
225000
原文標題:英特爾研究院發(fā)布全新AI擴散模型,可根據(jù)文本提示生成360度全景圖
文章出處:【微信號:英特爾中國,微信公眾號:英特爾中國】歡迎添加關注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
英特爾與華陽通用聯(lián)手推出全新AI Box解決方案
纖納光電獲得2025年度浙江省企業(yè)研究院認定
芯盾時代入選2025年中國網(wǎng)絡安全市場全景圖
硬件與應用同頻共振,英特爾Day 0適配騰訊開源混元大模型
主控CPU全能選手,英特爾至強6助力AI系統(tǒng)高效運轉(zhuǎn)
英特爾發(fā)布邊緣AI控制器與邊緣智算一體機,創(chuàng)造“AI新視界”
英特爾銳炫Pro B系列,邊緣AI的“智能引擎”
直擊Computex 2025:英特爾重磅發(fā)布新一代GPU,圖形和AI性能躍升3.4倍
直擊Computex2025:英特爾重磅發(fā)布新一代GPU,圖形和AI性能躍升3.4倍
英特爾發(fā)布全新GPU,AI和工作站迎來新選擇
從想象到現(xiàn)實,英特爾與MAXHUB帶你走進AI PC新視界
自然語言提示原型在英特爾Vision大會上首次亮相
在英特爾酷睿Ultra AI PC上部署多種圖像生成模型
英特爾借助開放生態(tài)系統(tǒng),加速邊緣AI創(chuàng)新
英特爾研究院發(fā)布全新AI擴散模型,可根據(jù)文本提示生成360度全景圖
評論