青色木偶科技 Cyanpuppets致力于 AI 圖像算法技術和實時渲染平臺工具，是一家以卷積神經網絡和深度神經網絡算法為核心，打造自研 AI 模型架構、實現虛擬與現實世界驅動協作的 AIGC 技術公司。其自研 CYAN.AI 平臺結合 NVIDIA GPU?算力，實現了 2D 視頻生成 3D 動作數據，具備三維空間自由人體運動，能夠為全球用戶提供 AI 無穿戴動作捕捉技術、虛擬社交全身互動技術、3D 動畫制作工具與三維空間預演技術。

數字化身的低成本實時驅動

成為一大挑戰

游戲開發商 Epic Games 的首席執行官 Tim Sweeney曾提到，“元宇宙將是一種前所未有的大規模參與式媒介，所有用戶都可以參與、創造、分享并從中獲利，而用戶的虛擬數字化身（Avatar）可以自由地在不同平臺之間穿梭”。隨著 AI 算力和計算機圖形渲染技術的蓬勃發展，人類對于自由地在不同數字平臺中穿梭，并隨時進入虛擬世界的數字化身 Avatar 提出了更高的要求：如何輕便快捷地讓數字化身真實地表達人類的動作意愿與情感，并將人類的動作實時遷移至虛擬化身上，成為關鍵性挑戰之一，細分為以下幾個具體的問題：

• 復雜的技術流程

  從面部表情、手指動作到肢體動作，每個模塊往往由不同的技術方案構成，數據的同步性與流程的一體化構建面臨巨大的技術投入和人力成本挑戰。

• 高昂的捕捉成本

  體驗與成本不可兼得，市面上效果較為一般的半身視覺動捕無法滿足 Avatar 的技術要求，而較為精準的光學捕捉與慣性捕捉，動輒數十萬的投入又使得 Avatar 成本居高不下。較高的成本讓普通民眾無法參與數字內容體系的建設，也無法享受技術時代帶來的新體驗。

• 割裂的數字孤島

  虛擬化身的骨骼標準難以統一，不同的制作軟件、綁定系統和圖形渲染引擎會形成割裂的多個數字孤島，因此不僅每次虛擬化身穿梭到不同平臺帶來的資產遷移成本很高，而且難以形成一個整體性的虛擬化身世界。

• 糟糕的捕捉體驗

  身上穿戴著復雜且繁重的動作捕捉傳感器，使得數字化身的使用體檢較為糟糕，長時間穿戴帶來的不適感與疲憊感也讓元宇宙成為了難以進入的宇宙。

NVIDIA GPU 助力 Cyanpuppets

打造 AI 驅動模型賦能Avatar發展

基于以上問題，Cyanpuppets 選擇了 NVIDIA 平臺多個產品提供支持，在多張NVIDIA GeForce RTX3080Ti的算力支持下，參考主流 AI 框架 TensorFlow、PyTorch、Caffe 等，對 COCO、ORGBD 等數據集進行長期訓練。硬件終端上采用 ?GeForce RTX 3060?/3070/3080等系列硬件給軟件系統帶來了穩定性保障和流暢體驗感。同時，使用Deep Learning Super Sampling（DLSS）這項 AI 深度學習技術，為用戶提供極致的畫面渲染效果。

在NVIDIA GPU賦能下，CYAN.AI 以 CNN 和 DNN 為底層核心訓練了近萬小時的數據集，在同步的 2D 視頻流中提取人體動作的關鍵特征做人體姿態識別，追蹤人體超過 208 個關鍵點，結合動力學、生物力學生成人體運動的建模算法，一體化完成面部、表情與肢體共 208 點無穿戴、無標記的高精度捕捉。

CYAN.AI 構建了一個全新的骨骼系統，通過合成數據算法對主流的 Unreal Skeleton Asset、Daz、CC、Unity avatar 和 metahuman 的模型骨骼系統進行匹配映射，讓虛擬化身的全身驅動不再是一個個割裂的數字孤島。

在硬件優化環節，通過對 NVIDIA GPU 算力進行分布式的算力調配，僅需成本數百元的 RGB 攝像頭就能獲取視頻流，進行插值異構即可實現更低延遲的數據信息吞吐與數據畫面合成。

結合 NVIDIA GPU 算力支持，算法模型以低至 0.1s 的延遲實現了超低延時的視覺動作捕捉，同時輔助動捕特征平滑算法、圖像識別多目協同算法、空間檢測、定位算法和重定向算法等多種算法，即使在復雜、狹小且充滿干擾物的使用環境中，CYAN.AI 依然可以穩定、高效、高精度地動作捕捉遷移。

“AIGC 行業是當前最受關注的人工智能領域之一，算力與算法帶來的生產力提升，讓每個個體都切實感受到新時代的來臨。傳統的行業紛紛擁抱 AI 生成科技進行產業升級，從文字生成圖片，圖片生成視頻再到視頻生成 3D，這是一個長久進化的趨勢，Cyanpuppets 正處于 2D 生成 3D 的關鍵環節。NVIDIA 提供的 GPU 解決方案，解決了深度學習和機器學習的技術難題，使得我們可以持續不斷地創新算法模型，拓寬應用場景，并通過 CYAN.AI 平臺為全球不同行業、不同場景的用戶搭建虛擬現實協作的橋梁、虛擬化身的實時驅動方案。” 青色木偶科技 Cyanpuppets CEO 李宗興表示。

NVIDIA 初創加速計劃

青色木偶科技 Cyanpuppets是 NVIDIA 初創加速計劃 (NVIDIA Inception) 會員企業。NVIDIA 初創加速計劃為免費會員制，旨在培養顛覆行業格局的優秀創業公司。該計劃聯合國內外知名的風投機構，創業孵化器，創業加速器，行業合作伙伴以及科技創業媒體等，打造創業加速生態系統。能夠提供產品折扣，技術支持，市場宣傳，融資對接，業務推薦等一系列服務，加速創業公司的發展。

想獲得 NVIDIA 初創加速生態助力？掃描下方二維碼，僅需一分鐘填寫意向申請表單，獲得快速聯系。