3 月 19 日，根據官方消息，云從科技基于單幀圖像的 3D 人體重建技術同時在 Human3.6M、Surreal 和 UP-3D 三大數據集上創造了最新的世界紀錄，將原有最低誤差記錄大幅降低 30%。

Human3.6M 數據集上對比

Surreal 數據集上對比

UP-3D 數據集上對比

3D 重建領域通常以誤差（Error）作為衡量算法能力的主要指標，誤差就是生成模型與實際圖像的差別。一般來說，誤差越低，精度越高，意味著技術的性能越好。

云從稱，其 3D 人體重建技術全身精度誤差（Surface Error）在 Surreal 上從 75.4 毫米降低到 52.7 毫米，關節精度誤差（3D Joint Error）從 55.8 毫米降低到 40.1 毫米，Human3.6M 上的關節精度誤差（3D Joint Error）從 59.9 毫米降低到 46.7 毫米，技術的執行速度從之前的上百毫秒降低到僅需 5 毫秒。

與傳統關鍵點檢測、3D 重建的區別是什么？

傳統的人體關鍵點檢測技術往往以 2D 的人體骨骼關節點檢測形式出現，即通過技術預測 RGB 圖像中人體的十幾個關節點的坐標，一方面結果非常稀疏，將人體大為簡化成骨骼的形式，另一方面結果往往只包含二維平面上的坐標預測，不能還原深度信息，因此無法體現縱深的感覺。

而基于單幀圖像的 3D 重建技術不僅能輸出骨骼關節點信息，更能同時預測大量的人體表面關鍵點信息，預測結果更加豐富，而且每個點的坐標都是 3D 的，能夠體現不同軀干的縱深信息。

3D 關鍵點檢測

傳統 3D 重建技術大多需要連續的圖像序列或是多視角的圖像，在硬件設備上一般需要采用雙目攝像機或者結構光攝像機等設備，因此在手機等便攜設備上往往難以實現；另一方面，專用設備還會增加部署成本，增加大規模普及 3D 重建技術的難度。

上述突破是如何實現的？

據悉，該論文對人體具有豐富多樣的姿態和穿著的特點，提出了一套全新的基于人體 3D 縱深預測的 3D 信息表征方式。通過對三原色圖像（RGB，不含深度信息）的分析，預測人體的 3D 形態和姿勢，并用 6 萬多個點完整描繪人體，從而在人體重建技術上取得速度與精度的雙突破，呈現出來的模型更精細，幀率高達到 200fps，原本由于受實時顯示限制而無法實現的應用可以一一實現。

不過，基于單幀圖像的 3D 重建技術對原始圖像的需求放松的同時，對背后的技術提出了更難的挑戰：技術需要從單幀圖像中推理出人體或人臉的 3D 形態，并通過光學透視、陰影疊加等基本光學原則準確預測出各個關鍵點在 3D 空間的位置和朝向，從而得到人體的姿態或表情信息。

可探索的技術應用方向

人體姿態和服飾復雜多樣，精度提升意味著對復雜場景的適應性更好，模型更接近真實的情況。如《阿凡達》、《阿麗塔》、漫威系列等電影中，都需要專用特效設備與面部貼點來完成精細的人像采集，基于單幀圖像的 3D 人體 / 人臉重建技術，意味著可能顛覆電影視頻的拍攝制作，同時降低工業級 3D 動畫合成的門檻。

由于對輸入圖像的要求低，使 3D 重建技術將可以利用普通光學攝像頭作為感知設備。例如，該技術將會使美顏 App 無需結構光攝像頭也能具備高精準度的瘦身與動畫合成功能。

目前，這項技術可通過重要人員影像重建、醫療仿真肢體打印、虛擬試衣、美顏化妝、表情姿態動畫合成等應用場景在大型商場、直播平臺、美顏軟件、影視特效制作等行業普及。