作為實現智能制造、工業4.0、工業互聯網和智能城市的一種技術和手段，數字孿生（Digital twin）正迅速引起學術界和工業界的關注并被逐漸應用。數字孿生是以數字化的方式建立多空間尺度、多時間尺度、多物理實體的多維動態虛擬模型來仿真真實環境中的屬性、行為和性能等。目前，基礎的數字孿生模型通常為最初定義的三維模型，即物理實體、虛擬實體以及它們之間的聯系。隨著物聯網、大數據、人工智能等新信息技術的發展，數字孿生在向著基于物聯網的集成、虛擬實體與實體的互聯等方向發展。通過大數據分析方法和人工智能的深入結合，融合多源異構數據，支持虛擬數據與真實數據的連接，數字孿生模型可以提供智能決策。這一進展為實時仿真和優化創造了可能，從而提供了按需智能服務。

本研究旨在結合人工智能中的視覺問答技術，將數字孿生模型應用于人機協作任務上。如圖1所示，用于人機協作的數字孿生模型由五部分組成：物理系統、虛擬系統、服務系統、數據庫和各部分間的交互。物理系統中包括每個物理實體，人類和機器是重要的組成部分，此外，還考慮了加工的產品、加工設備、周圍環境信息等。速度、能量、溫度、濕度、壓力等數據可直接由傳感器從材料、設備和環境中采集，人類的行為、狀態、意圖則以攝像、語音或計算及外部輸入設備等方式進行獲取。上述數字信息共同構成了人機協作的數字孿生模型中的虛擬系統。然后，在服務系統中，應用人工智能技術，對系統中的視覺信息、自然語言信息和傳感器信息進行綜合分析、建模、表征和預測，其結果進一步補充至虛擬系統。最后，虛擬系統對現實世界中的人類、機器進行反饋，從而形成完整的數字孿生閉環系統。

圖1 數字孿生五維模型示意圖

結合視覺問答技術，現實的物理世界在虛擬系統中進行演化，其演化結果進一步反饋并影響現實世界，過程如圖2所示。舉例來說，如果采用新的策略對生產線進行改造，則可以首先在數字孿生系統中對生產過程進行仿真。用數字孿生模型模擬人類、機器及其相互作用。例如，如果將產品的尺寸改為較小的尺寸，則可能會調整相機的位置、傳感器參數以獲得清晰的圖像和數據。同時，模型的結構和參數也可能需要調整。如果在數字孿生模型中新的策略得到成功的測試，那么就可以在實際的生產環境中進行部署。

圖2 人機協作（HMC）流程示意圖