在創建顯著改善手術工作流的系統和應用時，圖像引導手術和手術視覺領域的開發者面臨著特殊的挑戰，包括如何有效組合術前 3D 患者圖像、術中視頻等多模態圖像數據。這是在微創或機器人輔助手術中為外科醫生提供準確實時指導的關鍵所在。

本文將帶您了解最先進的 AI 和成像技術的應用，并重點介紹 ImFusion 與NVIDIA Holoscan的集成如何實現實時傳感器處理、AI 和 I/O。本文還將探討 NVIDIA Holoscan 如何使我們能夠將流程性能提高一倍，并解釋兩種成像模態的結合如何幫助提高手術準確性、減少并發癥和改善療效。

整合多模態手術數據所面臨的挑戰

在微創或機器人圖像輔助手術中，準確的導航和對患者解剖結構的詳細了解對于手術的成功至關重要。

在術前規劃中，外科醫生通常需要依靠多模態成像技術（包括計算機斷層掃描（CT）等 3D 診斷成像模態）來識別異常、指定目標區域，并精確定位血管等關鍵結構。

但如何在實時手術過程中將這些術前 3D 圖像數據集與術中視頻無縫整合仍是一項重大的挑戰，因為外科醫生在手術過程中往往無法充分利用這些寶貴的術前數據。

下一代醫療設備能夠在手術室中提供手術指導，前提是具有使用術前和術中多模態數據的應用。這些應用必須同時執行多個計算密集型流程與以下功能：

實時追蹤解剖結構：在手術過程中準確監測目標組織和器官的表面。

融合術前和術中數據：將 3D 術前圖像與實時手術視頻無縫融合。

提供低延遲的可視化圖：在手術過程中提供融合的多模態信息，并將端到端延遲控制在 100 毫秒以內，從而實現充分的手眼協調和實時決策。

為此，需要以特殊的方式將 AI、加速計算和先進的可視化功能結合到一起。

NVIDIA Holoscan 是一個針對特定領域的計算平臺，它所提供的全棧加速基礎設施能夠在臨床邊緣對流數據進行可擴展、軟件定義的實時處理。該平臺包含一個參考應用庫，可幫助開發者快速構建和優化部署到生產中的 AI 應用。

NVIDIA 合作伙伴為 Holoscan AI 傳感器處理社區提供此庫以共享應用程序，用戶可以反復使用和貢獻組件與示例應用、推動創新，并加快先進醫療設備的開發。

融合術前數據和實時數據

的實時 3D 手術指導

總部位于慕尼黑的 ImFusion 是 NVIDIA Connect 計劃成員。為了打破實時數據的局限性，該公司使用 NVIDIA Holoscan 開發了一種能夠將術前數據與實時術中成像相集成的系統。

3D 網格是一種數字模型，能夠準確描繪出結構的形狀和輪廓。該新型系統以 3D 網格的形式追蹤目標解剖結構的表面，并將其平滑地融合到外科醫生的視圖中。網格從術前 CT 掃描中提取，然后被近乎實時地疊加到腹腔鏡攝像頭的實時視頻上。

這樣一來，外科醫生就能直觀地看到融合的術中和術前病人信息，并做出更加明智的實時決策。

使用 NVIDIA Holoscan 和 NVIDIA IGX

實現實時手術數據融合

ImFusion 的解決方案基于其自主開發的 ImFusion SDK 構建，該 SDK 將圖像處理、疊合、分析和可視化算法捆綁在一起。將 NVIDIA Holoscan 集成到 ImFusion SDK 進一步提升了性能、效率和靈活性。

ImFusion 計算機視覺部門主管 Alexander Ladikos 解釋道：“將 Holoscan 集成到 ImFusion SDK 中，幫助我們實現了近乎實時的性能，這對外科手術應用至關重要。它加快了我們的開發進程，為我們節省了時間，使我們能夠在未來的項目中重復使用現有和自定義運算符?！?/p>

這一集成使 ImFusion 能夠構建和運行低延遲的 AI 增強型傳感器流式傳輸應用，為下一代軟件即醫療設備（SaMD）奠定了基礎，使外科醫生能夠同時查看實時和融合的術前數據。

ImFusion 系統的核心是三個關鍵的神經網絡。每個網絡都使用了 Holoscan 加速功能[以及開源參考應用庫]：

立體深度估算：該神經網絡使用在合成數據上訓練而成的先進 CNN 模型，從內窺鏡立體視頻幀中生成深度信息。憑借其實時處理能力，Holoscan 能夠從視頻流中即時估算深度，提供手術指導所需的重要空間信息。

光流估算：該神經網絡計算幀間的 2D 像素位移，可確保在各種手術場景中保持穩定的性能。Holoscan 支持 2D 光流快速估算，該光流隨后被投影到 3D 空間，增強了系統追蹤手術區域內移動情況的能力。

分割：該深度學習分割模型由總部位于比利時的全球領先機器人手術訓練機構 ORSI Academy 開發。該模型可識別手術器械和目標組織，這對于精確的追蹤和疊加至關重要。Holoscan 能夠快速分析已分割組織區域的 3D 血流估算值，使系統可以實時、精確地識別和追蹤特定的解剖結構與器械。

圖 1. 三個模型對深度、光流和

目標組織的分割進行估算

在這三個神經網絡的基礎上，ImFusion 系統實現了驚人的實時性能。

來自術前 CT 的表面網格與底層解剖結構手動疊合，然后就能在整個手術過程中自動追蹤。通過使用搭載NVIDIA GPU的NVIDIA IGX開發者套件，該系統實現了約 13.5 赫茲的幀速率中值和低于 75 毫秒的端到端延遲。

雖然這一延遲將繼續得到優化，但它已經帶來了性能的大幅提升：Holoscan 數據流基準測試顯示，與之前的硬件配置和NVIDIA TensorRT AI模型推理優化前相比，端到端延遲減少了 50%。

改進手術導航并加速開發

這一高性能使外科醫生能夠獲得即時視覺反饋，并且提供了前所未有的手術場景視圖，因此對于實時手術應用至關重要。

歐洲最大的機器人手術訓練中心 ORSI Academy 與 NVIDIA 和 ImFusion 一同指導了開發工作，并加強其臨床實用性，對這一進步做出了貢獻。

領導 Orsi Innotech（ORSI Academy 的外科手術 AI 部門）的工程師兼外科住院醫師 Pieter De Backer 博士表示：“將實時視頻與疊加的 3D 網格投影無縫融合，能夠提高外科醫生在微創或機器人輔助手術中的復雜解剖結構導航能力。例如在高難度的腎臟手術病例中，如果能夠實現內生腫瘤表面網格的實時可視化，就可以更加清楚地標明腫瘤的邊界，并最大程度地減少對健康組織的損傷?！?/p>

為實現低延遲任務和 AI 推理工作負載而集成的 Holoscan-SDK 加速了 AI 增強型 SaMD 的開發。它與 ImFusion-SDK 等特定領域框架的兼容性創造了一個強大的開發環境，既縮短了開發時間，又降低了成本。

生態協作與開源貢獻

ImFusion 與 NVIDIA Holoscan 的合作正在提升微創手術和機器人輔助手術的技術水平，通過將 AI、加速計算與特定領域相結合，提高手術的精準度、效果和安全性。ImFusion 在醫療技術行業的客戶可以集成 ImFusion 對 Holoscan 參考應用所作出的貢獻，并在此基礎上進行構建。ImFusion 的多模態數據融合應用也即將推出。