各行各業對實時洞察和自主決策的需求日益增加，醫療健康與醫療設備行業也不例外。新一代醫療有望借助實時邊緣 AI，提供更加精準的治療、改善患者的治療效果，并提高運營效率。

例如，未來的手術室將越來越多地使用由 AI 賦能的互聯設備，以便實時訪問和交換完整的患者數據、手術洞察、決策和行動。

在這樣的未來，醫療設備軟件 (SaMD)必須在嚴格的要求下運行。當被部署到分布式醫療健康系統時，它們需要在嚴格的性能和延遲限制下處理海量數據。這就要求在不影響性能和延遲的前提下，通過互通性來確保各類傳感器、顯示器、控制裝置和應用之間高效、可靠、安全的數據連接與交換。

本文將演示如何通過集成 NVIDIA Holoscan 和 RTI Connext，創造出具有高度互通性、低延遲和分布式連接的 AI 醫療設備應用。此集成以最小的開銷實現了這些優勢，并且減少了實施工作量與復雜性。

適用于實時 AI 傳感器

處理的 NVIDIA Holoscan

NVIDIA Holoscan 為開發者提供了一個一站式生產就緒型框架，用于構建從傳感器數據輸入，到加速計算和 AI 推理、實時可視化、執行和數據流輸出的端到端實時 AI 傳感器處理流程。

這一全面的解決方案有效解決了邊緣 AI 開發所面臨的諸多挑戰。Holoscan 在確保最佳應用性能的同時，消除開發的復雜性、縮短產品上市時間，并帶來使用 Python 和 C++ 進行編碼的便利性。所有這一切都在一個低代碼、高性能的基礎架構中實現。簡而言之，Holoscan 是一個以模塊化、可擴展、軟件定義和圍繞 GPU 的方式將高速 I/O 連接到 GPU 的框架。

圖 1. NVIDIA Holoscan 為醫療設備等諸多行業帶來實時 AI

RTI Connext 支持以數據為中心的實時連接

RTI Connext 基于數據分發服務 (DDS) 標準，通過分布式實時軟件通信框架來簡化復雜、可擴展系統之間的連接。借助 Connext，Holoscan 應用只需很少的開銷，就能與分布式數據源和應用集成，同時還能在實現此類醫療健康系統所需的性能、可靠性與安全性的同時，最大程度地減少工程量和復雜性。

Connext 實現了復雜系統組件之間的實時信息交換，并且滿足嚴格的可靠性、網絡安全和性能要求。Connext 提供了一個可在冗余容錯架構中低延遲處理、分析和執行大量實時數據的框架。基于 Connext 構建的醫療系統具有彈性、自形成和自修復功能，沒有單點故障。

大量服務質量調整選項能幫助滿足分布式智能外科系統對實時視頻和相關數據的需求。Connext 還具有自動發現、安全性等功能，并且不會增加大量帶寬開銷。基于成熟 DDS 安全標準的內置網絡安全為身份驗證和加密以及安全日志和精細化訪問控制奠定了基礎，不僅防止關鍵系統出現安全漏洞，而且符合監管機構的網絡安全要求。

圖 2. RTI Connext 以數據為中心的連接支持

圍繞數據流這一最重要的資產設計系統

集成 NVIDIA Holoscan 和 RTI Connext

當今的醫療健康系統建立在大量已安裝傳統系統的基礎之上，這些系統在設計之初并未考慮 AI 功能，而且目前在原生環境中不支持 NVIDIA Holoscan。此外，如今的醫療健康系統和醫療設備需要在傳感器、執行器、控制系統和接口之間建立復雜的連接。

Connext 與 Holoscan 的集成使 Holoscan 開發者能夠將當前安裝的傳統系統轉換為由 AI 賦能的軟件定義設備。具體做法是將 Holoscan 集成到在原生環境中不支持 Holoscan 的設備中作為邊車（輔助計算模塊）。

首先，當前醫療設備中有很大一部分基于 Windows 系統（尤其是在醫療影像領域），而 Windows 系統并不支持 Holoscan。第二，Holoscan 作為邊車，可以為在非 NVIDIA 系統上運行實時操作系統 (RTOS) 的機器人手術系統帶來先進的 AI 功能。第三，可以使用強大的 AI 算法來增強患者監護儀等低端感知醫療設備，但構成傳統系統的硬件或軟件會限制此類新功能的添加。

通過 RTI Connext DDS 實現的 Holoscan DDS 互通性解決了上述三類問題，提供了一個可擴展、由 AI 賦能的 Holoscan 邊車，可與傳統系統進行實時無縫通信。

Holoscan 為基于 GPU 加速的醫療設備軟件 (SaMD)提供了出色的基礎架構，從而能夠在新一代醫療健康系統中創新和部署由 AI 驅動的工作流。這些工作流通常需要在海量數據上運行，并且有非常嚴格的延遲限制。因此，各傳感器、顯示器、控制裝置和 Holoscan 應用之間必須能夠高效、可靠且安全地傳遞數據。

通過使用 RTI Connext，Holoscan 應用能以極小的開銷與分布式醫療健康系統集成，還可以在實現此類系統所需性能、可靠性和安全性的同時，最大程度地減少工程量與復雜性。在已經使用 Connext 的情況下，甚至可以在不修改現有系統的情況下，加入由 Holoscan 驅動的全新 AI 工作流。

與 RTI Connext 集成的 Holoscan 應用示例

本部分將介紹一個應用示例，是一個在充當邊車的專用系統上運行的 Holoscan 應用。該應用使用 RTI Connext 從 DDS 數據總線讀取幀，然后在 Holoscan 工作流中處理幀數據，最后通過 Connext 將結果發布回數據總線，以便其他設備讀取并顯示處理后的幀數據。

該示例改善了醫療健康系統中的一個常見場景，即先由多個傳感器采集數據，然后匯總到單獨的監控系統上顯示。通常只需對現有組件進行少量修改，即可在這種數據流中間添加由 AI 驅動的 Holoscan 工作流，傳感器采集和顯示輸出通常也會使用不支持 Holoscan 的系統完成，Connext 有助于彌補這些差距。

此示例的核心組件是GitHub 上nvidia-holoscan/holohub 提供的 Holoscan DDS 視頻流運算符。這些運算符使 Holoscan 應用能夠從 DDS 數據總線中實時讀寫視頻幀。借助這些運算符，Holoscan 應用可以從數據總線中讀取視頻幀，用作工作流處理的來源，并將處理后的結果寫回數據總線（供其他組件使用）。

此外，以下新應用支持將邊車用例顯示為獨立示例：

dds_video 應用既可用于將視頻幀寫入 DDS 數據總線（從 USB 攝像頭等 V4L2 視頻設備捕獲），也可用于從 DDS 讀取幀，并通過 Holoscan 可視化模塊 Holoviz 將其渲染到顯示器上。

body_pose_estimation 應用已經過修改，使輸入視頻幀可以來自 DDS 數據總線，而輸出視頻幀（包含人體姿態估計疊加層）可以發布回 DDS 數據庫。

將這兩個應用結合在一起后，就可以使用以下三個進程演示邊車數據流：

dds_video 進程從攝像頭傳感器捕捉幀，并將其發布到 DDS。

body_pose_estimation 進程從 DDS 接收輸入的傳感器幀，通過人體姿態估計模型處理幀，然后將圖像上已疊加推理結果的幀輸出到 DDS。

dds_video 進程接收處理過的幀，并將其渲染到顯示器上。

圖 3 顯示了此示例的設置。請注意，這三個進程都可以在任何系統上運行，前提是它們可以在同一個 DDS 域中相互檢測到對方，例如通過支持組播的網絡。

圖 3. 示例應用的數據流，該應用使用 Holoscan 作為邊車，

處理已發布到 DDS 的視頻幀

要在本地運行此示例，請先閱讀 HoloHub DDS 運算符文檔，了解設置 RTI Connext 的依賴項要求。如要了解如何構建和運行應用，參見人體姿態估計文檔中的 DDS 支持部分。

總結

在向 AI 增強型系統和設備過渡的過程中，將 NVIDIA Holoscan 與 RTI Connext 集成，可為醫療設備行業的 Holoscan 開發者帶來諸多優勢，包括以最小的開銷與分布式醫療健康系統無縫集成、使用高級 AI 算法來增強傳統系統等。

如要開始使用，請下載 Holoscan 2.0 并查看 nvidia-holoscan/holohub 上的 Holoscan 和 DDS 集成參考應用。