近日，法國Pixee Medical公司的增強現實（AR）膝關節置換術導航系統Knee+獲得了CE認證，這是首個獲批在全膝關節置換術中使用增強現實（AR）的骨科導航系統。與此類似的增強現實技術在手術導航中的應用，正在全球各地蓬勃發展。增強現實輔助手術技術對于術前規劃、術中引導和術后康復都有重要的意義，本文將從基本概念、技術原理、市場情況、主要公司和代表性產品幾個方面進行說明，并對其未來的發展進行探討。

一、基本概念

1、增強現實（AR）

增強現實（AR）是將計算機處理后的虛擬模型圖像疊加到現實場景中，對現實場景進行增強的一種技術。它增強了人對周圍真實世界的感知，并把模擬的場景、物體以及相關提示信息（例如聲音、視頻、圖形或GPS數據）融入現實場景，從而起到增強效果。增強現實（AR）技術的基礎學科是計算機視覺（computer vision）。它使用了顯示器、照相機和傳感器等工具，將數字信息疊加到現實世界中。

2、手術導航系統

手術導航是將病人手術前或手術中的影像資料與病人解剖結構準確對應，在手術中跟蹤器械并將其位置在病人影像上以虛擬探針的形式實時更新顯示的一種技術。手術導航使醫生對器械的位置一目了然，讓手術更快速、更精確、更安全。經過多年的發展，手術導航已成為神經外科治療的標準，在其他領域也逐漸普及。目前在美國手術導航市場上，每年執行的手術達到578，375例，到2025年預計將增長到718，224例。在美國，手術導航最常用在神經外科手術，約占病例總數的43.3％；在歐洲，最常見的是全膝關節置換術（TKA）。

二、技術原理

增強現實手術導航系統包括三個核心：虛擬圖像或環境建模、虛擬環境和現實空間配準和將虛擬環境和真實環境結合起來的顯示技術。

1、虛擬圖像或環境建模

AR系統利用CT或MRI斷層成像中解剖結構之間的顏色或紋理區別以及血管造影，在計算機中完成表面下目標的3D重建。非真實渲染或反轉現實技術可以改善可視化和深度感知。

2、虛擬環境和現實空間配準

配準可以通過多種手段完成，基于幀技術的三維笛卡爾坐標系統（Cartesian system）可以確定成像設備的位置和姿態。

3、將虛擬環境和真實環境結合起來的顯示技術

顯示技術廣義上可以分為頭戴式顯示（HMD）、增強型外部顯視器、增強型光學系統、增強型窗口顯示和圖像投影。運用HMD既可以將虛擬環境覆蓋于用戶視野下的真實世界（光學透視），又可以覆蓋到真實環境的視頻源中（視頻透視）。增強顯示器是簡單的獨立屏幕將虛擬內容顯示在源于真實世界的視頻上。光學增強顯示是指直接增強手術顯微鏡或雙筒觀察鏡的目鏡。窗口增強顯示是將一塊半透明的屏幕直接放置在手術部位上方，允許在現實物體上方屏幕直接顯示虛擬對象。虛擬環境可以用投影機直接投射到患者身上。

三、市場情況

醫療市場的增強現實（AR）應用增長強勁，預計復合年增長率高達33.36％，市場價值從2018年的6.27億美元預計將增長到2024年的34.97億美元。由于AR技術的應用范圍廣泛，從評估手術準備到微創外科手術和康復，正獲得醫生的廣泛關注。此外，根據 Research and Markets的數據，到2025年全球手術影像市場規模預計將達到17億美元，在預測期內以復合年增長率5.4％的速度增長。增強現實（AR）在醫療保健領域的最新作用和整合正在增強外科手術經驗。實時可視化平臺的快速發展也帶來了更好的手術治療。此外，政府資金的增加、運動損傷的患病率的增長以及老年人口的擴大是促使全球外科影像市場增長的因素。基于應用程序，市場細分為神經外科、骨外科和創傷外科、心臟和血管外科、普外科和其他外科。

四、主要公司和代表性產品

1、Pixee Medical公司的Knee+系統

Pixee Medical公司于2017年10月在法國成立，公司目標是利用現有的先進計算機視覺和人工智能技術，創造高性能的計算機輔助手術解決方案，同時在具有挑戰性的衛生系統環境中保持價格低廉。Knee+近期剛剛獲得增強現實膝關節置換術導航的CE認證。這是第一個在全膝關節置換術中使用增強現實（AR）的骨科導航系統。目前正在尋求FDA對該系統的510（k）批準。

Knee+專利技術結合了專有的計算機視覺和深度學習算法，可以與現成的AR眼鏡一起使用，在手術過程中跟蹤儀器和植入物。安裝在智能眼鏡中的導航軟件與配有可在高壓釜中滅菌標記的縮小尺寸MIS儀器結合在一起。大小和韌帶平衡功能可以快速集成到產品中。作為笨重和昂貴的機器人系統的替代品，Knee+使用簡單，經濟有效，不需要術前DICOM或一次性設備。未來的應用可能被引入肩關節和髖關節手術。

2、Augmedics公司的XVision Spine系統

Augmedics是一家致力于開發外科治療技術的公司，成立于2014年。首款產品xvision-spine（XVS）系統是一種增強現實手術導航系統。借助XVS系統，外科醫生可以看到皮膚和組織下手術工具的實時位置和軌跡，并在患者體內導航，從而使手術變得更加輕松，快捷和安全。 XVS使用獲得專利的透視光學器件，以手術精度和出色的深度感知實時將3D圖像以及軸向和矢狀平面投影到外科醫生的視網膜上。

XVS系統包括一個透明的近眼顯示頭戴式耳機，并具有傳統導航系統的所有元素。它實時準確地確定手術工具的位置，并將其疊加在患者的計算機斷層掃描數據上。然后，使用透明的近眼顯示頭戴式耳機將導航數據投影到外科醫生的視網膜上，從而使外科醫生可以同時注視患者并查看導航數據，而無需將眼睛轉移到遠程屏幕上。在芝加哥拉什大學醫學中心進行的一項研究中，發現XVision可將外科醫生的準確性提高到令人印象深刻的98.9％。整個系統的精度約為1.4毫米，達到美國FDA的2毫米以下的要求。

3、VOSTARS視頻光學透視增強現實手術系統

VOSTARS是一項創新行動項目，獲得了“地平線2020計劃”的資助。歐洲科學家開發的增強現實（AR）手術護目鏡能夠一次性看到X射線圖像和所有關鍵數據與解剖結構完美地3D疊加在一起，并同時自由移動。 VOSTARS視頻光學透視增強現實手術系統將在外科醫師的視野內方便地顯示患者的麻醉數據、心率、體溫、血壓和呼吸頻率等。手術準確性將顯著提高，同時減少了手術時間（每三個小時的手術可以節省20分鐘），而且減少了麻醉下的時間以及任何手術所涉及的成本。該項目計劃2022年實現量產。

該系統結合了兩種現有的AR技術：視頻透視（VST）和光學透視（OST）。單獨使用VST和OST都不適合對活病人進行手術。諸如Microsoft Hololens之類的OST系統使用半透明的鏡面，通過將計算機生成的圖像疊加在用戶的視野上，為用戶提供自然環境的直接視圖。諸如Occulus Rift之類的VST系統通過封閉的頭戴式顯示器（HMD）以及立體攝像機和屏幕，將用戶淹沒在虛擬世界中。

4、TrueVision?3D Surgical 系統

TrueVision?3D Surgical 是全球數字3D可視化的領導者，是顯微手術的風向標。TrueVision? 成立于2003年，總部位于美國加利福尼亞州圣巴巴拉，通過自主研發的數字3D可視化平臺，幫助醫生進行顯微手術。公司開發的智能、實時、3D可視化手術和計算機輔助指導平臺已獲得專利。

該系統使外科醫生能以3D方式錄制手術過程并以流媒體方式進行手術視頻直播，使之成為一個全新的教學工具。公司開發的顯微外科手術的3D指導應用，可以提高手術效率和對患者的治療效果。該系統可用于顯微外科、眼科和神經病學，可以與多種應用平臺相整合，在某些平臺還可以與機器人手術相集成。全球上百家主流醫院和機構均在使用該系統。

五、增強現實（AR）手術導航系統未來的發展探討

增強現實在臨床手術中的應用橫跨計算機科學、計算機視覺、傳感器、通信、臨床醫學、人體工程學等諸多學科，技術涉及面極廣。從下面的增強現實（AR）輔助手術路線圖中可以看到： 未來追蹤技術和圖像處理將更偏向以深度學習為代表的智能技術，顯示器和傳感器將更偏向于與人體器官高度關聯的技術，如視網膜顯示器和人機共生技術。

同時增強現實輔助手術的發展也存在挑戰和阻礙，如針對某些顯示技術，將3D虛擬對象顯示成真實世界的圖像時存在挑戰；虛擬環境和真實環境的時間同步是所有AR系統的另一個挑戰，特別是快速透視變化；在手術的過程中，在有些情況下，圖像復合需要專業的計算機團隊來執行；增強現實手術導航系統與相關設備和解決方案之間的兼容性、互操作性有待優化提高；數據隱私問題等。

結語

醫學手術導航是增強現實技術的重要應用之一。在圖像引導手術時代，增強現實（AR）技術代表了將引導系統融合到手術工作流程中的下一個前沿。隨著顯示技術和交互技術的快速發展，在現代外科手術室中，增強現實（AR）的作用將會越來越大。