醫療領域常常被認為是處于AI革命邊緣的領域。人工智能領域的很多知名企業，如谷歌的DeepMind，都聲稱他們一直在醫療領域努力耕耘，“人工智能有望改變現有醫療格局”。

但到目前為止AI到底產生了多大影響力？我們是否真的可以知曉從新技術中獲益的具體醫療領域呢？

在今年5月召開的ACM CHI“計算機系統中的人為因素作用力”會議上，來自Google的Carrie J. Cai在“以人為本的工具，以解決AI在應對醫療決策過程算法不完善”的討論中展示了她的獲獎作品，并聲稱機器學習技術在醫療決策中的使用會越來越多。

她開發了一個新系統，使醫生能夠即時改進和修改病理圖像的搜索方式，以不斷提高其準確性。

利用深度學習的視覺模型，在對新患者做出診斷時參考已知患者的醫學圖像（例如來自活檢的組織）是一種很有前途的方式。然而，在特定診斷期間準確獲得醫生當下所需的相似圖像對現有系統提出了巨大挑戰，因為“意圖鴻溝”（intention gap）的存在，即難以捕獲醫生的準確意圖。這個問題我們稍后會詳細討論。

Cai的研究展示了他們在醫學圖像檢索系統上開發的細化工具能夠如何提高圖像的診斷準確性。更重要的是，增加了醫生對機器學習算法輔助醫學決策的信任度。此外，調查結果顯示醫生能夠理解算法背后的優點和缺點，自己發現并修正系統出現的錯誤。總體而言，醫療專家對AI系統協助醫學決策的未來持樂觀態度。

在這篇文章中，我們主要討論三個方面的問題，即：

基于內容的圖像檢索系統的發展狀態

深度學習技術在這些系統中的作用

討論它們的應用和對醫療領域的影響

基于內容的圖像檢索系統的發展狀態

在過去二十年左右的時間里，由于網絡上可視化數據的可訪問性不斷增長，基于內容的圖像檢索（CBIR）已經成為計算機可視化研究的熱門領域。基于文本的圖像搜索技術由于與視覺內容的不匹配性而飽受詬病，因此將相似的視覺內容進行排序在許多情況下都被認為是很重要的。

Wengang Zhou等人指出了CBIR系統的兩個關鍵挑戰，他們稱之為“意圖鴻溝（Intention Gap）”和“語義鴻溝(Semantic Gap)”。

圖1：來自Wengang Zhou等人的論文《基于內容的圖像檢索的最新進展：文獻調查”》

所謂“意圖鴻溝”，即難以通過已有的數據庫理解用戶的確切意圖，如圖示中的關鍵字。這是Carrie J. Cai等人提出的。回顧之前的研究，通過示例圖像進行查詢似乎是最廣為探索的領域，原因顯然是因為通過圖像獲得豐富的查詢信息非常方便。但這需要從圖像中提取準確的特征，因此需要我們進入下一個角度，即語義鴻溝。

語義鴻溝主要是指用低級視覺特征描述高級語義概念的困難。現在，經過多年來的大量研究，這個問題已經取得了一些顯著突破，例如引入不變的局部視覺特征（SIFT）和引入視覺詞袋（BoW）模型。

圖1展示了CBIR系統的兩個主要功能。匹配檢索理解和圖像特征之間的相似性，也是一個重要的步驟，但這完全取決于系統表達出查詢和圖像的匹配程度。

最近基于學習的特征提取器，例如深度卷積神經網絡（CNN），爆炸式地開辟了許多新研究途徑，可以直接應用于解決我們在CBIR系統中討論的語義鴻溝。這些技術相比人工輸入的特征提取器有了顯著改進，并且已經在語義感知檢索應用程序中顯示出了潛力。

機器學習扮演的角色

Carrie J. Cai等人分析了CBIR系統的基本細節。由Narayan Hedge等人詳細介紹了他們的研究——“組織病理學類似圖像搜索：SMILY”。系統概述如圖2所示。

卷積神經網絡（CNN）算法用于圖2所示的嵌入計算模塊，作為系統中的特征提取器。系統將圖像信息壓縮成數字特征向量（也稱為嵌入向量），通過預訓練的CNN算法計算并存儲圖像數據庫（這里是病理載片上的片段圖像）及其數值向量，當對圖像進行進行查詢檢索時，使用相同的CNN算法計算查詢輸入的圖像，并與數據庫中的向量進行比較以檢索最相似的圖像。

此外，Narayan Hedge等人解釋說，CNN架構是基于Jiang Wang等人提出的深度排序網絡，它由卷層和匯聚層以及連接操作組成。在網絡訓練階段，輸入3組圖像：特定類的第一組參考圖像，同一類的第二組圖像和完全不同類的第三組圖像。然后對損失函數進行建模，使得網絡在嵌入相同類的圖像時賦值的距離比嵌入不同類圖像時更短。因此，來自不同類的圖像有助于增強來自同一類的圖像的嵌入之間的相似性。

他們使用大型自然圖像數據集（例如狗，貓，樹等）來訓練網絡而不只是用病理圖像。在學會區分相似的自然圖像與不同的自然圖像之后，再將相同的訓練架構直接應用于病理圖像的特征提取上。這種方式被視為有限數據的應用中的神經網絡加強版，通常稱為轉移學習。

Narayan Hedge等人表示CNN特征提取器為每個圖像設置了128個大小不一的向量，并且選擇L2距離作為向量之間的比較函數。使用t-SNE可視化技術將病理圖像載玻片上產生的所有數據集嵌入。如圖3所示：（a）器官位點著色的嵌入 （b）由組織學特征著色的嵌入。

圖3：來自由Narayan Hedge等人的的研究論文“類似圖像搜索組織病理學：SMILY”

事實上，類似的深度排名網絡架構和訓練技術可以在諸如Siamese Neural Networks等深度學習文獻中廣泛使用，甚至已經應用于人臉識別中。

現在，回到CBIR系統，我們了解到深度學習技術可以減少語義鴻溝，這些基于深度學習的方法即使在復雜的自然圖像中也可以識別重要特征。

在醫療領域中的應用與沖擊

到目前為止，我們研究了CBIR系統的應用以及深度學習技術在克服語義鴻溝等方面的潛力。但CBIR在醫療方面的適用性如何？我們能否明確量化其影響呢？

僅在2002年，日內瓦大學醫院的放射科每天就產生超過12,000張圖像。其中，心血管科是第二大數字圖像制造者。醫療信息系統的目標應該是“在適當的時間地點為正確的人提供其所需的合適信息，以提高治療過程的質量和效率。”因此，在臨床決策中，基于案例的推理或基于證據的醫學決策都希望從CBIR系統中受益。

無論技術多么健全，這些系統在實際臨床應用中都需要更多的完善，特別是在建立系統與醫生間的信任方面。這是Carrie J. Cai等人的提出的，醫生通過非常靈活地使用相關性反饋來完善系統，即對得到的系統結果進行評級。HenningMüller等人還申明了相關反饋在交互式環境中的重要性，其用來改善系統結果并提高CBIR系統的適應性。

另一個重點是量化這些系統的影響，這對于這一研究領域的適應和發展至關重要。在與12位病理學家一同進行用戶研究后，Carrie J. Cai等人聲稱，通過他們的CBIR系統，醫生能夠更輕松地增加系統的診斷效用。此外，結果也顯示醫生對其信任度的提高了也增大了將來用于臨床實踐的可能性。但是在本研究中沒有評估診斷準確性（盡管經驗表明其保持不變），因為它超出了研究范圍。

展望未來，很明顯，醫療專家和AI系統開發人員需要不斷協作，以確定范例并評估AI應用程序在醫療中的影響。此外，科研界也應重點關注開放測試數據集和查詢標準的開發，以便為CBIR系統設置基準，這些對于推動研究向前發展非常有幫助。