計算機視覺在醫療領域得到了廣泛應用，如醫學影像處理等。

最近，來自 Salesforce AI 研究院、谷歌、斯坦福大學等機構的研究人員合作撰寫了一篇文章，綜述了基于深度學習的計算機視覺技術在醫療領域中的現狀與應用。該論文發表在 Nature 旗下期刊 npj Digital Medicine 上。

機器之心選取文章的部分內容為大家展開介紹。

論文地址：https://www.nature.com/articles/s41746-020-00376-2#Sec6

摘要

十年來，人工智能取得了前所未有的進展，包括醫學在內的許多領域都有望從中受益。在該論文中，研究者調查了以深度學習為支撐的現代計算機視覺技術在醫學領域的最新進展，重點包括醫學成像、醫療視頻和臨床部署。

該論文首先簡要概述了卷積神經網絡的十年進展，包括它們在醫療領域中實現的視覺任務。接下來，論文討論了一些有益的醫學成像應用示例，涉及心臟病學、病理學、皮膚病學、眼科醫學，并為后續研究工作提出了新的方向。此外，研究者還介紹了醫療視頻，重點介紹了如何將臨床工作流程與計算機視覺結合來改善醫療效果。最后，論文討論了在現實世界中部署這些技術面臨的挑戰和障礙。

圖 1：醫療領域中的計算機視覺任務示例。

計算機視覺

目標分類、定位和檢測分別是指識別圖像中的目標類型、確定目標所在位置，以及同時確定目標的類型和位置。過去十年，ImageNet 大規模視覺識別挑戰賽（ILSVRC）是促成這些任務進步的先鋒。它創建了一個由深度學習研究人員組成的大型社區，社區中的研究者相互競爭和合作以改進各種 CV 任務的技術。

2012 年，首個使用 GPU 的現代 DL 方法成為該社區發展的拐點，它預示著該領域接下來幾年的顯著進展，直到 2017 年 ILSVRC 競賽舉辦了最后一屆。值得注意的是，在此期間，分類準確率已經達到了人類級別。在醫學上，這些方法的細粒度版本已成功用于許多疾病的分類和檢測，如下圖 2 所示。

圖 2：醫師級別的診斷性能。

醫學成像

近年來，使用計算機視覺技術處理靜態醫學成像的論文從數百篇增長至幾千篇。其中，放射學、病理學、眼科醫學和皮膚病學等幾個領域受到了廣泛關注。

醫學影像的獨特特征給基于 DL 的計算機視覺提出了許多挑戰。例如，圖像可能非常龐大，數字化組織病理學圖像可以產生約 100000 x 100000 像素的千兆像素圖像，而典型的 CNN 圖像輸入約為 200 x 200 像素。

目前已有數十家公司獲得美國 FDA 和歐盟 CE 的醫學成像 AI 批準。隨著可持續商業模式的建立，商業市場已經開始形成。例如，印度和泰國等地歡迎部署糖尿病性視網膜病變篩查系統等技術。如今這種快速發展已經達到了直接影響患者治療效果的地步。

心臟病學

心臟成像越來越廣泛地應用于臨床診斷等流程中，深度學習的關鍵臨床應用包括診斷和篩選。心血管醫學中最常見的成像方式是心臟超聲或超聲心動圖。作為一種經濟高效的無輻射技術，超聲心動圖因其直接的數據采集和解釋功能而特別適合應用 DL 技術，它常被用于急診住院設施、門診中心和急診室中。

病理學

病理學家在癌癥的檢測和治療中起著關鍵作用。病理分析（基于顯微鏡下組織樣本的目視檢查）本質上是主觀的，視覺感知和臨床訓練的差異可能導致診斷和預測意見不一致。

DL 可以支持很多重要的醫療任務，包括診斷、預測病情和治療效果、疾病監測等。

近年來，醫療領域已經采用了亞微米級分辨率的組織掃描儀，該儀器可以捕獲千兆像素的全視野數字切片（whole-slide images ，WSI）。這種發展和計算機視覺的進步促成了 AI 驅動的數字組織病理學的研究和商業化活動。該領域具有以下潛力：

通過提高日常任務的效率和準確性來克服人類視覺感知和認知的局限性；

從人眼看不見的形態結構中開發出疾病和治療的新特征；

將病理學與放射學、基因組學和蛋白質組學測量結合起來，以改善診斷和預測效果。

皮膚病學

皮膚病學中 DL 的關鍵臨床任務包括特定于病灶的鑒別診斷、在良性病灶中發現與病灶有關的問題，以及幫助跟蹤病灶隨時間的增長。一系列研究表明，CNN 在歸類良性與惡性皮膚病變時的性能可以媲美皮膚科醫生。這些研究依次測試了越來越多的皮膚科醫生，并且始終展示出匹配甚至超過醫師水平的分類敏感性和特異性。但這些研究很大程度上局限于二分類任務，如鑒別良性與惡性皮膚病變。

最近，這些研究還包括了對數十種皮膚病的診斷，包括非贅生性皮膚病（如皮疹），其分類器輸入還囊括了非視覺元數據（如病人的人口統計特征）。

將這些算法集成到臨床工作流程可以使其支持其他關鍵任務，包括對具有多個病灶的病人進行大規模惡性病變檢測等。這一領域仍待探索。

眼科學

近年來，眼科領域出現了很多 AI 研究，許多論文展示了其 AI 成果超出當前人類的臨床診斷和分析能力。這帶來的潛在影響是巨大的，眼睛檢查儀器的便攜性意味著可以利用臨時診所和遠程醫療為偏遠地區帶去檢測點。該領域極大地依賴眼底成像和光學相干斷層掃描 (OCT) 來診斷和管理病人。

CNN 可以準確診斷許多疾病。眼睛包含大量人類無法解釋的特征，包含有意義的醫療信息，而 CNN 可以獲取這些特征。CNN 還可以基于眼底成像分類多種心血管和糖尿病風險因素，包括年齡、性別、收縮壓等。這表明未來 AI 研究有可能基于眼部圖像預測非眼部信息，帶來醫療領域的范式轉變，即通過眼部檢查判斷眼部和非眼部疾病，而這是人類醫生目前無法做到的。

醫療視頻

手術應用

計算機視覺可以在手術和內窺鏡檢查等醫療步驟中提供極大的用途。深度學習在醫療方面的重要應用包括通過實時環境感知、技能評估和訓練來提升手術性能。早期研究主要在基于視頻的機器人手術和腹腔鏡手術中開展。另一個方向則是利用計算機視覺識別不同的手術階段，從而開發環境感知的計算機輔助系統。

此外，計算機視覺還開始出現在開放手術中。這里的挑戰在于視頻捕捉視角的多樣性（如頭戴式、側視和懸吊式攝影機）和手術類型的多樣化。對于所有類型的手術視頻，將 CV 分析轉換為可以提升治療效果的工具與應用是下一個研究方向。

人類活動

計算機視覺可以識別物理空間中的人類活動，可用于大量「環境智能」應用。環境智能指連續、非侵入式地感知物理空間中的活動，從而為醫生、護士等醫療工作人員提供幫助，如病人監測、自動化文檔等，參見圖 3。

圖 3：環境智能。計算機視覺與傳感器和視頻流讓很多安全應用在臨床和居家環境中變為了可能，為醫護工作者擴展了監測病人的能力。這些應用主要使用細粒度活動識別模型構建，可能包括 ICU 中的患者監測、醫院和診所中的洗手動作監測、異常事件檢測等。

環境感知還可以在醫院之外應用，幫助更多人及時獲取醫療服務。例如，它可以通過監測日常活動中的異常情況來幫助獨居老人及時獲取醫療服務。此外，計算機視覺技術還有望成為遠程生理指標測量的工具，例如系統利用視頻來分析心率和呼吸頻率。

臨床部署

醫療 AI 的應用可以給社會帶來福利，也有可能加劇長期存在的不平等。當得到恰當、符合倫理的使用時，醫療 AI 可以促成更公平的醫療環境。而其關鍵在于理解模型基于什么樣的數據構建、在什么樣的環境中部署。該論文展示了將機器學習技術應用于醫療領域時需要注意的四個要點：數據評估、模型局限性解決、社區參與和信任建立。

數據質量很大程度上決定了模型質量，發現數據中的不公平并解決將帶來更公平的醫療環境。目前有多種移除數據偏見的方法。個體層面上的偏見可以通過專家討論和標注判定來解決，而群體層面偏見則需要缺失數據補足和分布漂移來解決。國際多機構評估是確定模型在多種不同群體、醫療設備、資源設置和實踐模式間泛化性能的魯棒方法。此外，使用多任務學習訓練模型執行多種任務也會使模型更具普遍用途和魯棒性。

透明報告可以解決模型的潛在缺陷，幫助解決模型局限性。然而，僅僅報告，以及在通用數據集上實現強大性能并不足夠，我們還應理解模型失敗的特定實例。一種解決方案是將評估人口統計性能與顯著圖結合起來，從而可視化模型關注的地方，發現潛在的偏差。下圖 4 展示了模型部署中的偏見。

圖 4：模型部署中的偏見。

從病人、醫生、計算機科學家和其他利益相關人的角度來看，社區參與對于模型的成功部署更為重要。它可以幫助識別醫療診斷中種族偏見的結構化成因，具體表現是發現數據集中的偏見、確定導致模型失敗的人口統計特征。以用戶為中心的評估是確保模型可用性并使其適應現實世界的重要工具。

另一個使醫生建立起對 AI 信任的有效工具是 ML 模型與現有工作流的并行部署，參見圖 5：

圖 5：臨床部署。該示例工作流程展示了 AI 增強工作流的積極效果，以及可建立起的信任。人工智能的預測結果為醫生提供了直接價值，而隨著收集到的數據增加，這種能力還會不斷提升。

責任編輯：lq