在 16 日的「AI+醫(yī)療」論壇上，美國羅格斯大學(xué)計算機科學(xué)系杰出教授、計算生物醫(yī)學(xué)影像與建模中心（CBIM）主任 Dimitris Metaxas 做了主題為《基于模型的醫(yī)療應(yīng)用大規(guī)模分析》的演講。

Dimitris Metaxas 教授一直致力于形式化方法的開發(fā)，以促進醫(yī)學(xué)圖像分析、計算機視覺、計算機圖形學(xué)以及對多模態(tài)語言的理解。在計算機生物醫(yī)學(xué)應(yīng)用領(lǐng)域，他利用MRI、SPAMM和CT掃描數(shù)據(jù)開發(fā)了新的人體內(nèi)臟器官（如肺）的材料建模和形狀識別方法，這是用于心臟運動分析的開拓性框架，也是將人體解剖和生理模型、組織病理學(xué)、細胞追蹤、細胞類型分析與小鼠行為分析相聯(lián)系的開拓性架構(gòu)。

在人工智能和計算機視覺領(lǐng)域，他在可變形模型、三維人體運動分析、行為、場景理解、機器學(xué)習(xí)、監(jiān)督、目標識別、稀疏性以及野外生物識別等方面開發(fā)了新的方法。在計算機圖形學(xué)領(lǐng)域，他為流體動畫引入了Navier-Stokes方法，1998年的動畫電影《蟻哥正傳》（Antz）中的水景基于該法制作而成。

Dimitris Metaxas教授發(fā)表了500多篇論文，獲得過多項最佳論文獎，擁有7項專利。他是富布賴特獎學(xué)金、NSF研究啟動獎和職業(yè)生涯獎，以及ONR青年研究計劃獎的獲得者。他是美國醫(yī)學(xué)和生物工程院院士、IEEE會士和MICCAI會士，曾擔任IEEE CVPR 2014和ICCV 2011大會主席，ICCV 2007程序主席， FIMH 2011、MICCAI 2008及SCA 2007高級程序主席。

演講內(nèi)容

醫(yī)療數(shù)據(jù)分析對于新的醫(yī)學(xué)發(fā)現(xiàn)、診斷改進和成本降低來說日益重要。本演講將介紹一種已持續(xù)開發(fā)25年的通用可擴展的計算框架，它將計算學(xué)習(xí)、稀疏方法、混合范數(shù)、詞典和稀疏性的原理與可變形建模方法結(jié)合在一起，應(yīng)用于醫(yī)學(xué)圖像分析和計算機視覺領(lǐng)域中復(fù)雜的大規(guī)模問題中。

演講將介紹該系統(tǒng)的多種醫(yī)學(xué)應(yīng)用，包括心臟病的分割、識別和表征的特征發(fā)現(xiàn)、心臟 MRI 圖像重建、心臟血流分析、大規(guī)模組織病理學(xué)圖像分析和檢索、體脂估計，以及用于酒精研究的嚙齒動物行為分析和細胞分析等。

以下為演講全文（為便于閱讀進行過適當編輯整理）：

大家好。剛才Pep講了非常多的內(nèi)容，小編非常贊同。接下來小編會為大家列舉一些例子，小編也會說明我們確實需要謹慎小心地運用這些工具。

機器學(xué)習(xí)的重點是數(shù)據(jù)，但它們沒法超越它們的數(shù)據(jù)。人工智能在醫(yī)療領(lǐng)域的應(yīng)用才剛剛開始。小編會給出一些案例說明我們當前的工作和難題。

首先小編先簡單介紹一下我們的計算生物醫(yī)學(xué)影像與建模中心（CBIM）。CBIM 成立于 2002 年，那時候計算機的運行非常慢，數(shù)據(jù)非常少，訓(xùn)練神經(jīng)網(wǎng)絡(luò)是非常困難的。現(xiàn)在 CBIM 有 133 位教職成員，65 位博士生。

計算生物醫(yī)學(xué)影像與建模是一項多學(xué)科的研究任務(wù)，不僅涉及計算技術(shù)，還涉及到生物學(xué)、醫(yī)學(xué)、神經(jīng)科學(xué)、語言學(xué)等等。我們需要醫(yī)生和生物學(xué)家來幫我們查看和驗證數(shù)據(jù)，如果我們不做這件事，我們就永遠無法成功。我們與羅格斯大學(xué)的很多部門都有合作，而且因為羅格斯大學(xué)與紐約等地的距離很近，我們和周邊的一些醫(yī)院也有合作關(guān)系。

我們希望解決的問題的領(lǐng)域包括使用計算機視覺技術(shù)處理生物醫(yī)學(xué)數(shù)據(jù)、成像、識別以及人類行為和語言的多模態(tài)方面。

我們希望為醫(yī)學(xué)影像信息學(xué)開發(fā)穩(wěn)健的和可擴展的方法，以用于臨床和臨床前的應(yīng)用。

先說臨床的。人們已經(jīng)在臨床方向開發(fā)了很多框架，涵蓋很多流程，從數(shù)據(jù)獲取到檢測和分割到診斷等等。這些技術(shù)的目的并不是取代醫(yī)生，而是幫助醫(yī)生更快更好地完成日常工作。當然這個過程可能會減少對醫(yī)生的需求，雖然醫(yī)生不喜歡這一點，但試點測試是必不可少的。

可以看到，首先是數(shù)據(jù)獲取。我們可以通過掃描儀了解病人病灶的情況，這些圖像需要進行分割。我們希望能在掃描的時候就分割，而不必之后再做。這方面我們有些自動化的選擇和機會。小編會展示神經(jīng)網(wǎng)絡(luò)在這方面的優(yōu)良表現(xiàn)——不管是實時處理還是之后處理。有了分割后的圖像后，你需要建模，識別圖像中的正常和異常。機器學(xué)習(xí)只是這個過程的一部分，你還需要向醫(yī)生解釋為什么這個地方是異常的。醫(yī)生需要知道模型是根據(jù)什么特征得出結(jié)論的，如果不對，我們還要對神經(jīng)網(wǎng)絡(luò)進行修改。

在數(shù)據(jù)獲取方面，壓縮傳感核磁共振（Compressed Sensing MRI）是一種高效的數(shù)據(jù)采集方法，能有效降低掃描時間，極大提升病人的體驗。我們可以在里面做分割、注冊和重建等。

除了分割掃描數(shù)據(jù)，還有病理學(xué)圖像分割的研究。但問題是我們?nèi)绾翁幚懋惓＃吘姑總€人的異常都不一樣。也許神經(jīng)網(wǎng)絡(luò)在一些具體病例上表現(xiàn)很好，但卻處理不了其他病例。這也是其中的難點。

1994年以來我一直在關(guān)注心血管診斷領(lǐng)域，我們能用 MRI 重建血流的運動。當然，我們還可以用 CT 重建心臟內(nèi)部的情況，這比 MRI 更加清晰。

這里可以看到重建出的心臟運動情況。我們能通過這種方式查看心臟里血液留存的位置，預(yù)防心臟病發(fā)作。

接下來，我們要進行無網(wǎng)格的模型擬合。現(xiàn)在的醫(yī)生看的是一張張切片，對于 3D 結(jié)構(gòu)他們只能猜測，不能看到。我們可以通過一張張切片重建出 3D 結(jié)構(gòu)，標出其中承受的壓力。通過觀察心臟中的循環(huán)，我們能知道正常和異常的位置。這是非常全面的方法。過去醫(yī)生通常只看一張片，而心臟是立體的，而且在運動，一張切片的信息很不全面。我們的方法能讓醫(yī)生更好地了解這些信息。

另一項研究是在知識發(fā)現(xiàn)上。我們?nèi)绾螌⑦@些圖像用來診斷疾病呢？比如分析這些組織病理學(xué)圖像，來診斷癌癥。這方面也有不同的維度。另外，我們也可以將這些信息用來培訓(xùn)新的醫(yī)生。當然這樣的工作并不容易，但對這些方面都會有影響。

接下來我們談一個具體的應(yīng)用。比如說肝臟的 CT。首先我要談?wù)劄槭裁催@方面的圖像分割并不容易。圖像中一直都會存在偽影，因為醫(yī)生往往沒有時間去做非常仔細的成像。你不希望將這些偽影分割出來，不然可能會影響醫(yī)生的診斷。檢測肺病的時候，我們需要知道肺在那里。

我們知道左肺和右肺的大小是不一樣的，因為一邊的肺旁邊有心臟，所以會小一點。醫(yī)生當然知道這一點，但計算機不知道。我們需要填補這其中的差距。此外，大腦等結(jié)構(gòu)擁有很多細節(jié)信息，也需要關(guān)注。

我們可以使用形狀先驗（shape prior）。我們的自動分割系統(tǒng)需要做到準確、有效和魯棒。我們不能讓醫(yī)生等待太長時間，還要能處理圖像中的偽影等錯誤信息，以及發(fā)現(xiàn)復(fù)雜的組織結(jié)構(gòu)（比如大腦）中的細節(jié)。

很多時候，由于工作環(huán)境的影響，輸入的數(shù)據(jù)可能并不準確，我們需要處理這些問題。另外我們也要保留局部細節(jié)，這些細節(jié)可能就代表了疾病或創(chuàng)傷的存在，對治療而言非常重要。

當然，我們有大量數(shù)據(jù)來做機器學(xué)習(xí)。這些數(shù)據(jù)是稀疏的。我們的方法基于兩個觀察：輸入形狀可以近似由訓(xùn)練形狀的稀疏線性組合表示；給定的形狀信息可能包含嚴重錯誤，但這種錯誤通常是稀疏的。我們的做法是首先最小化模型和數(shù)據(jù)之間的差異，這是我們要執(zhí)行的變換。然后是稀疏線性組合。

我們也要考慮非高斯誤差，這對提升結(jié)果很重要。

為什么我們的方法是有效的？在魯棒性方面，使用 L0 范數(shù)約束明確建模“e”，因此可以檢測到顯然的（稀疏）誤差。在通用性方面，不對參數(shù)分布模型做任何假設(shè)，因此可以建模復(fù)雜的形狀信息。在無損性方面，使用了所有的訓(xùn)練形狀，因此能夠覆蓋所有的細節(jié)信息，甚至包括訓(xùn)練數(shù)據(jù)中統(tǒng)計不顯著的細節(jié)。

這是我們的實驗設(shè)置。

準確度能達到 90% 以上。

當然你也能進行在線學(xué)習(xí)，你可以選擇哪些數(shù)據(jù)是重要的。所以小編可以從少量數(shù)據(jù)開始，然后增加更多數(shù)據(jù)來提升質(zhì)量。醫(yī)生在看過更多圖像后會表現(xiàn)得更好，這種方法也是類似。能讓模型持續(xù)提升的在線學(xué)習(xí)是很重要的。

再來看看心臟圖像的分割。這方面的進展很慢，但也有一些突破，比如我們剛完成的，能展示出很多復(fù)雜細節(jié)。

我們能用機器學(xué)習(xí)在 MRI 上做些什么？這是我們的工作流程。醫(yī)生需要的不只是一個答案，他們需要知道得出結(jié)論的原因，是哪些特征讓模型認為存在問題。

我們的方法可以非常準確地說明哪些區(qū)域與特定疾病的診斷有關(guān)。與心臟相關(guān)的疾病有 400 種左右，這些疾病都有一些模式，因此非常適合用機器學(xué)習(xí)來處理——如果有大量數(shù)據(jù)的話。所以我們和很多醫(yī)院和學(xué)校合作來獲得理解這一問題的數(shù)據(jù)。實際上，50% 罹患心臟血管疾病的風險都是可以早期預(yù)測的，通過測量，我們能發(fā)現(xiàn)一些連醫(yī)生也不知道的事情。所以我們也實際上推進到了下一步。

得到了切片后我們可以建模，得到 3D 模型，實現(xiàn)更好的可視化。這樣醫(yī)生就不容易錯過或忽略對一些疾病的診斷。

這里的紅色和黃色展示了血液和肌肉的比例。我們在研究這個比例與疾病的關(guān)聯(lián)。

還有標志跟蹤（tag tracking），這是一種了解血液如何影響對心室的壓力的常用手段。

這里是一些關(guān)于流速場的討論。患病瓣膜會有更小的孔洞，會導(dǎo)致更高的流速，產(chǎn)生的高壓力可能導(dǎo)致患病。

基于哈希的圖像檢索（Towards Large-Scale Histopathological Image Analysis: Hashing-Based Image Retrieval）是我們的又一項研究。

疾病的嚴重程度千差萬別，就像在這個病例里面，這是一種惡性腫瘤。

哈希可以檢測相似性信息，讓模型表現(xiàn)更好。

可以看到，我們不僅做得更好，而且更加穩(wěn)定，不管特征維度有多大。算法的高效性是非常重要的。

這是檢索結(jié)果的展示。

在臨床前研究方面，我們也有一些進展。這是我們的一種細胞核的分割方法。這是我們和很多不同醫(yī)院共同開展的一項研究。那么我們怎么找到細胞核呢？因為細胞核很重要，與 DNA 相關(guān)。

我們可以根據(jù)形狀和大小等特征對細胞核進行分類，看是正常還是異常的。另外密度信息也很重要，腫瘤細胞和正常細胞有不同的密度。

我們可以把它應(yīng)用到一些臨床前應(yīng)用上，比如研究大量小鼠的行為。因為小鼠在藥物和疾病研究上很重要，小鼠的行為能為我們提供一些結(jié)果。我們可以劃分小鼠不同的部分，監(jiān)控和統(tǒng)計多只小鼠的活動。

最后，我們的未來研究方向有哪些？首先是高效的信息融合。我們希望不只是檢測單模態(tài)數(shù)據(jù)，而能同時使用多個尺度上的多模態(tài)數(shù)據(jù)。另一個方向是從粗略到精細的學(xué)習(xí)（Coarse-to-fine Learning），不同規(guī)模的學(xué)習(xí)很重要。我們希望將領(lǐng)域?qū)＜业闹R整合到機器學(xué)習(xí)中，以提升推理能力和可解釋性；我們還希望在使用過程中不斷修正神經(jīng)網(wǎng)絡(luò)，我稱之為「learn how to learn」。

當然，我們也要研究使用可解釋的參數(shù)進行學(xué)習(xí)和推理的基本方法。非線性優(yōu)化方法也是一個研究方向，神經(jīng)網(wǎng)絡(luò)的參數(shù)太多了，我們?nèi)绾卧跍p少參數(shù)數(shù)量的同時又實現(xiàn)更好的表現(xiàn)？有時候需要基于耦合 PDE 和機器學(xué)習(xí)的方法。

小編的演講到此為止。我們現(xiàn)在還沒有到達頂峰，但是已經(jīng)處在一個非常令人激動和興奮的時間節(jié)點，我們對機器學(xué)習(xí)為醫(yī)療領(lǐng)域帶來變革很有信心。