斯坦福大學研究人員正在通過一項新研究和一個新 AI 模型簡化癌癥診斷、治療規劃和預后預測。這項名為“多模態統一掩碼建模 Transformer”（MUSK）的研究旨在推進精準腫瘤學的發展，以便根據每位患者特有的醫療數據為其量身定制治療方案。

該研究的資深學者、放射腫瘤學副教授李瑞江表示：“多模態基礎模型是醫學 AI 研究的一個新領域。最近已經出現了一些醫學領域的視覺語言基礎模型，尤其是病理學領域，但當前研究使用的仍是現有的基礎模型，這些模型需要使用配對圖像-文本數據進行預訓練。盡管在付出巨大的努力后，已整理出 100 萬對病理圖像-文本，但仍不足以完全覆蓋整個疾病譜的多樣性。”

腫瘤學家在考慮患者病情和規劃最佳治療方案時需要參考許多數據來源。但整合和解釋復雜的醫療數據對于醫生和 AI 模型來說仍然十分困難。最近發表在《自然》上的這項研究解釋了 MUSK 如何幫助醫生做出更加準確、明智的決定并解決醫療 AI 領域這一長期存在的難題。

通過使用深度學習，MUSK 可以處理臨床文本數據（例如醫生筆記）和病理圖像（例如組織學切片），識別醫生可能無法立刻察覺的模式，從而獲得更好的臨床洞察。

為此，MUSK 使用了一個兩階段多模態 Transformer 模型。該模型首先學習大量未配對的數據，從文本和圖像中提取有用的特征，然后通過連接成對的圖像和文本數據調整對數據的理解。這有助于它識別不同類型的癌癥、預測生物標志物并提出有效的治療方案。

研究人員在該領域最大的數據集之一上對該 AI 模型進行了預訓練，共使用了來自 11577 名患者的 5000 萬張病理圖像，涉及 33 種腫瘤類型和 10 億病理相關文本數據。

據該研究的第一作者、放射物理學博士后 Jinxi Xiang 介紹，此次預訓練歷時 10 天，使用了 8 個節點共計 64 顆 NVIDIA V100 Tensor Core GPU 幫助 MUSK 高效處理海量病理圖像和臨床文本。二次預訓練階段和消融研究使用了 NVIDIA 80 gb Tensor Core GPU。研究人員還使用 NVIDIA RTX GPU 評估下游任務，并使用NVIDIA CUDA和NVIDIA cuDNN庫加速整個框架以提高性能。

在 23 項病理學基準測試中，MUSK 在幾個關鍵領域的表現優于現有的 AI 模型。該模型擅長將病理圖像與相關醫學文本進行匹配，從而更有效地收集相關患者信息。它還能解釋病理學相關問題，例如識別癌變區域或預測生物標志物的存在，準確率達到 73%。

圖 1 MUSK 可以執行的視覺問題解答示例

MUSK 可將乳腺癌、肺癌和結直腸癌等癌癥亞型的檢測和分類的準確率提高 10%，為早期診斷和治療規劃提供了幫助。它還能檢測出乳腺癌生物標記物，AUC（一項衡量模型準確性的指標）為 83%。

此外，MUSK 預測癌癥生存結果的準確率為 75%，預測肺癌和胃食管癌對免疫療法反應的準確率為 77%，準確率明顯高于通過標準臨床生物標志物進行預測，該預測的準確率僅為60-65%。

李瑞江表示：“整合了多模態數據的 AI 模型明顯優于那些僅基于圖像或文本數據的模型，這凸顯了多模態方法的強大威力。MUSK 的真正價值在于它能夠利用大規模的非配對圖像和文本數據進行預訓練，相比當前需要配對數據的模型有了明顯的提升。”

這項研究的核心優勢在于只需少量訓練就能適應不同的臨床環境。這可以提高腫瘤學工作流的效率，幫助醫生更快地診斷癌癥，同時為患者量身定制療效更好的治療方案。

該研究組之后的工作重點是在不同機構、不同人群的患者隊列以及治療決策等高風險用途中驗證該模型。研究人員表示要獲得監管部門的批準，還需要在臨床試驗中進行預期驗證。

李瑞江表示：“我們還在努力將數字病理學的 MUSK 方法擴展到其他類型的數據，例如放射學圖像和基因組數據等。”

現在可在 GitHub 上獲得該研究組的研究成果，包括安裝說明、模型權重、評估代碼和樣本數據：

https://github.com/lilab-stanford/ MUSK