今天，吳恩達發(fā)推公布了斯坦福發(fā)布的兩個大型的醫(yī)療數(shù)據(jù)集公開：CheXpert和MIMIC-CXR。其中，CheXpert內(nèi)含224316X光胸部圖片，MIMIC-CXR內(nèi)含371,920張帶標簽的圖片。兩個數(shù)據(jù)集的數(shù)據(jù)量級和標注精準度都非常高，可以說是造福了一大批相關從業(yè)者了。

數(shù)據(jù)集下載方式

先給出數(shù)據(jù)集介紹的地址和下載方式。

https://stanfordmlgroup.github.io/competitions/chexpert/

因為是醫(yī)學數(shù)據(jù)集，斯坦福采取了相對謹慎的態(tài)度。根據(jù)說明，用戶需要遵守下載規(guī)則，填寫資料然后通過電子郵件給出的鏈接進行下載。為了保持數(shù)據(jù)集的完整性以及有效性，嚴禁進行“濫用”分享。

數(shù)據(jù)集概況

CheXpert數(shù)據(jù)集里面有224316張胸部X光圖片，共涉及65,240名患者。數(shù)據(jù)集的時間跨度為2002年10月到2017年7月，都是患者在斯坦福醫(yī)院進行胸部X光檢查之后的留存。除此之外，數(shù)據(jù)集還附有相關的放射學報告。

如何為CheXpert數(shù)據(jù)集打標簽

每份報告都對14項觀察進行標記，標記可能是陽性，陰性或不確定性。

14項觀察是根據(jù)報告中的流行程度和臨床相關性確定的，并在適用的情況下符合Fleischner Society推薦的術語表。

此外，還開發(fā)了一種基于規(guī)則的自動貼標機，用于從放射學報告中提取觀察結(jié)果，用作圖像的結(jié)構(gòu)化標簽。貼標機工作分為三個不同的階段：提及提取，提及分類和提及聚合。

自動貼標機github地址：

https://github.com/stanfordmlgroup/chexpert-labeler

在提及提取階段，貼標機從放射學報告的“印象”部分的觀察列表中提取提及，這一部分總結(jié)了放射研究中的關鍵發(fā)現(xiàn)。在提及分類，則是用每一個提及來分類，把觀察到的歸類為陰性的，不確定的或陽性的。在提到聚合階段，使用每次提及觀察的分類，就會得到14個觀察的最終標簽。

基準模型

基準模型采用以單視角胸片作為輸入，并輸出14次觀測中每一次的概率。當多個視圖可用的時候，模型給出最大概率。

利用不確定性標簽

數(shù)據(jù)集中的訓練數(shù)據(jù)集的標簽分別為0、1或u。其中，0表示負，1表示正，u表示不確定。在模型訓練中，使用了不確定性標簽的不同方法。

U-Ignore：在訓練期間忽略了不確定的標簽。

U-Zeroes：將不確定標簽的所有實例映射到0。

U-Ones：將不確定標簽的所有實例映射到1。

U-SelfTrained：首先使用U-Ignore方法訓練模型進行收斂，然后使用該模型進行預測，利用模型輸出的概率預測重新標記每個不確定性標簽。

U-MultiClass：將不確定性標簽視為自己的類別。

專注于評估5項觀察，進行“競爭任務”，根據(jù)臨床經(jīng)驗和患病率分為：（a）肺不張，（b）心臟擴大，（c）肺實變，（d）水腫（e）胸腔積液。通過比較了不同不確定性方法在200個研究的驗證集上的表現(xiàn)，其中三個放射科醫(yī)師的注釋作為基礎事實。基準模型根據(jù)驗證集上每個競賽任務的最佳表現(xiàn)方法選擇的：U- Ones用于肺不張和水腫，U-MultiClass用于心臟擴大和胸腔積液，U-SelfTrained用于肺實變。

測試集如何設計

CheXpert中的測試集由來自500“未知”患者的500張X光胸片組成。八名權(quán)威認證的放射科醫(yī)師分別對測試集中的每張圖片進行了注釋。他們將每張圖片標記為：現(xiàn)存（present）、不確定（uncertain likely）、不可能（uncertain unlikely）和缺失（absent）。

然后將標簽二值化，將現(xiàn)存和不確定病例視為陽性，而缺失和不可能病例視為陰性。根據(jù)5位專家的投票確定圖片標簽，然后用剩下的三位專家檢驗五位專家的表現(xiàn)。

基準模型在測試集上表現(xiàn)如何

該模型在胸腔積液（0.97）上達到最佳AUC，在肺不張（0.85）上達到最差。所有其他觀測的AUC至少為0.9。在心臟擴大，水腫和胸腔積液上，該模型比所有3位放射科醫(yī)師獲得更高的表現(xiàn)，但卻不是他們的多數(shù)投票。在肺實變方面，模型性能超過3位放射科醫(yī)師中的2位，而在Atelectasis上，所有3位放射科醫(yī)師的表現(xiàn)均優(yōu)于模型。

與麻省理工學院的聯(lián)合發(fā)布MIMIC-CXR數(shù)據(jù)集

此外還有和MIMIC-CXR共同發(fā)布包含371,920張胸部X射線圖片的大型數(shù)據(jù)集。該數(shù)據(jù)集的時間跨度為2011年~2016年。這些數(shù)據(jù)與Beth Israel Deaconess醫(yī)療中心的227,943個影像學研究相關。每個成像研究可能包含一個或多個圖像，但一般是兩個圖像：正面視圖和側(cè)視圖。

相關論文下載地址：https://arxiv.org/pdf/1901.07042.pdf

圖像提供有14個標簽，這些標簽來自放射學報告的自然語言處理工具。CheXpert數(shù)據(jù)集和MIMIC-CXR共享一個共同的貼標機，CheXpert貼標機，用于從放射學報告中獲取相同的標簽集。

最后展望

阻礙胸部X光片解釋模型發(fā)展之一是，缺乏具有強放射學家注釋的地面真實性和專家評分的數(shù)據(jù)集。研究人員可以根據(jù)這些數(shù)據(jù)對其模型進行比較。希望CheXpert將填平這一溝谷，以便在臨床重要任務中隨時跟蹤模型的進展。

此外，吳恩達團隊本次開發(fā)并開源了CheXpert貼標機，這是一種基于規(guī)則的自動貼標機，用于從自由文本放射學報告中提取觀察結(jié)果，用作圖像的結(jié)構(gòu)化標簽。我們希望這可以幫助其他機構(gòu)輕松地從報告中提取結(jié)構(gòu)化標簽，并發(fā)布其他大型數(shù)據(jù)庫，以便對醫(yī)學成像模型進行跨機構(gòu)測試。

最后，斯坦福也作出展望，希望該數(shù)據(jù)集能夠幫助開發(fā)和驗證胸部X光片解釋模型，以改善全球醫(yī)療服務的獲取和交付。