多年來，許多人工智能發燒友和研究人員一直承諾，機器學習將改變現代醫學。已經開發了成千上萬種算法來診斷癌癥，心臟病和精神病等疾病。現在，正在通過識別肺部CT掃描和X射線圖像中的模式來訓練算法來檢測COVID-19。

這些模型中的許多模型旨在預測哪些患者的結局最嚴重，哪些患者需要呼吸機。激動是顯而易見的。如果這些模型是準確的，它們可以為醫生提供測試和治療患者的巨大優勢。

但是，使用AI輔助藥物治療真正的COVID-19患者的吸引力似乎還很遙遠。世界各地的一組統計學家都對絕大多數機器學習模型的質量以及如果醫院盡快采用它們可能造成的危害表示關注。

“ ［它］使我們很多人感到恐懼，因為我們知道可以使用模型來做出醫療決定，”荷蘭烏得勒支大學醫學中心的醫學統計學家Maarten van Smeden說。“如果模型不好，他們可能會使醫療決策更糟。因此它們實際上可以傷害患者。”

Van Smeden與一大批國際研究人員共同領導一個項目，以使用標準化標準評估COVID-19模型。該項目是BMJ的首次現場審查，這意味著他們的40名審查員（并且正在不斷增長）的團隊將在發布新模型時積極更新其審查。

到目前為止，他們對COVID-19機器學習模型的評論并不理想：他們嚴重缺乏數據，并且缺乏來自廣泛研究領域的必要專業知識。但是，新的COVID-19算法面臨的問題根本就不是新問題：醫學研究中的AI模型已經存在嚴重缺陷，多年來，van Smeden等統計學家一直試圖發出警告以扭轉局勢。

折磨數據

在COVID-19大流行之前，范德比爾特大學的生物統計學家弗蘭克·哈雷爾（Frank Harrell）環游全國，與醫學研究人員就當前醫學AI模型的廣泛問題進行了討論。他經常借用著名經濟學家的話來描述這個問題：醫學研究人員正在使用機器學習來“折磨他們的數據，直到吐出口供為止”。

這些數字證明了Harrell的主張，這表明絕大多數醫學算法幾乎不符合基本質量標準。2019年10月，由英國伯明翰大學的劉曉軒和Alastair Denniston領導的一組研究人員發表了第一個系統綜述，旨在回答這一時髦卻難以捉摸的問題：機器在診斷患者方面是否能比患者更好甚至更好？人類醫生？他們得出的結論是，從醫學成像檢測疾病時，大多數機器學習算法都可以與人類醫生媲美。然而，還有另一個更健壯和令人震驚的發現-自2012年以來，在發表的關于疾病檢測算法的總共20，530項研究中，只有不到1%的方法學嚴謹性足以納入其分析。