機(jī)器學(xué)習(xí)模型存在嚴(yán)重缺陷？

多年來(lái)，許多人工智能發(fā)燒友和研究人員一直承諾，機(jī)器學(xué)習(xí)將改變現(xiàn)代醫(yī)學(xué)。已經(jīng)開(kāi)發(fā)了成千上萬(wàn)種算法來(lái)診斷癌癥，心臟病和精神病等疾病?，F(xiàn)在，正在通過(guò)識(shí)別肺部CT掃描和X射線圖像中的模式來(lái)訓(xùn)練算法來(lái)檢測(cè)COVID-19。

這些模型中的許多模型旨在預(yù)測(cè)哪些患者的結(jié)局最嚴(yán)重，哪些患者需要呼吸機(jī)。激動(dòng)是顯而易見(jiàn)的。如果這些模型是準(zhǔn)確的，它們可以為醫(yī)生提供測(cè)試和治療患者的巨大優(yōu)勢(shì)。

但是，使用AI輔助藥物治療真正的COVID-19患者的吸引力似乎還很遙遠(yuǎn)。世界各地的一組統(tǒng)計(jì)學(xué)家都對(duì)絕大多數(shù)機(jī)器學(xué)習(xí)模型的質(zhì)量以及如果醫(yī)院盡快采用它們可能造成的危害表示關(guān)注。

“ ［它］使我們很多人感到恐懼，因?yàn)槲覀冎揽梢允褂媚Ｐ蛠?lái)做出醫(yī)療決定，”荷蘭烏得勒支大學(xué)醫(yī)學(xué)中心的醫(yī)學(xué)統(tǒng)計(jì)學(xué)家Maarten van Smeden說(shuō)。“如果模型不好，他們可能會(huì)使醫(yī)療決策更糟。因此它們實(shí)際上可以傷害患者。”

Van Smeden與一大批國(guó)際研究人員共同領(lǐng)導(dǎo)一個(gè)項(xiàng)目，以使用標(biāo)準(zhǔn)化標(biāo)準(zhǔn)評(píng)估COVID-19模型。該項(xiàng)目是BMJ的首次現(xiàn)場(chǎng)審查，這意味著他們的40名審查員（并且正在不斷增長(zhǎng)）的團(tuán)隊(duì)將在發(fā)布新模型時(shí)積極更新其審查。

到目前為止，他們對(duì)COVID-19機(jī)器學(xué)習(xí)模型的評(píng)論并不理想：他們嚴(yán)重缺乏數(shù)據(jù)，并且缺乏來(lái)自廣泛研究領(lǐng)域的必要專(zhuān)業(yè)知識(shí)。但是，新的COVID-19算法面臨的問(wèn)題根本就不是新問(wèn)題：醫(yī)學(xué)研究中的AI模型已經(jīng)存在嚴(yán)重缺陷，多年來(lái)，van Smeden等統(tǒng)計(jì)學(xué)家一直試圖發(fā)出警告以扭轉(zhuǎn)局勢(shì)。

折磨數(shù)據(jù)

在COVID-19大流行之前，范德比爾特大學(xué)的生物統(tǒng)計(jì)學(xué)家弗蘭克·哈雷爾（Frank Harrell）環(huán)游全國(guó)，與醫(yī)學(xué)研究人員就當(dāng)前醫(yī)學(xué)AI模型的廣泛?jiǎn)栴}進(jìn)行了討論。他經(jīng)常借用著名經(jīng)濟(jì)學(xué)家的話來(lái)描述這個(gè)問(wèn)題：醫(yī)學(xué)研究人員正在使用機(jī)器學(xué)習(xí)來(lái)“折磨他們的數(shù)據(jù)，直到吐出口供為止”。

這些數(shù)字證明了Harrell的主張，這表明絕大多數(shù)醫(yī)學(xué)算法幾乎不符合基本質(zhì)量標(biāo)準(zhǔn)。2019年10月，由英國(guó)伯明翰大學(xué)的劉曉軒和Alastair Denniston領(lǐng)導(dǎo)的一組研究人員發(fā)表了第一個(gè)系統(tǒng)綜述，旨在回答這一時(shí)髦卻難以捉摸的問(wèn)題：機(jī)器在診斷患者方面是否能比患者更好甚至更好？人類(lèi)醫(yī)生？他們得出的結(jié)論是，從醫(yī)學(xué)成像檢測(cè)疾病時(shí)，大多數(shù)機(jī)器學(xué)習(xí)算法都可以與人類(lèi)醫(yī)生媲美。然而，還有另一個(gè)更健壯和令人震驚的發(fā)現(xiàn)-自2012年以來(lái)，在發(fā)表的關(guān)于疾病檢測(cè)算法的總共20，530項(xiàng)研究中，只有不到1%的方法學(xué)嚴(yán)謹(jǐn)性足以納入其分析。