使用新的機器學習技術(shù), 通過減少治療膠質(zhì)母細胞瘤過程中毒性化療和放療的劑量

MIT的研究人員正在使用新的機器學習技術(shù), 通過減少治療膠質(zhì)母細胞瘤過程中毒性化療和放療的劑量，來提高患者的生活質(zhì)量。而膠質(zhì)母細胞瘤是一種最嚴重的腦癌。

膠質(zhì)母細胞瘤是一種出現(xiàn)在大腦或脊髓中的惡性腫瘤，成人的預后不超過五年?；颊弑仨毴淌苊吭路暖熀头枚喾N藥物的聯(lián)合治療法。醫(yī)學專業(yè)人員通常在安全范圍內(nèi)給予最大藥物劑量以盡可能縮小腫瘤。但是這些藥效強烈的副作用會使患者非常虛弱。

在斯坦福大學2018年醫(yī)學健康機器學習大會上發(fā)表的一篇論文中，麻省理工學院Media實驗室的研究人員詳細介紹了一個模型，該模型可以使給藥方案毒性更小，但仍然有效。該模型以“自主學習”機器學習技術(shù)為動力，研究目前使用的治療方案，并反復調(diào)整劑量。最終，找到一個最佳的治療方案，可以盡可能降低毒性和劑量，而且仍然能夠?qū)⒛[瘤縮小到與傳統(tǒng)治療方案相當?shù)某潭取?/p>

在對50名患者的模擬試驗中，機器學習模型設(shè)計了治療周期，幾乎把所有的藥物劑量都降低了四分之一或一半，同時保持相同的效用使腫瘤縮小。多數(shù)情況下，它忽略了總劑量的限制，用一年給藥兩次替代每月給藥。

負責這項研究的Media實驗室的項目負責人（PI）Pratik Shah說:“我們堅持的目標是，一方面必須縮小腫瘤的大小，但同時也希望確保病人的生活質(zhì)量，不讓劑量毒性造成嚴重的疾病和有害副作用。”論文的第一作者是Media實驗室的研究員格Gregory Yauney。

鼓勵好的選擇

在這一研究中研究人員使用了一種被稱為強化學習(Reinforced Learning，RL )的技術(shù)，該方法受到行為心理學的啟發(fā)，在這種方法中，模型會偏愛那些可以帶來較好預期結(jié)果的行為。該技術(shù)利用人工智能“代理”，在不可預知的復雜環(huán)境中完成“動作”，以達到期望的“結(jié)果”。每當它完成一個動作時，代理會收到一個“獎勵”或“懲罰”，這取決于該動作是否朝著結(jié)果進行。然后，代理相應地調(diào)整其動作以實現(xiàn)預期的結(jié)果。

獎勵和懲罰基本上被標記為正數(shù)和負數(shù)，比如+ 1或- 1。除其他因素外，所得的分數(shù)取決于所采取的行動，根據(jù)結(jié)果的成功或失敗的概率計算得分。代理本質(zhì)上是試圖根據(jù)獎勵和懲罰值，從數(shù)值上優(yōu)化所有動作，在給定的任務中取得最大的結(jié)果分數(shù)。

這種方法被Deep Mind用來訓練計算機程序，該程序在2016年因擊敗了世界上最好的人類玩家之一而一舉成名。它還被用來訓練無人駕駛汽車的行駛策略，例如并入車流或停車，在這個程序里，車輛會反復練習，調(diào)整路線，直到正確。

研究人員將RL模型用于膠質(zhì)母細胞瘤的治療，該治療方案為替莫唑胺( TMZ )，普魯卡因、洛莫司汀和長春新堿( PVC )的聯(lián)合服藥療法，給藥時間長達數(shù)周或數(shù)月。

該模型梳理了傳統(tǒng)的給藥方案。這些方案在臨床上已經(jīng)使用了幾十年，并且基于動物試驗和各種臨床試驗制定。腫瘤學家使用這些既定的方案根據(jù)體重來預測患者的給藥劑量。當模型探索該方案時，在每個計劃的給藥間隔里，比如每月一次，會先決定其中的一個動作。首先，它可以啟動或停止一個劑量。如果確定給藥，會決定是否需要給足所有劑量，或者僅僅一部分劑量就足夠了。在每一個動作中，都會查驗另一個臨床模型——通常用于預測腫瘤因治療而帶來的體積變化——來看看這個動作是否會縮小平均腫瘤直徑。如果是的話，這個模型會得到獎勵。

然而，研究人員還必須確保該模型不僅僅為了最大療效而給出最大的劑量。任何時候模型選擇給予全部劑量時，它就會受到懲罰，因此它會選擇更少、更小的劑量。 “如果我們想做的只是縮小平均腫瘤直徑，放任它采取任何它想采取的行動，它將不負責任地給藥“，Shah說，“相反，我們需要減少那些一味的縮小腫瘤體積而產(chǎn)生的有害行為?！?/p>

Shah說，這是在論文中首次描述的非傳統(tǒng)的RL模型，它將行動(劑量)的潛在負面后果與結(jié)果(腫瘤減小)進行權(quán)衡。傳統(tǒng)的RL模型致力于單一結(jié)果，例如為了贏得一場比賽，將采取一切使結(jié)果最大化的行動。這個模型在每一個動作中都有靈活性，它可以找到一種劑量，這種劑量不一定能獨立的最大限度地減少腫瘤體積，但能在最大限度地減少腫瘤體積和低毒性之間達到完美的平衡。他補充說，這種技術(shù)在醫(yī)學和臨床試驗中有多種應用，在這些領(lǐng)域，治療方法應該被規(guī)范，以防止有害的副作用產(chǎn)生。

最佳方案

研究人員在50名病人身上訓練了這個模型，這些病人是從先前接受過傳統(tǒng)治療方法的膠質(zhì)母細胞瘤病人的大型數(shù)據(jù)庫中隨機挑選出來的。對于每個病人，該模型進行了大約20，000次試錯測試。訓練完成后，該模型學習最佳方案的參數(shù)。當應用于新的病人時，使用這些參數(shù)，并根據(jù)研究人員要求的各種限制來制定新的方案。

研究人員隨后在50名新的模擬患者身上測試了該模型，并將結(jié)果與那些使用了TMZ和PVC的常規(guī)治療方案的病人進行了比較。當沒有劑量懲罰時，該模型設(shè)計了和人類專家?guī)缀跸嗤姆桨?。然而，考慮小劑量和大劑量的懲罰時，它大大降低了劑量的頻率和效力，同時也減少了腫瘤的大小。

研究人員還設(shè)計了一個模型來單獨治療每個病人，也可以對一組病人進行治療，并取得了類似的結(jié)果。按照已有的方法整個患者群體都是使用了相同的給藥方案，但是腫瘤的大小、病史、基因譜和生物標記物的差異都會影響患者的治療方案。Shah說，在傳統(tǒng)的臨床試驗設(shè)計和其他治療中，這些變量沒有被考慮在內(nèi)，這通常會導致在大范圍病人中對治療效果反應不佳。

“我們不斷的優(yōu)化模型，來給不同的患者給出個性化的用藥方案。模型可以給這個人四分之一劑量，給那個人一半劑量，或許那個病人不需要服藥了。這是這項工作中最激動人心的部分，通過使用非正統(tǒng)的機器學習架構(gòu)進行一人試驗來產(chǎn)生精確的基于藥物的治療。”Shahs說。

研究人員表示，該模型比傳統(tǒng)的靠眼睛觀察來給藥、觀察患者反應然后做出相應調(diào)整的方法有了重大飛躍。人不具備機器查看大量數(shù)據(jù)后所獲得的深度感知，所以人類來處理的的話，過程是緩慢、乏味且不精確的。讓計算機在數(shù)據(jù)中尋找模式（讓人來做的話會花費大量時間來篩選），并使用這些模式來尋找最佳劑量?！?/p>

這項工作可能會引起美國食品和藥物管理局（FDA）的特別興趣，F(xiàn)DA正在尋找利用數(shù)據(jù)和人工智能開發(fā)健康技術(shù)的方法。法規(guī)仍然需要建立，但是毫無疑問，在短時間內(nèi)，F(xiàn)DA會想出如何適當?shù)貙彶檫@些“技術(shù)”，以便它們可以用于日常的臨床項目。"關(guān)于人工智能用于預測給藥劑量的其他報道，可以參見我們公眾號里以前的一篇推送，關(guān)于器官移植患者接受免疫制劑給藥劑量的報道>>在實現(xiàn)了檢查病、開藥方后，AI還將告訴你該如何吃藥—解讀最佳藥物組合和給藥計量