通過使用新的學(xué)習(xí)技術(shù)，將腦部掃描和其他三維圖像的配準(zhǔn)速度提高1000倍以上

醫(yī)學(xué)圖像配準(zhǔn)是一種常見的技術(shù)，將不同時(shí)期病人的磁共振( MRI )或CT等醫(yī)學(xué)影像的結(jié)果進(jìn)行匹配，來更詳細(xì)地比較和分析解大腦解剖結(jié)構(gòu)方面的差異。如果病人有腦瘤，醫(yī)生可以將幾個(gè)月前的腦部掃描結(jié)果重疊到最近的掃描圖像上，以分析腫瘤微小的病程發(fā)展。

然而，這一過程通常需要兩個(gè)小時(shí)或更長(zhǎng)時(shí)間，因?yàn)閭鹘y(tǒng)系統(tǒng)會(huì)在待比對(duì)的圖像中一絲不茍的對(duì)齊一百萬個(gè)像素點(diǎn)中的每一個(gè)。為了解決這一問題，MIT的研究人員描述了一種機(jī)器學(xué)習(xí)算法，通過使用新的學(xué)習(xí)技術(shù)，將腦部掃描和其他三維圖像的配準(zhǔn)速度提高1000倍以上。

該算法在配準(zhǔn)成千上萬對(duì)圖像的過程中，通過“學(xué)習(xí)”來工作。在此過程中，獲取有關(guān)如何對(duì)齊圖像的信息，并估計(jì)一些最佳對(duì)齊參數(shù)。訓(xùn)練后，運(yùn)用這些參數(shù)一次性將一幅圖像的所有像素映射到另一幅圖像上。該算法使利用普通計(jì)算機(jī)進(jìn)行配準(zhǔn)的時(shí)間減少到一兩分鐘，或者使利用卓越性能的GPU進(jìn)行配準(zhǔn)的時(shí)間減少到不到一秒鐘。

“當(dāng)可以對(duì)齊其中一對(duì)或另一對(duì)MRI掃描圖像時(shí)，配準(zhǔn)MRI圖像的任務(wù)就不應(yīng)該困難了 ?！?這兩篇論文的共同作者，麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室( CSAIL )和工程與計(jì)算機(jī)科學(xué)系( EECS )研究生 Guha Balakrishnan說:“在進(jìn)行對(duì)齊配準(zhǔn)時(shí)，是可以學(xué)到一些信息并繼承下來的。如果能從以前的圖像配準(zhǔn)中學(xué)到一些東西，就能以同樣的精度更快地完成新的任務(wù)。"

這些論文在剛剛過去的計(jì)算機(jī)視覺和模式識(shí)別會(huì)議(Conference on Computer Vision and Pattern Recognition,CVPR )以及9月舉行的醫(yī)學(xué)圖像計(jì)算和計(jì)算機(jī)輔助干預(yù)會(huì)議(Medical Image Computing and Computer Assisted Interventions Conference, MICCAI )上發(fā)表，共同作者有: 馬薩諸塞州總醫(yī)院和CSAIL的博士后Adrian Dalca，CSAIL研究生Amy Zhao，在CSAIL做過博士后，現(xiàn)任康奈爾大學(xué)教授的Mert R. Sabuncu以及麻省理工學(xué)院電氣工程教授John Guttag。

留住知識(shí)

MRI掃描結(jié)果基本上是數(shù)百個(gè)堆疊的二維圖像，形成龐大的三維圖像，稱為“體積”（volume），它包含了一百萬個(gè)或更多的三維像素，稱為“體素”(voxel)。因此，將第一個(gè)3D圖像的所有體素與第二個(gè)圖像的所有體素對(duì)齊非常耗時(shí)。此外，掃描結(jié)果可以來自不同的機(jī)器，并且具有不同的空間方向，這意味著匹配體素的計(jì)算更加復(fù)雜?！澳阌袃蓚€(gè)不同大腦的不同圖像，把它們疊放在一起，然后你開始轉(zhuǎn)動(dòng)其中一個(gè)，直到兩個(gè)可以匹配上。數(shù)學(xué)上，這個(gè)優(yōu)化過程需要很長(zhǎng)時(shí)間，”CVPR論文的資深作者、MICCAI論文的主要作者Dalca說。

當(dāng)分析來自大量人群的掃描時(shí)，這個(gè)過程變得特別緩慢。例如，神經(jīng)科學(xué)家分析數(shù)百名患有特定疾病或癥狀的患者的大腦結(jié)構(gòu)的變化時(shí)，可能需要數(shù)百小時(shí)?！澳鞘且?yàn)檫@些算法有一個(gè)主要缺陷:它們從不會(huì)從已有的經(jīng)驗(yàn)中學(xué)習(xí)。在每次配準(zhǔn)之后，它們清楚了與體素位置有關(guān)的所有數(shù)據(jù)。:“從本質(zhì)上說，給一對(duì)新的圖像，算法要從零開始?！盉alakrishnan說，“經(jīng)過100次配準(zhǔn)后，算法應(yīng)該從校準(zhǔn)中學(xué)到了一些東西。我們的研究就是基于這樣的想法開始的。”

研究人員的算法被稱為“VoxelMorph”，基于卷積神經(jīng)網(wǎng)絡(luò)( CNN )，CNN是一種常用于圖像處理的機(jī)器學(xué)習(xí)方法。這些網(wǎng)絡(luò)由許多節(jié)點(diǎn)組成，這些節(jié)點(diǎn)跨幾個(gè)計(jì)算層來處理圖像和其他信息。

在CVPR論文中，研究人員在7000張公開的MRI腦部掃描圖像上訓(xùn)練了他們的算法，然后在另外250張掃描圖像上進(jìn)行了測(cè)試。訓(xùn)練中，大腦掃描圖像被成對(duì)輸入算法中。使用CNN和稱為空間轉(zhuǎn)換器的修改計(jì)算層，來捕獲一張MRI掃描圖與另一張MRI掃描圖的相似體素。在此過程中，該算法學(xué)習(xí)關(guān)于體素組的信息，例如兩次掃描共有的解剖形狀，用于計(jì)算可應(yīng)用于任何圖像配準(zhǔn)的優(yōu)化參數(shù)。當(dāng)輸入兩次新掃描時(shí)，一個(gè)簡(jiǎn)單的數(shù)學(xué)“函數(shù)”使用這些優(yōu)化參數(shù)快速計(jì)算兩次掃描中每個(gè)體素的精確對(duì)齊。

簡(jiǎn)而言之，算法的CNN組件在訓(xùn)練期間獲得所有必要的信息，使得在每次新配準(zhǔn)時(shí)，可以使用一個(gè)易于計(jì)算的函數(shù)評(píng)估來執(zhí)行整個(gè)配準(zhǔn)。

研究人員發(fā)現(xiàn)，他們的算法可以在兩分鐘內(nèi)用傳統(tǒng)的中央處理器精確地配準(zhǔn)所有的250次大腦掃描測(cè)試圖像（在訓(xùn)練之后進(jìn)行的圖像配準(zhǔn)測(cè)試），并在不到一秒鐘內(nèi)用圖形處理單元完成配準(zhǔn)。

重要的是，該算法是“無監(jiān)督的”算法，意味著不需要圖像數(shù)據(jù)之外的附加信息。一些配準(zhǔn)算法雖然嵌入了CNN模型，但是需要一個(gè)“基準(zhǔn)線”，這意味著要首先運(yùn)行另一種傳統(tǒng)算法來計(jì)算精確配準(zhǔn)。而這種算法在沒有這些數(shù)據(jù)的情況下仍保持了準(zhǔn)確性。

MICCAI論文開發(fā)了一種改進(jìn)的VoxelMorph算法，Balakrishnan說，“我們對(duì)每個(gè)配準(zhǔn)都非常有自信”。這個(gè)算法保證了配準(zhǔn)的“平滑性”，這意味著它不會(huì)在合成圖像中產(chǎn)生褶皺、孔洞或通常的變形。本文提出了一個(gè)數(shù)學(xué)模型，該模型用一種稱為骰子分?jǐn)?shù)的的指標(biāo)來驗(yàn)證算法的準(zhǔn)確性，骰子分?jǐn)?shù)是評(píng)價(jià)重疊圖像準(zhǔn)確性的一種標(biāo)準(zhǔn)度量。在17個(gè)腦區(qū)中，改進(jìn)的VoxelMorph算法的精確度與常用的最先進(jìn)的配準(zhǔn)算法相同，同時(shí)在方法和用時(shí)方面有了很大的提升。

大腦掃描圖像配準(zhǔn)以外的應(yīng)用

研究人員說，除了分析腦部掃描圖像之外，快速算法還有更廣泛的潛在應(yīng)用。例如，麻省理工學(xué)院的同事目前正在肺部圖像上運(yùn)行該算法。

該算法還為手術(shù)過程中的圖像配準(zhǔn)奠定了基礎(chǔ)。在一些手術(shù)進(jìn)行之前或?qū)嵤┲袝?huì)使用不同質(zhì)量和速度的掃描儀器進(jìn)行圖像采集。但這些圖像直到手術(shù)后才會(huì)進(jìn)行配準(zhǔn)。例如，在切除腦腫瘤時(shí)，外科醫(yī)生有時(shí)會(huì)在手術(shù)前后掃描病人的大腦，對(duì)比是否切除了所有腫瘤。如果還有沒有切除干凈的部分，就重回手術(shù)室再進(jìn)行切除。

Dalca說，有了新的算法，外科醫(yī)生幾乎可以實(shí)時(shí)地配準(zhǔn)掃描圖像，從而更清楚地了解手術(shù)進(jìn)展。“但目前在手術(shù)過程中無法真正重疊影像，因?yàn)檫@個(gè)過程需要兩個(gè)小時(shí)，而且手術(shù)仍在進(jìn)行中?！彼f“如果這個(gè)過程只要一秒鐘，那它就可以在實(shí)際中應(yīng)用了。”

“現(xiàn)在有非常多的工作使用的的深度學(xué)習(xí)框架缺乏創(chuàng)造力或想象力。而這項(xiàng)工作不需要依賴大量的研究，它非常巧妙地將非線性映射當(dāng)做一個(gè)學(xué)習(xí)任務(wù)。學(xué)習(xí)需要幾個(gè)小時(shí)，但是使用網(wǎng)絡(luò)的時(shí)候只需要幾秒鐘?！?哈佛醫(yī)學(xué)院放射學(xué)教授、麻薩諸塞州總醫(yī)院神經(jīng)科學(xué)家Bruce Fischl說，“這種方法將大量繁雜的工作（圖像配準(zhǔn)）變成了只要進(jìn)行一次的學(xué)習(xí)過程，并將耗時(shí)數(shù)小時(shí)的工作在數(shù)秒內(nèi)完成，這為醫(yī)學(xué)影像和臨床實(shí)踐開辟了新的可能！譬如，當(dāng)患者還躺在掃描儀器里時(shí)，算法就可以運(yùn)行算法完成計(jì)算，當(dāng)時(shí)就能夠決定需要獲取什么類型的數(shù)據(jù)以及應(yīng)該聚焦到大腦的哪個(gè)部位，而無需要求患者在幾天或幾周之后再返回進(jìn)行檢查?！盕ischl補(bǔ)充說，他的實(shí)驗(yàn)室開發(fā)了用于神經(jīng)影像分析的開源軟件工具，希望能很快使用這種算法。他說：“我們最大的缺點(diǎn)是分析數(shù)據(jù)庫所花的時(shí)間太長(zhǎng)，而且到目前為止，分析中計(jì)算密集程度較高的部分是非線性映射，所以這些工具對(duì)我來說非常有意義?！?/p>