研究人員提出將深度學(xué)習(xí)技術(shù)引入細(xì)胞成像和分析中

近日，研究人員提出，希望將深度學(xué)習(xí)技術(shù)引入細(xì)胞成像和分析中，可以將混亂的生物學(xué)問(wèn)題轉(zhuǎn)化為可解決的計(jì)算。該研究以「Small images， big picture： Artificial intelligence to revolutionize microscopy」為題發(fā)表在《Science》雜志上。

20 年前，計(jì)算機(jī)生物學(xué)家 Anne Carpenter 在讀博士時(shí)第一次意識(shí)到她需要學(xué)習(xí)計(jì)算機(jī)編程。

Carpenter 說(shuō)：「在麻省理工學(xué)院和哈佛大學(xué)的博德研究所 （Broad Institute of MIT and Harvard in Cambridge） 管理實(shí)驗(yàn)室的時(shí)候。她記得當(dāng)她要面對(duì)三個(gè)月的手動(dòng)圖像分析，或者選擇讓顯微鏡自行運(yùn)行。她選擇了后者?！?自那以后，這種自動(dòng)化方法顯示出了解決——或者至少開(kāi)始解決——一些限制科學(xué)家使用顯微鏡技術(shù)手動(dòng)觀察細(xì)胞工作問(wèn)題的潛力。例如，自動(dòng)化可以減少識(shí)別細(xì)胞變化（即細(xì)胞形態(tài)）的耗時(shí)。

Carpenter 的實(shí)驗(yàn)室致力于使用軟件加速藥物發(fā)現(xiàn)，分析數(shù)百萬(wàn)張圖像中包含的細(xì)胞形態(tài)數(shù)據(jù)。她說(shuō)：「藥物開(kāi)發(fā)過(guò)程中存在許多瓶頸，而這些圖像的數(shù)據(jù)對(duì)每個(gè)瓶頸都很有用：從建立更好的與疾病相關(guān)的測(cè)定法和篩選庫(kù)，到預(yù)測(cè)測(cè)定結(jié)果和毒性?！?/p>

管理局限性

目前，得克薩斯州休斯敦萊斯大學(xué)（Rice University）生物工程學(xué) Rebecca Richards-Kortum 正與 MD 安德森癌癥中心（MD Anderson Cancer Center）合作，解決傳統(tǒng)顯微鏡的一些基本局限性。使用常規(guī)顯微鏡時(shí)，景深（DOF）和空間分辨率之間存在固定的權(quán)衡：所需的空間分辨率越高，DOF 越窄。該團(tuán)隊(duì)與萊斯的 Ashok Veeraraghavan 和安德森的 Ann Gillenwater 合作，開(kāi)發(fā)了一種稱為 DeepDOF 的計(jì)算顯微鏡，該顯微鏡在保持分辨率的情況下，其 DOF 可以達(dá)到傳統(tǒng)顯微鏡的五倍以上，從而大大減少了圖像處理所需的時(shí)間。

Richards-Kortum 解釋說(shuō)：「DeepDOF 使用了放置在顯微鏡孔徑處的優(yōu)化相位掩模和基于深度學(xué)習(xí)的算法，該算法將傳感器數(shù)據(jù)轉(zhuǎn)換為高分辨率的大 DOF 圖像。」

「由于其低成本，高速和自動(dòng)分析功能，我們希望 DeepDOF 的范圍可以擴(kuò)展到能夠準(zhǔn)確評(píng)估口腔癌腫瘤切緣的手術(shù)中心的數(shù)量。準(zhǔn)確評(píng)估患病組織的能力可以幫助優(yōu)化手術(shù)切除的效果，尤其是在資源有限的地區(qū)，例如農(nóng)村地區(qū)。」Richards-Kortum 說(shuō)，「利用顯微鏡和人工智能開(kāi)發(fā)她的創(chuàng)新醫(yī)療技術(shù)的最大挑戰(zhàn)之一是『前瞻性』證明其益處的必要性?！?/p>

為計(jì)算顯微鏡提供動(dòng)力的深度學(xué)習(xí)算法需要大型數(shù)據(jù)集來(lái)訓(xùn)練它們執(zhí)行獨(dú)立的任務(wù)，但此類(lèi)數(shù)據(jù)集并不總是很容易獲得。然后，必須評(píng)估這些算法的性能，并將其與當(dāng)前的分析標(biāo)準(zhǔn)進(jìn)行比較。

Richards-Kortum 表示：「這是整個(gè)醫(yī)療技術(shù)界的共同挑戰(zhàn)?！?/p>

應(yīng)對(duì)挑戰(zhàn)

Ricardo Henriques 管理著葡萄牙古爾班基安（Instituto Gulbenkian de Ciência）光學(xué)細(xì)胞生物學(xué)實(shí)驗(yàn)室。他的跨學(xué)科團(tuán)隊(duì)由光學(xué)物理學(xué)家、計(jì)算機(jī)科學(xué)家和生物醫(yī)學(xué)研究人員組成，致力于改進(jìn)當(dāng)前成像技術(shù)的局限性。該團(tuán)隊(duì)專(zhuān)注于兩個(gè)關(guān)鍵挑戰(zhàn)：如何分析感染活細(xì)胞病毒的實(shí)時(shí)行為；以及如何建立智能顯微鏡技術(shù)，以減少在觀察過(guò)程中光對(duì)生物系統(tǒng)造成的損害，即所謂的光毒性。

為了想象這些想法協(xié)同工作，他建議將細(xì)胞比作足球運(yùn)動(dòng)員。

「因此，您想拍攝一場(chǎng)足球比賽，但是相機(jī)上有些東西對(duì)球員有害。」Henriques 說(shuō)，「為減少對(duì)他們的風(fēng)險(xiǎn)，您必須使拍攝時(shí)間最少，但你也需要做出正確的決定，捕捉哪些關(guān)鍵時(shí)刻才能真正理解比賽?！?/p>

Henriques 的團(tuán)隊(duì)正在開(kāi)發(fā)機(jī)器學(xué)習(xí)算法，該算法可以更好地預(yù)測(cè)病毒感染過(guò)程中細(xì)胞內(nèi)的關(guān)鍵事件何時(shí)發(fā)生，并捕捉這些時(shí)刻。同時(shí)，這些算法將嘗試減少捕獲無(wú)關(guān)變化所花費(fèi)的時(shí)間，并減少細(xì)胞暴露在這些有毒環(huán)境中的時(shí)間。

對(duì) Henriques 而言，建立跨學(xué)科團(tuán)隊(duì)來(lái)解決這些問(wèn)題是非常重要的，因?yàn)檫@項(xiàng)工作涉及多種科學(xué)技能。

Henriques 說(shuō)：「需要徹底改變思維方式，才能將 AI 全面納入科學(xué)研究?！?/p>

顯微技術(shù)固有的許多學(xué)科，例如物理學(xué)和生物學(xué)，由于各領(lǐng)域之間的語(yǔ)言障礙以及如何定期針對(duì)離散區(qū)域而不是協(xié)作項(xiàng)目而組織資金，存在自然而然地傾向于分開(kāi)工作的趨勢(shì)。

Henriques 說(shuō)：「各組織正在緩慢地投資建設(shè)這些橋梁，但還需要做更多的工作來(lái)鼓勵(lì)這種做法。」

建立橋梁

地球科學(xué)家 Matt Andrew 在加利福尼亞州都柏林的光學(xué)技術(shù)公司 ZEISS 工作，他的研究重點(diǎn)是多孔巖和沉積巖石中的流動(dòng)和輸運(yùn)過(guò)程。Andrew 說(shuō)，「我的工作越來(lái)越集中在技術(shù)開(kāi)發(fā)上，以更好地利用顯微鏡產(chǎn)生的數(shù)據(jù)。我現(xiàn)在與公司中的各個(gè)團(tuán)隊(duì)合作，幫助同事們將 AI 融入他們的研究實(shí)踐中?！?/p>

「無(wú)論是在觀察細(xì)胞還是在巖石，不論他們對(duì)深度學(xué)習(xí)技術(shù)的了解如何。將 AI 引入顯微鏡的日常實(shí)踐的關(guān)鍵是確保任何科學(xué)家都可以使用該技術(shù)?！笰ndrew 說(shuō)，「建立能夠釋放深度學(xué)習(xí)潛力和力量，快速工作且易于使用的工作流程，是采用深度學(xué)習(xí)的關(guān)鍵?！?/p>

例如，Andrew 和他的團(tuán)隊(duì)使用一種稱為「解決方案實(shí)驗(yàn)室（Solutions Lab）」的流程來(lái)構(gòu)建工作流，該工作流使用 AI 自動(dòng)檢測(cè)科學(xué)家可能希望調(diào)查的樣本區(qū)域。他說(shuō)：「您可以使用 AI 來(lái)識(shí)別與各個(gè)特征相對(duì)應(yīng)的區(qū)域，然后以更高的分辨率對(duì)其進(jìn)行成像。」他補(bǔ)充說(shuō)，「AI 技術(shù)通常使用開(kāi)源庫(kù)和共享組件，我們的技術(shù)之所以如此成功是因?yàn)槲覀兇_保它們使用起來(lái)更簡(jiǎn)單明了，并且更容易消化?！?/p>

Andrew 相信：「我們正處于顯微鏡數(shù)據(jù)使用和實(shí)現(xiàn)的革命的開(kāi)端。」

他說(shuō)：「如果回想起 5 年前，我們還不知道我們可以使用這種技術(shù)進(jìn)行顯微鏡檢查?，F(xiàn)在，我們正朝著這樣一個(gè)方向發(fā)展，我們將要把這些算法置于我們所有工作場(chǎng)所的各個(gè)部分的核心位置?！?/p>

總部位于德國(guó)韋茨拉爾的 Leica Microsystems 主管 Luciano Guerreiro Lucas 也致力于開(kāi)發(fā)智能軟件解決方案，以解決生命科學(xué)和生物制藥界在處理圖像數(shù)據(jù)時(shí)面臨的一些最大問(wèn)題。在過(guò)去的 41/2 年中，他的團(tuán)隊(duì)一直在建立一個(gè)經(jīng)過(guò)預(yù)訓(xùn)練的深度學(xué)習(xí)模型庫(kù)以及 Aivia 軟件，該軟件可以使任何人利用 AI 顯微鏡技術(shù)。

「現(xiàn)有的工具忽略了這樣一個(gè)事實(shí)，即研究人員可能是生物學(xué)或類(lèi)似學(xué)科的專(zhuān)家，但在顯微鏡或圖像分析方面的專(zhuān)業(yè)知識(shí)卻非常有限?！筁ucas 說(shuō)，「我們正在創(chuàng)建利用生物學(xué)家的專(zhuān)業(yè)知識(shí)并向他們學(xué)習(xí)的工具。這樣的工具應(yīng)該逐漸了解細(xì)胞是什么以及在多種情況下看起來(lái)是什么樣子，并最終自動(dòng)進(jìn)行成像和圖像分析，從而使研究人員能夠?qū)Ｗ⒂诳茖W(xué)發(fā)現(xiàn)過(guò)程的創(chuàng)造性和批判性思維部分?！?/p>

Lucas 說(shuō)：「目前實(shí)現(xiàn)這一想法的挑戰(zhàn)是高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)供應(yīng)有限以及缺乏標(biāo)準(zhǔn)圖像格式。這些問(wèn)題使我們很難更快地發(fā)展。此外，確實(shí)存在的數(shù)據(jù)傾向于保存在孤立的孤島中。在研究領(lǐng)域，很難就文件和數(shù)據(jù)標(biāo)準(zhǔn)達(dá)成廣泛的共識(shí)。研究人員都喜歡以自己的方式做事。」

「商業(yè)和學(xué)術(shù)界需要投入更多的時(shí)間來(lái)教育社區(qū)了解有關(guān)解決這些問(wèn)題的好處。」Lucas 說(shuō)道。

數(shù)據(jù)操作

Steven Finkbeiner 是加利福尼亞州舊金山格萊斯頓研究所（Gladstone Institutes）的主任兼高級(jí)研究員，在過(guò)去的十年中一直處于 AI 和顯微鏡研究的前沿。自從發(fā)明了可以一次追蹤細(xì)胞數(shù)月的全自動(dòng)機(jī)器人顯微鏡以來(lái)，他和他的團(tuán)隊(duì)產(chǎn)生了大量的數(shù)據(jù)。這些信息讓他的團(tuán)隊(duì)有能力真正探索 AI 的潛力。

他說(shuō)：「我們一直在『無(wú)恥』地使用我們生成的 PB 級(jí)數(shù)據(jù)?！?/p>

例如，他的團(tuán)隊(duì)正在使用面部識(shí)別 AI 技術(shù)——將細(xì)胞的形態(tài)作為面部進(jìn)行處理——來(lái)識(shí)別和追蹤組織等復(fù)雜系統(tǒng)（例如組織）中的單個(gè)細(xì)胞。

他說(shuō)：「我們希望這些方法將為研究涉及復(fù)雜細(xì)胞 - 細(xì)胞相互作用（例如神經(jīng)炎癥）的過(guò)程開(kāi)辟新的可能性?！?/p>

Finkbeiner 還通過(guò)展示神經(jīng)網(wǎng)絡(luò)中來(lái)自患者細(xì)胞圖像的例子，教授學(xué)習(xí)網(wǎng)絡(luò)來(lái)診斷神經(jīng)退行性疾病，例如肌萎縮性側(cè)索硬化癥（ALS）和帕金森氏病。

Finkbeiner 說(shuō)：「我們以一種相對(duì)公正的方式詢問(wèn)網(wǎng)絡(luò)，看它是否可以在圖像中找到任何能夠做出準(zhǔn)確診斷的東西，我們得到了令人鼓舞的結(jié)果。我們希望這可以對(duì)患者進(jìn)行分層，發(fā)現(xiàn)生物標(biāo)志物并開(kāi)發(fā)有效的個(gè)性化療法的新方法。甚至有可能在癥狀開(kāi)始之前診斷出患病的風(fēng)險(xiǎn)，這將是變革性的?！?/p>

他的團(tuán)隊(duì)還使用 AI 來(lái)預(yù)測(cè)細(xì)胞的未來(lái)命運(yùn)?！笧榱俗龅竭@一點(diǎn)，我們正在利用縱向單細(xì)胞數(shù)據(jù)和深度學(xué)習(xí)網(wǎng)絡(luò)來(lái)尋找細(xì)胞在早期時(shí)間點(diǎn)的特征，從而預(yù)測(cè)其命運(yùn)。我們現(xiàn)在將其用于癌癥項(xiàng)目，這將有助于我們理解為什么有些細(xì)胞會(huì)產(chǎn)生耐藥性，而有些卻沒(méi)有?！?Finkbeiner 說(shuō)。

將 AI 引入實(shí)驗(yàn)室

Rich Gruskin 是尼康儀器公司軟件系統(tǒng)的高級(jí)總經(jīng)理，公司總部位于紐約梅爾維爾。他與客戶合作密切，以確保研究人員能夠輕松采用 AI 技術(shù)。

在最近的一個(gè)案例中，客戶希望在其無(wú)標(biāo)記（label-free）（明視野）圖像數(shù)據(jù)中識(shí)別多種細(xì)胞類(lèi)型。由于它們是低對(duì)比度圖像，有時(shí)只在細(xì)微的形態(tài)特征上有所不同，因此對(duì)數(shù)個(gè) AI 網(wǎng)絡(luò)進(jìn)行了訓(xùn)練，使其可以在一種分析方法中協(xié)同工作以區(qū)分不同的細(xì)胞類(lèi)型。

圖示： label-free microscopy（來(lái)源：nature）

「我們使用客戶的數(shù)據(jù)集訓(xùn)練了神經(jīng)網(wǎng)絡(luò)，并進(jìn)行了運(yùn)行，效果很好?！笹ruskin 說(shuō)，「有時(shí)候，如果在嘗試新事物時(shí)遇到阻力，我們會(huì)介入并幫助客戶處理信息，建立新的慣例并向他們展示其工作原理。確保應(yīng)用程序輕松自如且迅速獲得結(jié)果是建立使用新技術(shù)信心的關(guān)鍵?！?/p>

AI 的未來(lái)

學(xué)術(shù)和商業(yè)領(lǐng)域的研究人員普遍認(rèn)為，將 AI 應(yīng)用于科學(xué)生活的最大障礙是對(duì)未知的恐懼。然而，AI 日益增長(zhǎng)的影響力是不可否認(rèn)的。

「變化是在幾個(gè)月而不是幾年內(nèi)發(fā)生的。」Henriques 說(shuō)，「看看自動(dòng)駕駛汽車(chē)。他們正在做的正是我們想要用顯微鏡做的，實(shí)時(shí)觀察他們的環(huán)境，并決定如何與顯微鏡相互作用以及如何保持有機(jī)體的生命——汽車(chē)?yán)锏娜恕！?/p>

但是，也有一種感覺(jué)，雖然變革是不可避免的，但社會(huì)需要做出更加堅(jiān)定的承諾，以確保所有科學(xué)家都可以從這些新技術(shù)中受益。Finkbeiner 認(rèn)為，創(chuàng)建一些公共圖像資源庫(kù)對(duì)計(jì)算機(jī)領(lǐng)域很有幫助，計(jì)算機(jī)科學(xué)家可以使用這些資源庫(kù)來(lái)開(kāi)發(fā)新的算法和方法。

「大學(xué)甚至高中的孩子們也可以使用這樣的數(shù)據(jù)進(jìn)行教育和培訓(xùn)。這個(gè)領(lǐng)域的潛力是巨大的，因此，現(xiàn)在投資進(jìn)行培訓(xùn)以培養(yǎng)真正使我們前進(jìn)的一代人將是一件很棒的事情?！笷inkbeiner 說(shuō)，「我們希望看到學(xué)術(shù)機(jī)構(gòu)更加重視促進(jìn)生物學(xué)家和計(jì)算機(jī)科學(xué)家之間的合作?！?/p>

Finkbeiner 表示：「擁有計(jì)算機(jī)科學(xué)系并認(rèn)識(shí)到多學(xué)科科學(xué)價(jià)值的大學(xué)有機(jī)會(huì)發(fā)揮領(lǐng)導(dǎo)作用。計(jì)算機(jī)科學(xué)與生物學(xué)之間的鴻溝很大，需要我們持續(xù)的努力和支持來(lái)點(diǎn)燃火花?！?/p>

原文標(biāo)題：小圖像，大圖景：AI徹底改變了顯微鏡技術(shù)

文章出處：【微信公眾號(hào)：新機(jī)器視覺(jué)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq