師法自然 自動追蹤生物運動的AI工具

很長一段時間以來，科學(xué)家一直都需要這樣一款工具。

在一個視頻片段中，一只嚙齒目動物伸出一只爪子抓住了一小塊食物，你會看到它的指關(guān)節(jié)位置處都自動閃現(xiàn)出彩色的小圓點。而在另一片段中，一匹賽馬正沿著賽道急速馳騁，彩色小圓點在不斷地跟隨它的動作閃爍，追蹤其身體各部位的位置。在第三個視頻片段中，兩位人類舞者正圍繞著彼此做轉(zhuǎn)圈的動作，他們肢體的動作時而流暢，時而停頓，而同樣的這些彩色小點卻不間斷地跟隨著他們的肢體移動。

這些片段來自于一種可以自動追蹤并標(biāo)記移動生物身體部位的工具—DeepLabCut 的展示視頻之中。這一工具是在今年由一對神經(jīng)科學(xué)家夫婦 Mackenzie Mathis 和 Alexander Mathis 共同研發(fā)而出，以其簡單、易操作性而見長。任何研究人員都可以從網(wǎng)絡(luò)上下載任何視頻，并在幾十幀素材對其中特定的身體部位進行數(shù)字標(biāo)記。然后，這一工具就會自動學(xué)習(xí)如何在視頻的其余部分挑選出相同或者類似的功能。并且，這一工具適用于不同的物種，既可以用于蒼蠅和老鼠這些實驗室的“常客”，也適用于一些更不尋常的動物物種，接下來就是這樣的一個例子。

一部拍攝于哥斯達黎加的視頻展示了一種被稱為地衣螽斯的昆蟲，這種昆蟲的外觀形態(tài)可以與它的生存環(huán)境-白色地衣完美的融為一體，通過這種方式來偽裝自己。但是，DeepLabCut 卻能夠透過地衣螽斯的偽裝形態(tài)，成功地對它的腳、關(guān)節(jié)和觸角進行標(biāo)記。來自哈佛大學(xué)神經(jīng)科學(xué)研究團隊 MurthyLab 的領(lǐng)頭人 Venkatesh Murthy（也是 Mathis 夫婦的同時）說道：“我認為這種方法將徹底改變行為科學(xué)，包括神經(jīng)科學(xué)和心理學(xué)?！?/p>

行為科學(xué)領(lǐng)域的許多研究都取決于能否理解人類和動物的行為，而這往往是通過解析錄制下來的動作來進行。例如，來自法國國家科學(xué)研究中心的 James Bonaiuto 就對持有工具的人的肢體運動是如何與他們大腦中的神經(jīng)活動模式相關(guān)聯(lián)這一問題進行了研究。他表示：“許多研究都需要一批研究生的配合來進行，因為需要他們一幀一幀、煞費苦心地去編碼行為視頻?！倍?DeepLabCut 能夠讓這項原本繁重的工作自動化進行，因而此類的研究也可以更加快速、更加準(zhǔn)確的推進。

來自哥倫比亞大學(xué) Zuckerman 大腦行為研究機構(gòu)的研究人員 Andres Bendesky 正在使用這一算法來研究斗魚的戰(zhàn)斗行為，他補充道：“我用過很多商業(yè)和學(xué)術(shù)視頻追蹤軟件，甚至自己也編寫過一款，DeepLabCut 相比它們來說好了不是一點半點。很長一段時間以來，人們一直都需要這樣一款軟件，我希望至少在一段時間之內(nèi)它能成為該領(lǐng)域的標(biāo)準(zhǔn)?！?/p>

來自以色列本·古里安大學(xué)（Ben Gurion University of the Negev）的神經(jīng)科學(xué)家 Ilana Nisky 博士正在使用 DeepLabCut 來分析外科醫(yī)生如何使用他們的手術(shù)針這一問題，以更好地編程可以協(xié)助手術(shù)的機器人。她說道：“DeepLabCut 效果非常好，即便在試驗過程中面向攝像頭的一側(cè)位置發(fā)生變化，它也可以幫助我們很好地追蹤手術(shù)針的針頭以及針尾部位?！?/p>

DeepLabCut 的出現(xiàn)非常必要。當(dāng)時 Alexander Mathis 正試圖通過觀察老鼠對氣味痕跡的追蹤行為來探索嗅覺方面的神經(jīng)科學(xué)。要做到這一點，他需要有一種簡單的方法可以在視頻中對老鼠的鼻頭這一位置進行標(biāo)記。但據(jù)他表示：“神經(jīng)科學(xué)家所用過的那些經(jīng)典方法在這里都以失敗告終?！崩?，研究人員經(jīng)常會在需要觀察的身體部位上點涂或粘上反光點，但是對于像老鼠鼻子這種又小、又敏感的部位來說，這種方法顯然不可行。Alexander 說道：“多年來，我們嘗試了多款商業(yè)軟件，也嘗試了很多其他的解決方案，但都行不通。于是我們決定從當(dāng)下的實驗中暫時后退一步，用一年的時間來嘗試解決這一問題?！?/p>

從本質(zhì)上來看，DeepLabCut 其實是 DeeperCut 的修改版本，DeeperCut 是由其他研究人員創(chuàng)建的一個神經(jīng)網(wǎng)絡(luò)，用于檢測和標(biāo)記視頻中的人體姿態(tài)。這種神經(jīng)網(wǎng)絡(luò)在這方面非常擅長，但是前提是你必須先向它們展示成千上萬幀的手工標(biāo)記素材來訓(xùn)練它們。并且，如果你想讓它們對有著不同運動方式的不同物種進行標(biāo)記，那你需要重新對它們進行訓(xùn)練。

Mathises 夫婦首先在一個龐大的在線圖像數(shù)據(jù)庫—ImageNet 上對他們的網(wǎng)絡(luò)進行前期培訓(xùn)，從而解決了這一繁瑣的操作步驟。這一步也有效地教會了神經(jīng)網(wǎng)絡(luò)如何去看待這個世界，并為其提供了一個基礎(chǔ)視覺系統(tǒng)。這樣一來，這一神經(jīng)網(wǎng)絡(luò)就能知道怎樣區(qū)分草莓與飛機或者是貓與狗。

在這之后，再教會網(wǎng)絡(luò)去識別一些例如老鼠的爪子、斗魚的鰭或者是螽斯的腿這樣更為具體的東西也就更為容易了，不需要再手動去對上千上萬幀素材進行標(biāo)記，只要幾百幀甚至幾十幀就能達到培訓(xùn)效果。Mackenzie 說道：“這就像是我們對它說，‘你可以看到這個世界，現(xiàn)在我們希望你能找到這些身體部位，我們會先給你幾幀素材?！Y(jié)果是它真的可以做到?！?/p>

將多功能性與可靠性兩點整合到一起，這可以說是非常獨特的成果。在過去的研究中，來自哥倫比亞大學(xué)的 Avner Wallach 曾依靠一種復(fù)雜的算法，這種算法專門用于追蹤單只嚙齒動物胡須的位置，除此之外別無它用。盡管如此，其中仍然出現(xiàn)了很多的錯誤，幾名學(xué)生不得不定期對追蹤結(jié)果進行核查。Wallach 現(xiàn)在正在使用 DeepLabCut 來追蹤彼氏錐頜象鼻魚（分布于非洲尼日爾及剛果河流域，通過自身發(fā)出的微弱電流來感知周圍的環(huán)境）的運動，他說道：“這樣一種多功能并且具有普適性的算法絕對可以為世界各地的實驗場所省去大量的工作。”

現(xiàn)在世界各地的研究人員都可以免費使用 DeepLabCut，并且他們也都在充分利用這一工具，其中有許多是通過 Mathises 夫婦二人都無法預(yù)料的方式。Alexander 補充道：“有一家公司聯(lián)系了我們，他們想要利用這一工具來預(yù)測某一匹馬是否能夠成為一匹優(yōu)秀的賽馬?！?/p>

Mackenzie 說道：“我還收到過許多陌生人的電子郵件，有在實驗中用 DeepLabCut 工具來追蹤視頻中靈長類動作的自由行動軌跡的，也有在狩獵過程中用來追蹤斑馬的，還有人用它研究像章魚和電鰻等復(fù)雜的生物或者是用來研發(fā)手術(shù)機器人等等。體育界人士對用它來追蹤棒球遠動員的投球表現(xiàn)非常感興趣?；蛘吣阋部梢阅蒙夏愕?iPhone 手機，拍攝孩子玩耍的視頻，回家之后用 DeepLabCut 分析他們的一舉一動?！?/p>