基于深度學(xué)習(xí)的無信標(biāo)自動追蹤工具

對于動物行為研究，特別是運動模式的分析很大程度上依賴于研究人員的人工觀察和分析。但研究人員近日開發(fā)的新工具有望能夠為研究人員們提供省時省力的新方法來對動物的行為進(jìn)行持續(xù)的自動觀測。

來自哈佛大學(xué)的科學(xué)家與合作伙伴研發(fā)出了基于深度學(xué)習(xí)的無信標(biāo)自動追蹤工具，可以在視頻中持續(xù)追蹤動物及其身上特征點的運動，并達(dá)到了人類的精度水平。近日研究發(fā)表在了自然神經(jīng)科學(xué)的雜志上。

在神經(jīng)科學(xué)中，定量的行為觀察對于很多方面都是至關(guān)重要的。雖然攝像機(jī)為人們提供了一種便捷的手段來對動物進(jìn)行觀察，提取特定行為并進(jìn)行進(jìn)一步分析常常是耗時耗力的工作。為了定量的監(jiān)控，研究對象通常會被打上一定的信標(biāo)來實現(xiàn)自動追蹤，但很多情況下信標(biāo)具有侵入性和缺乏靈活性等缺點。為了解決這些問題，研究人員們利用深度網(wǎng)絡(luò)從視頻中實現(xiàn)了動物行為的無信標(biāo)追蹤，并達(dá)到了人類的精度水平。

通過構(gòu)建深度網(wǎng)絡(luò)和數(shù)據(jù)集，研究人員們成功訓(xùn)練出了一個可以從視頻中抽取身體特定部分位置的模型。研究人員門分別標(biāo)注了圖像中的ROI區(qū)域和每個區(qū)域中的關(guān)節(jié)作為輸入特征。神經(jīng)網(wǎng)絡(luò)使用預(yù)訓(xùn)練的ResNet-50最為主體抽取特征，最后通過訓(xùn)練解卷積網(wǎng)絡(luò)來對于身體位置的預(yù)測。

研究人員表示，這一方法甚至只需要標(biāo)注約200張對應(yīng)的圖像就可以達(dá)到很好的精度，并且可以將精度控制在幾個像素的范圍內(nèi)。

利用1080TiGPU，這一工具可以再682*540的圖像上實現(xiàn)30Hz的速度，并在分辨率更低的204*162像素上達(dá)到了85Hz的速度。

這種方法還可以廣泛用于多種動物和場景下。研究人員利用四個實驗探索了網(wǎng)絡(luò)功能的有效性。

首先在彩色圖像中對馬兒的身體關(guān)鍵點進(jìn)行了檢測和追蹤。研究顯示網(wǎng)絡(luò)對于不同顏色、不同視角和速度下的馬都有著較強(qiáng)的追蹤性能。

除此之外，研究人員還將這一方法應(yīng)用于老鼠的步態(tài)研究上，下圖顯示了老鼠在跑輪上運動的場景。模型被用于從側(cè)面和地面同時檢測和跟蹤運動。右圖顯示了模型對于電動魚身體關(guān)鍵點的追蹤?？梢钥吹綗o論是對不同場景視角還是不同的物種，都可以得到良好的效果。

除了動物之外，這一網(wǎng)絡(luò)還可以用于追蹤人類行為及其三維位置。研究人員訓(xùn)練了三個視角下的追蹤網(wǎng)絡(luò)，并將得到的數(shù)據(jù)通過投影矩陣重構(gòu)目標(biāo)對象的3D運動坐標(biāo)，實現(xiàn)了三維目標(biāo)檢測與跟蹤。

值得一提的是，這一研究團(tuán)隊來自哈佛大學(xué)Rowland Institute, Adaptive motor control實驗室，長期致力于深入理解神經(jīng)系統(tǒng)的自適應(yīng)運動控制。

或許這種方法除了用于動物行為追蹤外，還可以用于機(jī)器人及其執(zhí)行器的末端追蹤，為抓取、放置的任務(wù)提供額外的信息。如果你想詳細(xì)了解這項研究，請參閱Nature的研究內(nèi)容：

https://www.nature.com/articles/s41593-018-0209-y

作者也發(fā)布了DeepLabCut的代碼，有興趣的小伙伴似乎可以為自家的狗子/貓寫一個行為追蹤程序，研究它們每天的活動規(guī)律呢~代碼地址：

https://github.com/AlexEMG/DeepLabCut

作者在這里給出了詳細(xì)的安裝、配置、使用和標(biāo)注教程：

https://alexemg.github.io/DeepLabCut/docs/demo-guide.html

（代碼主要基于TensorFlow構(gòu)建，包含了分析、測評工具和對應(yīng)的文檔。構(gòu)建網(wǎng)絡(luò)的核心代碼位于DeepLabCut/pose-tensorflow/pose_net.py的PoseNet類中。）

實驗室主頁：

https://www.mousemotorlab.org/deeplabcut/