深度學(xué)習(xí)在軌跡數(shù)據(jù)挖掘中的應(yīng)用研究綜述

深度學(xué)習(xí)在軌跡數(shù)據(jù)挖掘中的應(yīng)用研究綜述

來源：《?計算機(jī)科學(xué)與應(yīng)用》?，作者李旭娟等

摘要:?在過去十年，深度學(xué)習(xí)已被證明在很多領(lǐng)域應(yīng)用非常成功，如視覺圖像、自然語言處理、語音識別等，同時也涌現(xiàn)出來了大量深度學(xué)習(xí)模型，如深度卷積神經(jīng)網(wǎng)絡(luò)，深度循環(huán)神經(jīng)網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)、深度對抗生成網(wǎng)絡(luò)等，其深度越深學(xué)習(xí)能力越強(qiáng)，但同時也增加了網(wǎng)絡(luò)訓(xùn)練的復(fù)雜度，權(quán)衡利弊取其中，所以在不同的應(yīng)用中有很大的研究空間。另外，在基于時序數(shù)據(jù)的應(yīng)用研究中，如股票趨勢預(yù)測、天氣預(yù)測、異常氣候地質(zhì)災(zāi)害預(yù)測等，相比較于傳統(tǒng)的方法，各種改進(jìn)的、融合的深度學(xué)習(xí)方法顯然更勝一籌。而軌跡數(shù)據(jù)是時序數(shù)據(jù)的一種，它除了有時間維度的依賴性還有空間維度的相關(guān)關(guān)系。軌跡數(shù)據(jù)挖掘與我們的生活息息相關(guān)，從城市規(guī)劃到個性化推薦，從出行安全到優(yōu)質(zhì)服務(wù)。所以本文通過對軌跡數(shù)據(jù)進(jìn)行簡單的剖析，對軌跡數(shù)據(jù)的應(yīng)用進(jìn)行一定的總結(jié)，并分析了一些用于軌跡數(shù)據(jù)挖掘的深度學(xué)習(xí)模型的優(yōu)缺點(diǎn)，提出了一些小技巧，以此來對后續(xù)軌跡數(shù)據(jù)挖掘提供一些思路。

1. 介紹

由于位置感知設(shè)備如手機(jī)、可穿戴產(chǎn)品的不斷普及，基于位置的社交網(wǎng)絡(luò)被廣泛使用，大量的軌跡數(shù)據(jù)應(yīng)運(yùn)而生。如手機(jī)定位系統(tǒng)會產(chǎn)生每個人的行為軌跡數(shù)據(jù)，汽車導(dǎo)航定位系統(tǒng)會產(chǎn)生大量的汽車軌跡數(shù)據(jù)，飛機(jī)的廣播式自動相關(guān)監(jiān)視系統(tǒng)(Automatic dependent surveillance-broadcast，縮寫為ADS-B)也會形成大量的航跡數(shù)據(jù)。這些軌跡數(shù)據(jù)集已被證明是非常寶貴的資源，可以用來做城市規(guī)劃、交通管制、行為生態(tài)學(xué)研究、運(yùn)動場景分析、監(jiān)測管理和提高安全系數(shù)等。學(xué)者們花了大量的時間和精力研究了很多軌跡數(shù)據(jù)分析和挖掘的方法。其中 [1] 在2015年對軌跡挖掘應(yīng)用中已解決的問題做了系統(tǒng)的總結(jié)，包括解決方法和應(yīng)用場景，并分析了他們的關(guān)系， [2] 在2016年對軌跡的數(shù)據(jù)預(yù)處理、數(shù)據(jù)管理和數(shù)據(jù)查詢技術(shù)，軌跡數(shù)據(jù)應(yīng)用和隱私保護(hù)等方面進(jìn)行了分析和討論，但其中的解決方案、技術(shù)應(yīng)用都沒有提及發(fā)展得如火如荼的深度學(xué)習(xí)方法。終于在2019年， [3] 站在了更高更廣的角度系統(tǒng)的總結(jié)了深度學(xué)習(xí)在時空數(shù)據(jù)挖掘中的應(yīng)用，然而它在具體的軌跡數(shù)據(jù)挖掘方面的闡述并不詳細(xì)，因此本文就哪些深度學(xué)習(xí)方法解決了哪些軌跡數(shù)據(jù)挖掘任務(wù)的問題進(jìn)行系統(tǒng)地分析和討論。

本文接下來將在第2部分對軌跡數(shù)據(jù)和軌跡數(shù)據(jù)挖掘任務(wù)進(jìn)行簡單的介紹；在第3部分列舉一些在軌跡數(shù)據(jù)挖掘應(yīng)用中常用的深度學(xué)習(xí)模型；第4部分，敘述了如何為特定的任務(wù)選擇和設(shè)計深度學(xué)習(xí)模型；第5部分，總結(jié)和展望。

2. 軌跡數(shù)據(jù)

2.1. 定義

軌跡數(shù)據(jù)是物體或者人隨著時間移動而產(chǎn)生的路徑信息，包括位置坐標(biāo)和速度等，通常由隨物體或人攜帶的傳感器產(chǎn)生并在一定的時間間隔記錄相關(guān)信息。全球衛(wèi)星導(dǎo)航系統(tǒng)(The Global Navigation Satellite System，縮寫為GNSS)是傳感器提供位置信息的主要來源，常用的現(xiàn)階段最完善的是GPS系統(tǒng)，還有正在亞太地區(qū)全面開啟服務(wù)的BDS、GLONASS系統(tǒng)也將廣泛使用，在軌跡數(shù)據(jù)上的體現(xiàn)將是更加實時性和更高的精度。

2.2. 表達(dá)方式

通常一條軌跡可以表示為一個序列，如?{(p1,t1),(p2,t2),?(pn,tn)}{(p1,t1),(p2,t2),?(pn,tn)}，其中pi表示位置(如經(jīng)度、緯度)，

ti表示物體或者人經(jīng)過該位置的時間。它可以直接作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的輸入，成為典型的深度學(xué)習(xí)模型學(xué)習(xí)的對象之一。

有時軌跡數(shù)據(jù)也可以用一個二維圖像(或2維矩陣)來表示，如一條軌跡可以對應(yīng)著一張二維地圖，如圖1(a)。若將地圖劃成M * M的網(wǎng)格，M是預(yù)定義的常量，表示地圖的分辨率，用Cx,y表示第x行和第y列的網(wǎng)格，則每個軌跡點(diǎn)都可以根據(jù)它的經(jīng)緯度映射到一個網(wǎng)格Cx,y中，通過這種方式，我們就將一條軌跡轉(zhuǎn)化為一個M * M的圖像(如圖1(b))，其中網(wǎng)格中的值要么為零，要么是軌跡坐標(biāo)對應(yīng)的一個非負(fù)值，表示位置信息。這種數(shù)據(jù)表達(dá)多是為了符合CNN模型的輸入格式，讓卷積網(wǎng)絡(luò)嘗試學(xué)習(xí)軌跡數(shù)據(jù)中的特征，這種表達(dá)方式更能保留位置間的相關(guān)關(guān)系。

?

?

Figure 1. (a) Raw trajectory, (b) Cell trajectory in the 2D grid map

圖1. (a) 原始軌跡，(b) 二維地圖中的單元格軌跡

2.3. 深度學(xué)習(xí)在軌跡數(shù)據(jù)挖掘中的應(yīng)用

用深度學(xué)習(xí)方法研究軌跡數(shù)據(jù)，任務(wù)類型集中在預(yù)測、表示學(xué)習(xí)、分類、異常檢測等，應(yīng)用的領(lǐng)域多涉及城市交通、航海、航空、行人軌跡等方面。

而基于歷史數(shù)據(jù)對未來做預(yù)測是軌跡數(shù)據(jù)最常用的領(lǐng)域。軌跡預(yù)測在一定程度上與語言模型中預(yù)測詞語、句子很像，比如給定一個句子，語言模型被訓(xùn)練用來從句子數(shù)據(jù)中學(xué)習(xí)詞句模式，然后預(yù)測下一個詞可能是什么。而在軌跡數(shù)據(jù)中，一系列的位置坐標(biāo)可以看作是字典里的字詞，一條軌跡就可以看作是一個句子，那么軌跡下一個位置的預(yù)測就與句子下一個詞的預(yù)測如出一轍。 [4] 將軌跡數(shù)據(jù)的時間信息剝離，每個點(diǎn)只留下經(jīng)緯坐標(biāo)，通過城市區(qū)域網(wǎng)格化將簡化了的軌跡序列轉(zhuǎn)化為單元格序列，再逐條輸入GRU構(gòu)成的RNN網(wǎng)絡(luò)，預(yù)測下一個位置。[5] [6] 分別用的不同的深度學(xué)習(xí)方法進(jìn)行交通速度預(yù)測， [7] 用循環(huán)神經(jīng)網(wǎng)絡(luò)對出租車的需求進(jìn)行實時預(yù)測， [8] 將軌跡數(shù)據(jù)和文本數(shù)據(jù)分別輸入長短時記憶網(wǎng)絡(luò)(或者全連接層)和卷積層，再把得到兩種特征進(jìn)行融合，從而進(jìn)行事件區(qū)域的出租車需求預(yù)測。

在船舶交通服務(wù)系統(tǒng)中，準(zhǔn)確、有效地對船舶的航行軌跡進(jìn)行及時跟蹤和預(yù)測是海上交通事故預(yù)警的重要技術(shù)支撐， [9] 通過結(jié)合船舶自動識別系統(tǒng)提供的歷史軌跡數(shù)據(jù)和當(dāng)前軌跡預(yù)測未來某時刻船舶的軌跡。在航空領(lǐng)域，管制員需要精確地知道經(jīng)過其管轄范圍的每架飛機(jī)的實時位置，這便需要空管系統(tǒng)能夠精確地預(yù)測飛機(jī)的軌跡， [10] 結(jié)合了航班計劃和氣象信息，用深度生成模型根據(jù)某時刻以前軌跡信息預(yù)測接下來一段時間的軌跡。

有時要想獲得運(yùn)動模式或?qū)嵤┠稠棓?shù)據(jù)挖掘任務(wù)如位置預(yù)測，軌跡聚類是基礎(chǔ)任務(wù)，意在把軌跡劃分為幾組，每組中的軌跡有很高的相似度。 [11] 先提取軌跡數(shù)據(jù)中的時空不變特征，如運(yùn)動特征，再通過Seq2Seq的自動編碼器得到特征的固定長度表達(dá)，最后通過分類器達(dá)到軌跡聚類的目的。另外，在信息化作戰(zhàn)領(lǐng)域，為輔助指揮員分析戰(zhàn)局， [12] 使用CNN模型對雷達(dá)提供的目標(biāo)物體進(jìn)行航跡類型識別，此為分類任務(wù)。

另一種常見的相關(guān)任務(wù)是異常檢測。 [13] 提出的雙Attention融合機(jī)制的行人軌跡預(yù)測方法同樣可以作為異常事件檢測手段，其中編碼器得到的目標(biāo)行人軌跡編碼就會與正常行人軌跡的編碼有很大區(qū)別，因此用一些經(jīng)典的聚類算法便可將異常檢測到。由于ADS-B數(shù)據(jù)的易獲取性，為確保飛機(jī)和地面接收站收到的是正確安全的信息， [14] 提出了一個基于深度神經(jīng)網(wǎng)絡(luò)的SODA系統(tǒng)，包括一個信息分類器和一個航空器分類器，能夠精確地檢測到欺騙攻擊。[15] 采用Seq2Seq模型進(jìn)行異常的ADS-B時間序列檢測，并通過對序列特征維度的增加來提升檢測效果。

3. 常用的深度學(xué)習(xí)模型

3.1. 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, 縮寫為RNN)是被設(shè)計用來識別序列特征并使用模式來預(yù)測下一個可能的場景，最大的特點(diǎn)就是有了記憶功能。與傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)中每一層使用不同的參數(shù)的做法不同，RNN在所有時刻中共享相同的參數(shù)，這反應(yīng)了在每一步中都在執(zhí)行相同的任務(wù)，即循環(huán)所在，只是用了不同的輸入，這樣極大地減少了需要學(xué)習(xí)的參數(shù)的個數(shù)。之后出現(xiàn)的RNN變體，如Bidirectional RNN是在某時刻的輸出不僅依賴于序列之前的元素也依賴于之后的元素。DeepBRNN，即在Bidirectional RNN的基礎(chǔ)上，每時每刻會有多個隱藏層，這將會使它有更強(qiáng)的學(xué)習(xí)能力。

圖2展示了RNN的基本結(jié)構(gòu)。其中xt和ht分別表示t時刻的輸入和學(xué)習(xí)到的隱藏狀態(tài)，A是一組神經(jīng)網(wǎng)絡(luò)，它不停的接收xt并輸出ht?？梢钥闯銮耙粫r刻t ? 1的輸出(ht?? 1)被輸入到了下一時刻t，這樣歷史信息就被存儲并傳遞下去了。

RNN有兩個缺點(diǎn)，一是記憶力短，隨著網(wǎng)絡(luò)的加深前面存儲的內(nèi)容的影響將逐漸減弱，這將會丟失部分重要的信息。二是沒辦法控制信息中記住哪些，舍掉哪些，這使得一些不重要的信息增加網(wǎng)絡(luò)的訓(xùn)練負(fù)擔(dān)，增加干擾。

?

?

Figure 2. Structure of RNN model

圖2. 循環(huán)神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

3.2. 長短時記憶

長短時記憶(Long Short Term Memory，縮寫為LSTM)是RNN的一個擴(kuò)展，圖3展示了LSTM的基本結(jié)構(gòu)，與RNN不同的是循環(huán)的神經(jīng)網(wǎng)絡(luò)A結(jié)構(gòu)變復(fù)雜了，它加入了一種特殊的記憶單元(細(xì)胞狀態(tài))，即貫穿圖表頂部的水平線，能很好的保持信息不變；并用三個門控制信息的輸入輸出，即輸入門、忘記門和輸出門；最后，每個時刻的輸出由兩部分組成：細(xì)胞狀態(tài)和輸出狀態(tài)。其中，門的結(jié)構(gòu)很簡單，就是一個sigmoid層(即圖x中的σ處)來決定輸入信息中哪些需要丟棄、哪些需要更新、哪些需要輸出。細(xì)胞狀態(tài)是由上一次的細(xì)胞狀態(tài)按元素乘以遺忘門，再加上輸入門與當(dāng)前狀態(tài)(輸入信息經(jīng)過tanh處理后)的乘積結(jié)果，而最后的輸出狀態(tài)是由細(xì)胞狀態(tài)經(jīng)過一個tanh之后與輸出門的乘積。LSTM這種結(jié)構(gòu)提供了只把重要的內(nèi)容存下來，需要的時候再輸出，甚至必要的時候清空等十分強(qiáng)大的功能，解決了RNN的兩個問題，但也同時增大了網(wǎng)絡(luò)的訓(xùn)練難度，因為結(jié)構(gòu)中所需的參數(shù)大大增加了。

?

?

Figure 3. Structure of LSTM model

圖3. 長短時記憶模型結(jié)構(gòu)

但參數(shù)的數(shù)量還沒有大到讓人們望而卻步，反而LSTM與其它網(wǎng)絡(luò)的結(jié)合使用頻繁出現(xiàn)，如 [16] LSTM-FCN將數(shù)據(jù)轉(zhuǎn)換成相應(yīng)的維度同時輸入FCN和LSTM，并將輸出的結(jié)果合并，取得了非常好的效果。[17] 提出的Conv-LSTM結(jié)構(gòu)堆疊在編碼–解碼模型中，不僅很好的保留了數(shù)據(jù)的時序性，還能在空間維度保留數(shù)據(jù)間的相關(guān)關(guān)系。[18] 提出了一個新的方法來訓(xùn)練LSTM，使門的輸出不是0到1的一個范圍，而是非0即1。這種方法使得輸出結(jié)果更容易理解，意思是經(jīng)過門的信息要么保留要么舍棄。試驗結(jié)果也證明這種訓(xùn)練方式的效果更佳。另外，門循環(huán)單元(Gated Recurrent Unit，縮寫為GRU)是在LSTM的基礎(chǔ)上省略了一個門，并將單元狀態(tài)與輸出狀態(tài)合并為一個ht，使得結(jié)構(gòu)得以簡化，參數(shù)量變小。 [19] 比較了RNN、LSTM、GRU的記憶能力，并提出了一個記憶能力更強(qiáng)的ELSTM和一個性能優(yōu)于BRNN和Seq2Seq的DBRNN模型。

LSTM在軌跡預(yù)測方面有了廣泛地應(yīng)用。[9] 運(yùn)用RNN-LSTM的網(wǎng)絡(luò)結(jié)構(gòu)，將船舶的歷史軌跡特征和當(dāng)前軌跡特征作為網(wǎng)絡(luò)的輸入，輸出未來某時刻船舶的軌跡特征，再與真實值相對比進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，建立歷史船舶軌跡與未來船舶軌跡特征數(shù)據(jù)之間的映射關(guān)系，并實現(xiàn)對未來軌跡特征的推算和預(yù)測，達(dá)到了很好的效果。[20] 提出了一個基于隨機(jī)森林和MLP-LSTM的軌跡預(yù)測混合模型，先利用隨機(jī)森林構(gòu)成的移動狀態(tài)預(yù)測組件來對運(yùn)動狀態(tài)進(jìn)行預(yù)測，在用多層感知機(jī)來捕獲軌跡數(shù)據(jù)中的局部特征，最后利用LSTM來獲取軌跡數(shù)據(jù)中的時間依賴關(guān)系，解決了軌跡預(yù)測中關(guān)于靜止軌跡數(shù)據(jù)預(yù)測誤差大和提取軌跡數(shù)據(jù)中長時間依賴的問題。

3.3. Seq2Seq

Seq2Seq全稱為Sequence to Sequence，是一個編碼器——解碼器結(jié)構(gòu)的生成神經(jīng)網(wǎng)絡(luò)，它的輸入是一個序列，輸出也是一個序列。圖4表示了Seq2Seq的基本結(jié)構(gòu)，這里的每一個方塊代表著一個RNN單元，通常是LSTM或者GRU。其過程就是，編碼器將可變長度的序列如?{x1,x2,x3,x4}{x1,x2,x3,x4}?轉(zhuǎn)變?yōu)楣潭ㄩL度的向量表達(dá)v，解碼器將這個固定長度的向量v轉(zhuǎn)換為可變長度的目標(biāo)輸出序列?{y1,y2,y3}{y1,y2,y3}。

?

?

Figure 4. Structure of Seq2Seq model

圖4. 序列到序列模型結(jié)構(gòu)

然而，由于編碼器將輸入序列編碼為固定大小的狀態(tài)向量實際上是一個信息有損壓縮的過程，如果信息量很大，壓縮過程將造成大量信息丟失，同時解碼器在解碼這個固定長度的向量時也很難關(guān)注到輸入信息的更多細(xì)節(jié)，所以注意力(Attention)概念的引入和雙向編碼器(Bidirectional encoder layer)的提出，使模型的性能大大提高。如Attention機(jī)制可以把輸入序列根據(jù)時間步編碼為不同的向量vi，在解碼時，結(jié)合每個不同的vi進(jìn)行解碼輸出，這樣得到的結(jié)果會更加準(zhǔn)確。 [13] 通過結(jié)合兩種不同的Attention機(jī)制來預(yù)測行人軌跡。在目標(biāo)行人軌跡上使用Soft Attention，即注意力不同程度的分散在軌跡的各個部分，而在周圍行人的軌跡上使用Hardwired Attention，重點(diǎn)關(guān)注他與目標(biāo)行人的距離，最后將某時刻各個Attention獲得的信息想融合作為預(yù)測輸入的一部分。

鑒于Seq2Seq模型有強(qiáng)大的獲取序列數(shù)據(jù)間關(guān)系的能力，它已被用于很多軌跡數(shù)據(jù)挖掘任務(wù)。如 [21] 提出了基于Seq2Seq的模型用來學(xué)習(xí)軌跡特征，作為軌跡相似度計算的基礎(chǔ)研究。[6] 提出了Dest-ResNet的序列學(xué)習(xí)模型，用來處理兩種不同形式的序列數(shù)據(jù)，如交通速度序列和用戶在特定時間段的查詢請求序列，其中用到的Seq2Seq被用來完成未來一段時間的交通速度預(yù)測。

3.4. 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, 縮寫為CNN)是一類深度前饋神經(jīng)網(wǎng)絡(luò)，一般用于視覺圖像領(lǐng)域。典型的CNN模型(如圖5)通常包括輸入層、卷積層、池化層和輸出層。卷積層是用不同大小的卷積核來進(jìn)行特征提取，池化層則通常用于在空間維度進(jìn)行下采樣，起到數(shù)據(jù)壓縮、特征降維、降參的作用。同時在對圖像處理時，卷積操作所獲得的特征具有平移、縮放和旋轉(zhuǎn)不變性，它的權(quán)值共享結(jié)構(gòu)大幅度減少了參數(shù)，能有效降低深度網(wǎng)絡(luò)模型的連接復(fù)雜度和訓(xùn)練難度。而如今，一些CNN已被證明對單變量時序數(shù)據(jù)的分類任務(wù)有很好的效果，如FCN、ResNet等。[22] 又提出了多變量卷積神經(jīng)網(wǎng)絡(luò)(MVCNN)對多變量時序數(shù)據(jù)進(jìn)行分類并證明了其高性能。[23] 將軌跡位置數(shù)據(jù)轉(zhuǎn)化為二維圖像作為CNN的輸入，利用CNN的卷積層和池化層獲取圖片中軌跡的不同尺度特征，再與軌跡的其他數(shù)據(jù)特征相融合進(jìn)行分類預(yù)測，達(dá)到了很不錯的預(yù)測效果。[24] 通過將原始軌跡序列轉(zhuǎn)化為語義上重要的位置軌跡序列，研究評估了CNN結(jié)構(gòu)在語義位置預(yù)測任務(wù)中的性能表現(xiàn)。

?

?

Figure 5. Structure of basic CNN model

圖5. 卷積神經(jīng)網(wǎng)絡(luò)模型基本結(jié)構(gòu)

但試驗也表明，若直接將一維時序數(shù)據(jù)作為卷積網(wǎng)絡(luò)的輸入來訓(xùn)練時很容易出現(xiàn)過擬合的現(xiàn)象，所以用驗證集來適時地調(diào)整超參數(shù)是常用的方法?；蛘咴龃笥?xùn)練數(shù)據(jù)，因為深度學(xué)習(xí)的一個最大的特點(diǎn)就是，數(shù)據(jù)量越大效果越好。此外，對數(shù)據(jù)做變換如數(shù)據(jù)增強(qiáng)、數(shù)據(jù)歸一化處理，手動進(jìn)行特征選擇、問題重構(gòu)、算法上調(diào)優(yōu)等方法都能對過擬合問題提供或多或少的幫助。

3.5. 自動編碼機(jī)

自動編碼機(jī)(Auto Encoder, 縮寫為AE)是一類人工神經(jīng)網(wǎng)絡(luò)，能以一種非監(jiān)督的模式學(xué)習(xí)到輸入數(shù)據(jù)的有效特征。最簡單的AE由一個輸入層、一個隱藏層和一個輸出層組成。輸入層到隱藏層的映射關(guān)系可以看作一個編碼的過程，將輸入信息進(jìn)行壓縮表示，從隱藏層到輸出層的過程相當(dāng)與一個解碼的過程，輸出的結(jié)果其實是對輸入信息的一個重構(gòu)。作為一個有效的非監(jiān)督的特征表達(dá)學(xué)習(xí)方式，AE多用于數(shù)據(jù)挖掘下采和機(jī)器學(xué)習(xí)的分類聚類任務(wù)中。而堆疊自動編碼器(Stacked Auto Encoder)是逐層對輸入數(shù)據(jù)進(jìn)行處理，降維，特征提取，最終獲得輸入數(shù)據(jù)的高階特征。圖6展示了一個一層的AE模型結(jié)構(gòu)。

?

?

Figure 6. Structure of the one-layer Auto Encoder model

圖6. 一層的自動編碼器模型結(jié)構(gòu)

由于很多網(wǎng)絡(luò)都是從權(quán)重隨機(jī)初始化開始的，這會使得訓(xùn)練不穩(wěn)定。 [25] 提出用一個序列編碼器(Sequence Auto Ncoder)作為LSTM網(wǎng)絡(luò)的預(yù)訓(xùn)練算法，這個訓(xùn)練步驟中得到的參數(shù)作為有監(jiān)督的訓(xùn)練模型LSTM的起點(diǎn)，發(fā)現(xiàn)LSTM的訓(xùn)練變得更穩(wěn)定，泛化能力更強(qiáng)。[26] 通過測量“軌跡長度”學(xué)習(xí)到網(wǎng)絡(luò)是如何將輸入進(jìn)行變換的，證明了低層網(wǎng)絡(luò)權(quán)重的微小變化將隨著網(wǎng)絡(luò)的加深，影響是成指數(shù)倍放大的，所以優(yōu)化低層網(wǎng)絡(luò)的權(quán)重尤為重要。

4. 深度學(xué)習(xí)模型的選擇和設(shè)計

當(dāng)進(jìn)行某一項軌跡數(shù)據(jù)挖掘任務(wù)時，涉及到的數(shù)據(jù)種類可能有很多，有的是時序數(shù)據(jù)，有的是文本，正如前文所述，RNN、LSTM、Seq2Seq、AE和它們相應(yīng)的改進(jìn)變體模型可以為時序數(shù)據(jù)提供較好的學(xué)習(xí)方法，而CNN則更偏向于視覺圖片領(lǐng)域的特征學(xué)習(xí)。為完成數(shù)據(jù)挖掘任務(wù)，我們或者將不同的數(shù)據(jù)喂入不同的學(xué)習(xí)模型，再進(jìn)行特征融合，或者將不同的數(shù)據(jù)先進(jìn)行融合，再喂入同一個網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，如 [27] 用傳統(tǒng)的方法先將來自雷達(dá)和ADS-B的數(shù)據(jù)用相同的模式進(jìn)行匹配，刪除冗余，最后合并，再進(jìn)行軌跡預(yù)測任務(wù)。而在多源異構(gòu)的大數(shù)據(jù)環(huán)境下，傳統(tǒng)的方法很多時候并不適用，所以 [28] 提供了三類方法，即基于特征的數(shù)據(jù)融合，基于階段的數(shù)據(jù)融合，還有基于語義的數(shù)據(jù)融合，這需要具體問題具體分析。如基于特征的融合方式有 [8] 和 [29]，其中 [8] 將文本數(shù)據(jù)預(yù)處理之后喂入CNN，同時將軌跡、天氣等時序數(shù)據(jù)喂入LSTM，他們得到的特征編碼再融合進(jìn)行出租車需求預(yù)測；[29] 也是首先通過不同的特征提取方式獲得來自不同數(shù)據(jù)源的信息，再投入一個深度堆棧自動編碼器得到最終的特征表達(dá)，最后通過多層感知器來進(jìn)行出行時間的預(yù)測。而 [30] 則是進(jìn)一步概述了基于深度學(xué)習(xí)模型的城市大數(shù)據(jù)融合，分為早期(輸入階段)數(shù)據(jù)融合、晚期(輸出階段)數(shù)據(jù)融合和雙階段(輸入階段和輸出階段)數(shù)據(jù)融合，即是基于階段的數(shù)據(jù)融合。

另一方面，一些數(shù)據(jù)挖掘聚類分類算法與深度學(xué)習(xí)框架融合使用時，除了常用的K-means和DBSCAN，還可以考慮使用高斯混合模型，尤其當(dāng)網(wǎng)絡(luò)的輸出有多種可能時，我們可以學(xué)習(xí)到每個高斯分布的均值、方差和混合系數(shù)，再通過采樣來做最終的預(yù)測。如 [7] 就是通過LSTM和混合密度網(wǎng)絡(luò)的結(jié)合，來預(yù)測不同地區(qū)的出租車需求。

軌跡數(shù)據(jù)是典型的時序數(shù)據(jù)，它的最大特征是數(shù)據(jù)之間在時間維度上是相互關(guān)聯(lián)的，根據(jù) [31] 提出的趨勢分離方法，我們可以先把這種時間相關(guān)性消除，可以讓網(wǎng)絡(luò)學(xué)習(xí)到更多甚至被隱藏的特征， [8] 就是利用此方法先獲取軌跡中的運(yùn)動特征，便可將LSTM替換成全連接網(wǎng)絡(luò)，最后的預(yù)測效果也不錯。

有時，為了提高軌跡挖掘任務(wù)的精度等評價指標(biāo)，不僅可以通過改進(jìn)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、修改算法、提出新的訓(xùn)練方式等，還可以根據(jù)具體的情況提出特殊的損失函數(shù)等。如 [21] 為了學(xué)習(xí)連續(xù)的表示特征，提出了一個新的空間距離意識損失函數(shù)和一個細(xì)胞表示特征學(xué)習(xí)方法，將他們一起融入深度學(xué)習(xí)模型中,同時為了加速訓(xùn)練，還提出了一個基于噪聲對比估計的近似損失函數(shù)。

5. 總結(jié)與展望

本文通過對軌跡數(shù)據(jù)和已經(jīng)研究過的軌跡數(shù)據(jù)應(yīng)用進(jìn)行闡述和總結(jié)，并對應(yīng)用在軌跡數(shù)據(jù)挖掘中的深度學(xué)習(xí)模型進(jìn)行分析和討論，總結(jié)了一些方法和技巧。實際上還有很多本文沒有提到的軌跡挖掘任務(wù)和深度學(xué)習(xí)方法，包括頻率模式挖掘、關(guān)系挖掘任務(wù)等。還有對抗生成網(wǎng)絡(luò)模型也是深度學(xué)習(xí)方法中有待研究的熱點(diǎn)之一，它已經(jīng)在圖像生成的試驗中得到了不錯的效果，將其應(yīng)用在軌跡生成的問題上也會是未來研究的方向之一。此外，給網(wǎng)絡(luò)提供參數(shù)初始化的方法除了AE還有受限玻爾茲曼機(jī)(Restricted Boltzmann Machine)，都是未來可以嘗試的方法。最后，以上對軌跡數(shù)據(jù)的研究都只考慮了數(shù)據(jù)在時間維度上的依賴特性，而從空間維度或者同時考慮時空維度進(jìn)行特征學(xué)習(xí)也可以作為未來的研究點(diǎn)。

審核編輯：符乾江