兩種方法通過(guò)加權(quán)將先驗(yàn)物理知識(shí)減少或離散化為適合現(xiàn)有深度學(xué)習(xí)架構(gòu)的機(jī)制

深度學(xué)習(xí)目前仍有很大的局限性，其中之一就是無(wú)法結(jié)合先驗(yàn)知識(shí)，如數(shù)學(xué)或物理學(xué)的基本定律。通常，必須從訓(xùn)練集中理解DL，這很難真正涵蓋足夠的先驗(yàn)知識(shí)。而DL的一個(gè)賣點(diǎn)是，它不需要用算法編程; 而是通過(guò)一種優(yōu)化形式從這些訓(xùn)練集中抽離出智能。當(dāng)訓(xùn)練集足夠大，可以覆蓋目標(biāo)的核心時(shí)，這種方法是很有效的，但如果無(wú)法很好的引入其他變量(如旋轉(zhuǎn)或移動(dòng))，這種方法就不是很有效。 這是一個(gè)急需解決的局限性。

解決這個(gè)問(wèn)題最簡(jiǎn)單的方法是擴(kuò)大訓(xùn)練范圍以涵蓋更多變量。對(duì)于旋轉(zhuǎn)，可能需要108 * N個(gè)訓(xùn)練樣本來(lái)覆蓋3個(gè)旋轉(zhuǎn)軸和每個(gè)軸上的36個(gè)方向（0,10,20，......度），而N個(gè)樣本遠(yuǎn)遠(yuǎn)不夠。也就是說(shuō)收集和標(biāo)記訓(xùn)練樣本的數(shù)量必須大幅增加。對(duì)于移動(dòng)這個(gè)變量，如何訓(xùn)練ML來(lái)確定擊打母球時(shí)斯諾克臺(tái)球桌上其他球會(huì)怎么移動(dòng)？ 利用訓(xùn)練重新發(fā)現(xiàn)牛頓300多年前編纂的東西似乎是對(duì)創(chuàng)造力的巨大浪費(fèi)。

處理這些變量最好的方法是結(jié)合ML使用數(shù)學(xué)和物理學(xué)的先驗(yàn)知識(shí)。 在計(jì)算機(jī)圖形學(xué)中，我們使用基于數(shù)學(xué)公式的算法推斷旋轉(zhuǎn)對(duì)視圖的影響。在斯諾克的例子中，我們使用了牛頓運(yùn)動(dòng)定律，再次在算法中編碼。這些算法捕獲了一些簡(jiǎn)單的方程式，否則在追求無(wú)算法識(shí)別時(shí)就需要大量的訓(xùn)練集，這就是算法被淘汰的原因。

斯坦福大學(xué)的一篇論文中利用對(duì)彈丸力學(xué)的理解來(lái)識(shí)別和跟蹤被扔出去的枕頭在房間內(nèi)經(jīng)過(guò)的路徑。據(jù)悉，他們首先對(duì)一小段路徑進(jìn)行模型識(shí)別，然后利用約束來(lái)排除不遵循預(yù)期的二階運(yùn)動(dòng)方程的完整路徑。其實(shí)他們使用了一個(gè)經(jīng)典公式作為神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的約束條件。 這項(xiàng)研究顯示了在缺乏監(jiān)督的情況下進(jìn)行機(jī)器學(xué)習(xí)的希望。

奧地利科學(xué)與技術(shù)研究所的另一篇有趣的論文采用了一種完全不同的方法（通過(guò)ML）來(lái)建立機(jī)器人安全操作條件的模型（例如移動(dòng)手臂或腿的范圍），這些模型基于從已知安全范圍的操作中學(xué)習(xí)簡(jiǎn)單的公式。這些公式允許出現(xiàn)超出訓(xùn)練范圍的結(jié)果。 他們將此描述為“一種機(jī)器學(xué)習(xí)方法，這種方法可以準(zhǔn)確地推斷出無(wú)法準(zhǔn)確辨別的情況”。其實(shí)這種方法是通過(guò)在有界的空間中進(jìn)行實(shí)驗(yàn)，以簡(jiǎn)單線性方程的形式建立自己的先驗(yàn)知識(shí)。

第三個(gè)例子來(lái)自索邦大學(xué)，他們提供了預(yù)測(cè)海面溫度（SST）的圖示。 海面溫度數(shù)據(jù)已經(jīng)通過(guò)衛(wèi)星圖像生成，可以提供大量的信息。預(yù)測(cè)這些數(shù)據(jù)將如何發(fā)展需要基于偏微分方程（PDE）及時(shí)更新數(shù)據(jù)，這是使用數(shù)值求解方法進(jìn)行預(yù)測(cè)的標(biāo)準(zhǔn)方法的基礎(chǔ)。該研究團(tuán)隊(duì)使用具有離散化版PDE方程的CDNN來(lái)指導(dǎo)網(wǎng)絡(luò)中時(shí)間傳播的加權(quán)。與數(shù)值方法和其他一些NN方法相比，他們的研究顯示更有希望看到結(jié)果。

因此，有兩種方法可以通過(guò)加權(quán)將先驗(yàn)物理知識(shí)減少或離散化為適合現(xiàn)有深度學(xué)習(xí)架構(gòu)的機(jī)制，一種方法是推導(dǎo)出簡(jiǎn)單方程以形成其自己的“先驗(yàn)”知識(shí)基礎(chǔ)。不過(guò)在作者看來(lái)，Sorbonne方法似乎是最具擴(kuò)展性的，因?yàn)槲锢韺W(xué)中的幾乎所有問(wèn)題都可以簡(jiǎn)化為PDE。