PyTorch教程18.2之高斯過程先驗(yàn)

18.2.1。定義

高斯過程被定義為隨機(jī)變量的集合，其中任何有限數(shù)量的隨機(jī)變量都服從聯(lián)合高斯分布。如果一個(gè)函數(shù)f(x)是一個(gè)高斯過程，具有均值函數(shù) m(x)和協(xié)方差函數(shù)或內(nèi)核 k(x,x′), f(x)～GP(m,k)，然后在任何輸入點(diǎn)集合處查詢的任何函數(shù)值集合x（時(shí)間、空間位置、圖像像素等），具有均值向量的聯(lián)合多元高斯分布μ和協(xié)方差矩陣 K:f(x1),…,f(xn)～N(μ,K)， 在哪里 μi=E[f(xi)]=m(xi)和 Kij=Cov(f(xi),f(xj))=k(xi,xj).

這個(gè)定義看似抽象且難以理解，但高斯過程實(shí)際上是非常簡(jiǎn)單的對(duì)象。任何功能

和w從高斯（正態(tài)）分布中得出，和 ?是基函數(shù)的任何向量，例如 ?(x)=(1,x,x2,...,xd)?, 是一個(gè)高斯過程。此外，任何高斯過程f(x)都可以表示為方程(18.2.1)的形式。讓我們考慮一些具體的例子，開始熟悉高斯過程，然后我們才能體會(huì)到它們是多么簡(jiǎn)單和有用。

18.2.2。一個(gè)簡(jiǎn)單的高斯過程

認(rèn)為f(x)=w0+w1x， 和 w0,w1～N(0,1)， 和w0,w1,x都在一個(gè)維度上。我們可以把這個(gè)函數(shù)等價(jià)地寫成內(nèi)積f(x)=(w0,w1)(1,x)?. 在 上面的（18.2.1）中，w=(w0,w1)?和 ?(x)=(1,x)?.

對(duì)于任何x,f(x)是兩個(gè)高斯隨機(jī)變量的總和。由于高斯在加法下是封閉的，f(x)也是任意的高斯隨機(jī)變量x. 事實(shí)上，我們可以計(jì)算任何特定的x那