主要內(nèi)容：

為什么梯度的負(fù)方向是局部下降最快的方向？

剛接觸梯度下降這個(gè)概念的時(shí)候，是在學(xué)習(xí)機(jī)器學(xué)習(xí)算法的時(shí)候，很多訓(xùn)練算法用的就是梯度下降，然后資料和老師們也說(shuō)朝著梯度的反方向變動(dòng)，函數(shù)值下降最快，但是究其原因的時(shí)候，很多人都表達(dá)不清楚。所以我整理出自己的理解，從方向?qū)?shù)這個(gè)角度把這個(gè)結(jié)論證明出來(lái)，讓我們知其然也知其所以然~

這次從最優(yōu)化的角度切入來(lái)說(shuō)明一下：

當(dāng)我們?cè)谀硞€(gè)要優(yōu)化的函數(shù)，這里設(shè)為f(x),我們?cè)趚點(diǎn)處，然后沿方向 v進(jìn)行移動(dòng)，到達(dá)f(x+v)，圖示表示了移動(dòng)過(guò)程：

上圖顯示了從A點(diǎn),移動(dòng)到B點(diǎn)的過(guò)程。那么 v方向是什么的時(shí)候，局部下降的最快呢？

換成數(shù)學(xué)語(yǔ)言來(lái)說(shuō)就是， f(x+v)-f(x)的值在 v是什么的時(shí)候，達(dá)到最大！

下面進(jìn)行講解：

則 f(x+v)-f(x)=d f(x)v ,則我們可以得出： d f(x)v 為函數(shù)值的變化量，我們要注意的是 d f(x) 和 v 均為向量， d f(x)v 也就是兩個(gè)向量進(jìn)行點(diǎn)積，而向量進(jìn)行點(diǎn)積的最大值，也就是兩者共線的時(shí)候，也就是說(shuō) v 的方向和 d f(x) 方向相同的時(shí)候，點(diǎn)積值最大，這個(gè)點(diǎn)積值也代表了從A點(diǎn)到B點(diǎn)的上升量。點(diǎn)積說(shuō)明如下：

而 df(x)正是代表函數(shù)值在x處的梯度。前面又說(shuō)明了v的方向和df(x)方向相同的時(shí)候，點(diǎn)積值（變化值）最大，所以說(shuō)明了梯度方向是函數(shù)局部上升最快的方向。也就證明了梯度的負(fù)方向是局部下降最快的方向！