機(jī)器學(xué)習(xí)進(jìn)階之線性代數(shù)-奇異值分解（下）

協(xié)方差矩陣

方差衡量一個(gè)變量在自身之間的變化，而協(xié)方差衡量兩個(gè)變量（a和b）之間的變化。

我們可以將所有可能的協(xié)方差組合保存在一個(gè)稱為協(xié)方差矩陣Σ的矩陣中。

我們可以將這個(gè)簡單的矩陣形式重寫為：

對(duì)角線元素保存單個(gè)變量（如身高）的方差，而非對(duì)角線元素保存兩個(gè)變量之間的協(xié)方差?，F(xiàn)在讓我們計(jì)算樣本協(xié)方差。

正的樣本協(xié)方差表明身高和體重是正相關(guān)的。如果它們是負(fù)相關(guān)的，協(xié)方差將為負(fù)數(shù)；如果它們是獨(dú)立的，則協(xié)方差為零。

協(xié)方差矩陣和SVD

我們可以使用SVD來分解樣本協(xié)方差矩陣。由于σ?相對(duì)于σ?而言相對(duì)較小，我們甚至可以忽略σ?項(xiàng)。當(dāng)我們訓(xùn)練一個(gè)機(jī)器學(xué)習(xí)模型時(shí)，我們可以對(duì)身高和體重進(jìn)行線性回歸，形成一個(gè)新屬性，而不是將它們視為兩個(gè)分離且相關(guān)的屬性（糾纏的數(shù)據(jù)通常使模型訓(xùn)練更加困難）。

u?有一個(gè)重要的意義，它是S的主要成分。

在SVD的背景下，樣本協(xié)方差矩陣具有一些特性：

• 數(shù)據(jù)的總方差等于樣本協(xié)方差矩陣S的跡，這個(gè)值等于S的奇異值的平方和。有了這個(gè)，我們可以計(jì)算如果刪除較小的σ?項(xiàng)會(huì)損失多少方差。這反映了如果我們消除它們會(huì)丟失多少信息。

• S的第一個(gè)特征向量u?指向數(shù)據(jù)的最重要方向。在我們的例子中，它量化了體重和身高之間的典型比率。

• 當(dāng)使用SVD時(shí)，從樣本點(diǎn)到u?的垂直平方距離的誤差最小。

性質(zhì)

協(xié)方差矩陣不僅對(duì)稱，而且還是正半定的。因?yàn)榉讲钍钦龜?shù)或者零，所以u(píng)?Vu始終大于或等于零。通過能量測(cè)試，V是正半定的。

因此,

通常，在進(jìn)行某些線性變換A之后，我們想知道轉(zhuǎn)換后數(shù)據(jù)的協(xié)方差。這可以用變換矩陣A和原始數(shù)據(jù)的協(xié)方差來計(jì)算。

相關(guān)矩陣

相關(guān)矩陣是協(xié)方差矩陣的標(biāo)準(zhǔn)化版本。相關(guān)矩陣對(duì)變量進(jìn)行標(biāo)準(zhǔn)化（縮放），使它們的標(biāo)準(zhǔn)差為1。

如果變量的量級(jí)相差很大，那么將使用相關(guān)矩陣。糟糕的縮放可能會(huì)損害梯度下降等機(jī)器學(xué)習(xí)算法的效果。

可視化

到目前為止，我們有很多方程式。讓我們將SVD的作用可視化，并逐漸開發(fā)我們的洞察力。SVD將矩陣A分解為USV?。將向量x（Ax）應(yīng)用于A可以被視為對(duì)x執(zhí)行旋轉(zhuǎn)（V?），縮放（S）和另一個(gè)旋轉(zhuǎn)（U）。

如上所示，矩陣 V 的特征向量 v? 被轉(zhuǎn)換為：

或者以完整矩陣形式表示

r = m < n

奇異值分解（SVD）的洞察

如前所述，SVD 可以表示為

由于 u? 和 v? 的長度為單位長度，確定每個(gè)項(xiàng)的重要性的最主要因素是奇異值 σ?。我們故意按降序?qū)?σ? 進(jìn)行排序。如果特征值變得太小，我們可以忽略剩下的項(xiàng)（+ σ?u?v?? + …）。

這種表示法具有一些有趣的含義。例如，我們有一個(gè)矩陣，其中包含不同投資者交易的股票收益率。

作為基金經(jīng)理，我們可以從中獲取什么信息？尋找模式和結(jié)構(gòu)將是第一步。也許，我們可以找到具有最大收益的股票和投資者的組合。SVD 將 n × n 矩陣分解為具有奇異值 σ? 表示其顯著性的 r 組件。將其視為一種將糾纏和相關(guān)屬性提取到更少的無關(guān)聯(lián)的主要方向的方法。

如果數(shù)據(jù)高度相關(guān)，我們應(yīng)該期望許多 σ? 值較小且可以忽略。

在我們之前的例子中，體重和身高高度相關(guān)。如果我們有一個(gè)包含 1000 人體重和身高的矩陣，SVD 分解中的第一個(gè)組件將占主導(dǎo)地位。如我們之前討論的那樣，u? 向量確實(shí)表示了這 1000 人之間體重和身高的比例。

主成分分析（PCA）

從技術(shù)上講，SVD 分別提取具有最高方差的方向中的數(shù)據(jù)。PCA 是將 m 維輸入特征映射到 k 維潛在因子（k 個(gè)主成分）的線性模型。如果我們忽略不太重要的項(xiàng)，我們將去除我們不太關(guān)心的組件，但保留具有最高方差（最大信息）的主要方向。

考慮下面顯示為藍(lán)色點(diǎn)的三維數(shù)據(jù)點(diǎn)。它可以很容易地用一個(gè)平面來近似。

您可能很快就會(huì)意識(shí)到，我們可以使用 SVD 找到矩陣 W?？紤]下面位于二維空間的數(shù)據(jù)點(diǎn)。

SVD 選擇最大化輸出方差的投影。因此，如果 PCA 具有更高的方差，它會(huì)選擇藍(lán)線而不是綠線。

如下所示，我們保留具有前 kth 最高奇異值的特征向量。

利率

讓我們通過回顧一個(gè)關(guān)于利率數(shù)據(jù)的例子來更深入地說明這個(gè)概念，該數(shù)據(jù)源自美國財(cái)政部。從 3 個(gè)月、6 個(gè)月、…到 20 年的 9 種不同利率（基點(diǎn)）在連續(xù) 6 個(gè)工作日內(nèi)進(jìn)行了收集，其中 A 存儲(chǔ)了與前一天相比的差異。A 的元素在此期間已經(jīng)減去了其平均值。即它是零中心的（沿著其行）。

樣本協(xié)方差矩陣等于 S = AA?/(5-1)。

現(xiàn)在我們有了想要分解的協(xié)方差矩陣 S。SVD 分解為

從 SVD 分解中，我們意識(shí)到我們可以關(guān)注前三個(gè)主成分。

如圖所示，第一個(gè)主成分與所有到期長度的日常變化的加權(quán)平均值有關(guān)。第二個(gè)主成分調(diào)整了與債券到期長度敏感的日常變化。（第三個(gè)主成分可能是曲率 - 二階導(dǎo)數(shù)。）

我們?cè)谌粘Ｉ钪泻芰私饫首兓推谙拗g的關(guān)系。因此，主成分重新確認(rèn)了我們相信利率如何運(yùn)作。但是當(dāng)我們面對(duì)陌生的原始數(shù)據(jù)時(shí)，PCA 對(duì)于提取數(shù)據(jù)的主成分以找到底層信息結(jié)構(gòu)非常有幫助。這可能回答了如何在大海撈針的一些問題。

提示

在執(zhí)行 SVD 之前，對(duì)特征進(jìn)行縮放。

假設(shè)我們想保留 99% 的方差，我們可以選擇 k，使得