協(xié)方差矩陣是什么_協(xié)方差矩陣計(jì)算公式_如何計(jì)算協(xié)方差矩陣

　　協(xié)方差矩陣是什么

　　在統(tǒng)計(jì)學(xué)與概率論中，協(xié)方差矩陣的每個(gè)元素是各個(gè)向量元素之間的協(xié)方差，是從標(biāo)量隨機(jī)變量到高維度隨機(jī)向量的自然推廣。

　　矩陣中的數(shù)據(jù)按行排列與按列排列求出的協(xié)方差矩陣是不同的，這里默認(rèn)數(shù)據(jù)是按行排列。即每一行是一個(gè)observation（or sample），那么每一列就是一個(gè)隨機(jī)變量。

　　協(xié)方差矩陣：

　　協(xié)方差矩陣的維度等于隨機(jī)變量的個(gè)數(shù)，即每一個(gè) observation 的維度。在某些場(chǎng)合前邊也會(huì)出現(xiàn) 1 / m，而不是 1 / （m - 1）。

　　協(xié)方差矩陣計(jì)算公式

　　在統(tǒng)計(jì)學(xué)與概率論中，協(xié)方差矩陣是一個(gè)矩陣，其每個(gè)元素是各個(gè)向量元素之間的協(xié)方差。這是從標(biāo)量隨機(jī)變量到高維度隨機(jī)向量的自然推廣。

　　如何計(jì)算協(xié)方差矩陣

　　舉個(gè)例子，矩陣 X 按行排列：

　　1. 求每個(gè)維度的平均值

　　2. 將 X 的每一列減去平均值

　　其中：

　　3. 計(jì)算協(xié)方差矩陣

　　注意：

　　有時(shí)候在書上或者網(wǎng)上會(huì)看到這樣的公式，協(xié)方差矩陣 Σ：

　　這里之所以會(huì)是 X * X‘ 是因?yàn)樵紨?shù)據(jù)集 X 是按列排列的，即：

　　另外在 opencv 文檔中關(guān)于計(jì)算協(xié)方差矩陣的 calcCovarMatrix 函數(shù)的說(shuō)明我覺(jué)得是有問(wèn)題的，

　　在正常的 CV_COVAR_NORMAL 狀態(tài)下它給出的 cov = scale * X * X’，而這個(gè)定義僅僅是在數(shù)據(jù)按列排列下才有的，即 CV_COVAR_COLS.

　　URL：http://docs.opencv.org/modules/core/doc/operations_on_arrays.html？highlight=calccovarmatrix#cv.CalcCovarMatrix

　　這里有一個(gè)按列排列的 PCA 教程，可以參考一下：

　　http://ufldl.stanford.edu/wiki/index.php/%E4%B8%BB%E6%88%90%E5%88%86%E5%88%86%E6%9E%90

　　matlab 代碼：

　　clear; clc;

　　% data are stored as rows.

　　X = ［1 2 3;

　　3 1 1］;

　　Y = X;

　?。踨ows， cols］ = size（X）;

　　% get mean of each dimension（each column）。

　　meanMatrix = mean（X）;

　　% X - mean.

　　X = X - ones（rows， 1） * meanMatrix;

　　% get the cov matrix.

　　covMatrix = 1 / （rows - 1） * （X‘ * X）

　　% the given ’cov‘ function

　　cov（Y）