機器學(xué)習(xí)中應(yīng)用數(shù)學(xué)應(yīng)該要注意的幾點注記

　　本章討論的主題是我覺得在應(yīng)用機器學(xué)習(xí)（和其他地方）中經(jīng)常假設(shè)的，但是很少詳細解釋。這項工作是針對學(xué)生誰采取了一些線性方法和分析的課程，但誰想看到一些技巧使用的研究人員討論更詳細一些。這里描述的數(shù)學(xué)只是一般機器學(xué)習(xí)中使用的數(shù)學(xué)的一小部分（例如，機器學(xué)習(xí)理論的處理將包括基本泛化誤差邊界的數(shù)學(xué)）下游經(jīng)常使用EST。我包括兩種作業(yè)，‘練習(xí)’和‘謎題’。練習(xí)開始時很容易，反之亦然；這些謎題是帶有一點馬基雅維利惡作劇的練習(xí)。

　　符號：矢量以粗體顯示，矢量分量和矩陣以普通字體顯示，因此例如v（a）i表示第a矢量v（a）的第i分量。符號A:0（）表示矩陣A為正（半）定。矩陣A的轉(zhuǎn)置表示為，而向量X的轉(zhuǎn)置表示X：。

?

　　假設(shè)您希望最小化某個函數(shù)f（x），x*Rd，受約束C（x）＝0。一種直接的方法是找到約束的參數(shù)化，使得用那些參數(shù)表示的f成為無約束函數(shù)。例如，如果c（x）=x:A x_1，x∈Rd，如果A:0，則可以旋轉(zhuǎn)到坐標系并重新定標以對角化約束為形式y(tǒng):y=1，然后用編碼y在（d_1）球體上的約束的參數(shù)化替換。充足的

　　Y1＝正弦1正弦Sn 2···辛釷d 2正弦Sd D 1

　　Y2＝Sin Th 1 Sin Th 2···Sin Th D＝2 CoS Th D D 1

　　Y3＝正弦1正弦Sn 2···CoS Th D＝2

　　·····

　　不幸的是，對于一般約束（例如，當c是d變量中的一般多項式時）這是不可能的，并且即使如此，上面的示例表明事情可以很快變得復(fù)雜。幾何學(xué)