分享一本關(guān)于機(jī)器學(xué)習(xí)的書稿 - 全文

近日，Marc Peter Deisenroth、A Aldo Faisal 和 Cheng Soon Ong 所著書籍《Mathematics for Machine Learning》的全部草稿已放出，機(jī)器之心整理了這本書的簡要概述。感興趣的讀者可從以下鏈接獲取全文（英文版）。

書籍地址：https://mml-book.github.io/

以下是這本書的部分序言。

機(jī)器學(xué)習(xí)是捕捉人類知識、對適合構(gòu)建機(jī)器和工程化自動系統(tǒng)的格式進(jìn)行推理的最新嘗試。隨著機(jī)器學(xué)習(xí)越來越普遍，軟件包越來越易用，自然而然地，從業(yè)者不會注意低級技術(shù)細(xì)節(jié)。但是，這帶來了一些風(fēng)險，即從業(yè)者不了解設(shè)計(jì)決策，更容易忽略機(jī)器學(xué)習(xí)算法的局限性。對成功的機(jī)器學(xué)習(xí)算法的背后機(jī)制感興趣的從業(yè)者需要學(xué)習(xí)如下必備知識：

編程知識和數(shù)據(jù)分析工具；

大規(guī)模計(jì)算和相關(guān)框架；

數(shù)學(xué)和統(tǒng)計(jì)學(xué)知識，以及機(jī)器學(xué)習(xí)如何在其上構(gòu)建。

在大學(xué)里，機(jī)器學(xué)習(xí)的基礎(chǔ)課程會先花時間介紹部分必備知識。由于歷史原因，機(jī)器學(xué)習(xí)課程通常屬于計(jì)算機(jī)科學(xué)系，學(xué)生通常接受過前兩項(xiàng)必備知識領(lǐng)域的訓(xùn)練，但對數(shù)學(xué)和統(tǒng)計(jì)學(xué)知識可能涉獵不多。目前的機(jī)器學(xué)習(xí)教科書嘗試用一兩章的篇幅覆蓋背景數(shù)學(xué)知識，可能在書的開頭或者是附錄。而本書將介紹基礎(chǔ)機(jī)器學(xué)習(xí)概念的數(shù)學(xué)基礎(chǔ)，并收集相關(guān)信息。

為什么要再寫一本關(guān)于機(jī)器學(xué)習(xí)的書？

機(jī)器學(xué)習(xí)構(gòu)建于數(shù)學(xué)語言之上，以表達(dá)看似直觀實(shí)則難以形式化的概念。一旦得到恰當(dāng)?shù)男问交?，我們就可以使用?shù)學(xué)工具推導(dǎo)出機(jī)器學(xué)習(xí)算法設(shè)計(jì)的選擇結(jié)果。這幫助我們理解正在解決的任務(wù)，同時了解智能的本質(zhì)。全球數(shù)學(xué)專業(yè)的學(xué)生常見的一種抱怨是數(shù)學(xué)話題似乎與實(shí)際問題沒有什么相關(guān)。我們認(rèn)為機(jī)器學(xué)習(xí)是促使人們學(xué)習(xí)數(shù)學(xué)的直接動力。

本書旨在作為構(gòu)建現(xiàn)代機(jī)器學(xué)習(xí)基礎(chǔ)的大量數(shù)學(xué)文獻(xiàn)的指南。我們通過直接指出數(shù)學(xué)概念在基礎(chǔ)機(jī)器學(xué)習(xí)問題中的有用性來促進(jìn)對數(shù)學(xué)概念學(xué)習(xí)的需求。為使書籍盡量簡短，我們省略了很多細(xì)節(jié)和高級概念。本書主要介紹基礎(chǔ)數(shù)學(xué)概念及其在機(jī)器學(xué)習(xí)語境中的意義，讀者可在章節(jié)最后找到進(jìn)一步學(xué)習(xí)的大量資源。對于具備數(shù)學(xué)背景的讀者，本書提供簡潔但表述準(zhǔn)確的機(jī)器學(xué)習(xí)概覽。與主要介紹機(jī)器學(xué)習(xí)方法和模型或編程知識的書籍不同，本書僅提供四個代表性機(jī)器學(xué)習(xí)算法。我們主要關(guān)注模型背后的數(shù)學(xué)概念，并描述其抽象之美。我們希望所有讀者能夠通過數(shù)學(xué)模型中的基礎(chǔ)選擇更加深入地了解機(jī)器學(xué)習(xí)應(yīng)用中出現(xiàn)的機(jī)器學(xué)習(xí)基礎(chǔ)問題和相關(guān)的實(shí)際問題。

目標(biāo)讀者

隨著機(jī)器學(xué)習(xí)應(yīng)用在社會中的廣泛應(yīng)用，我們認(rèn)為每個人都應(yīng)該了解其背后的原則。本書以學(xué)術(shù)數(shù)學(xué)風(fēng)格寫成，可以幫助讀者準(zhǔn)確理解機(jī)器學(xué)習(xí)背后的概念。我們鼓勵不熟悉這一風(fēng)格的讀者堅(jiān)持閱讀本書，并牢記每個話題的目標(biāo)。我們將在文本中插入大量評論，希望可以幫助讀者獲取對全局的理解。本書假設(shè)讀者具備中學(xué)數(shù)學(xué)和物理知識。例如，讀者應(yīng)該了解過導(dǎo)數(shù)和積分，以及二維三維幾何向量。因此，本書的目標(biāo)讀者包括本科大學(xué)生、夜校學(xué)生和參與機(jī)器學(xué)習(xí)在線課程的人們。

本書結(jié)構(gòu)如下所示：

第一部分：數(shù)學(xué)基礎(chǔ)

1. 引言和動機(jī)

2. 線性代數(shù)

3. 解析幾何

4. 矩陣分解

5. 向量微積分

6. 概率和分布

7. 連續(xù)優(yōu)化

第二部分：機(jī)器學(xué)習(xí)核心問題

1. 當(dāng)模型遇到數(shù)據(jù)

2. 線性回歸

3. 利用主成分分析進(jìn)行降維

4. 利用高斯混合模型進(jìn)行密度估計(jì)

5. 利用支持向量機(jī)進(jìn)行分類

我們可以用以下兩種策略來理解機(jī)器學(xué)習(xí)中的數(shù)學(xué)：

按從基礎(chǔ)到高級的順序構(gòu)建概念。這通常是偏技術(shù)性領(lǐng)域（如數(shù)學(xué)）的首選方法。該策略的優(yōu)點(diǎn)是，讀者可以隨時依賴自己以前學(xué)過的定義，不會遇到那些晦澀難懂、難以接受的觀點(diǎn)。但對于從業(yè)者來說，許多基礎(chǔ)概念本身并不怎么有趣，因此大多數(shù)基礎(chǔ)定義會被他們很快遺忘。

從實(shí)際需求向下挖掘出更基礎(chǔ)的要求。這種目標(biāo)驅(qū)動方法的優(yōu)點(diǎn)是，讀者隨時都知道為什么他們需要研究特定的概念，并且清晰地知道自己需要哪些知識。這種策略的缺點(diǎn)是知識的基礎(chǔ)并不穩(wěn)固，讀者必須記住一組自己并不理解的單詞。

本書分為兩部分，第一部分講數(shù)學(xué)基礎(chǔ)，第二部分將第一部分的概念應(yīng)用于基本的機(jī)器學(xué)習(xí)問題中，繼而形成了圖 1.1 中闡述的“機(jī)器學(xué)習(xí)四大支柱”。

圖 1.1：機(jī)器學(xué)習(xí)的基礎(chǔ)和四大支柱。

第一部分關(guān)于數(shù)學(xué)

我們將數(shù)值數(shù)據(jù)表示為向量，并將這些數(shù)據(jù)的表格表示為矩陣。向量和矩陣的研究被稱為線性代數(shù)，見本書第 2 章。

我們經(jīng)常認(rèn)為數(shù)據(jù)是一些真實(shí)潛在信號的噪聲觀測結(jié)果，并希望通過機(jī)器學(xué)習(xí)從噪聲中識別出信號。為此我們需要一種語言來量化噪聲的含義。我們也經(jīng)常希望能有預(yù)測因子來表達(dá)某種不確定性，例如，量化我們對特定測試數(shù)據(jù)概率預(yù)測值的置信度。對不確定性的量化屬于概率論的領(lǐng)域，在本書第 6 章有所涉及。

為了把爬山法（hill-climbing）應(yīng)用于訓(xùn)練機(jī)器學(xué)習(xí)模型，我們需要形式化梯度的概念，它會告訴我們尋找解的方向。搜索方向這個想法是通過微積分來形式化的，我們在第 5 章介紹了這一點(diǎn)。如何使用這些搜索方向序列來找到山頂被稱為優(yōu)化，見本書第 7 章。

第二部分關(guān)于機(jī)器學(xué)習(xí)

本書第二部分介紹了機(jī)器學(xué)習(xí)的四大支柱，如下表所示。表中的每一行區(qū)分了問題的相關(guān)變量是連續(xù)還是類別。我們解釋了如何將本書第一部分介紹的數(shù)學(xué)概念應(yīng)用于機(jī)器學(xué)習(xí)算法的設(shè)計(jì)中。

表 1.1：機(jī)器學(xué)習(xí)的四大支柱。

圖 2.2：該思維導(dǎo)圖展示了本章介紹的概念及其與其他章節(jié)的關(guān)聯(lián)。