分享一本關(guān)于機(jī)器學(xué)習(xí)的書(shū)稿

近日，Marc Peter Deisenroth、A Aldo Faisal 和 Cheng Soon Ong 所著書(shū)籍《Mathematics for Machine Learning》的全部草稿已放出，機(jī)器之心整理了這本書(shū)的簡(jiǎn)要概述。感興趣的讀者可從以下鏈接獲取全文（英文版）。

書(shū)籍地址：https://mml-book.github.io/

以下是這本書(shū)的部分序言。

機(jī)器學(xué)習(xí)是捕捉人類(lèi)知識(shí)、對(duì)適合構(gòu)建機(jī)器和工程化自動(dòng)系統(tǒng)的格式進(jìn)行推理的最新嘗試。隨著機(jī)器學(xué)習(xí)越來(lái)越普遍，軟件包越來(lái)越易用，自然而然地，從業(yè)者不會(huì)注意低級(jí)技術(shù)細(xì)節(jié)。但是，這帶來(lái)了一些風(fēng)險(xiǎn)，即從業(yè)者不了解設(shè)計(jì)決策，更容易忽略機(jī)器學(xué)習(xí)算法的局限性。對(duì)成功的機(jī)器學(xué)習(xí)算法的背后機(jī)制感興趣的從業(yè)者需要學(xué)習(xí)如下必備知識(shí)：

編程知識(shí)和數(shù)據(jù)分析工具；

大規(guī)模計(jì)算和相關(guān)框架；

數(shù)學(xué)和統(tǒng)計(jì)學(xué)知識(shí)，以及機(jī)器學(xué)習(xí)如何在其上構(gòu)建。

在大學(xué)里，機(jī)器學(xué)習(xí)的基礎(chǔ)課程會(huì)先花時(shí)間介紹部分必備知識(shí)。由于歷史原因，機(jī)器學(xué)習(xí)課程通常屬于計(jì)算機(jī)科學(xué)系，學(xué)生通常接受過(guò)前兩項(xiàng)必備知識(shí)領(lǐng)域的訓(xùn)練，但對(duì)數(shù)學(xué)和統(tǒng)計(jì)學(xué)知識(shí)可能涉獵不多。目前的機(jī)器學(xué)習(xí)教科書(shū)嘗試用一兩章的篇幅覆蓋背景數(shù)學(xué)知識(shí)，可能在書(shū)的開(kāi)頭或者是附錄。而本書(shū)將介紹基礎(chǔ)機(jī)器學(xué)習(xí)概念的數(shù)學(xué)基礎(chǔ)，并收集相關(guān)信息。

為什么要再寫(xiě)一本關(guān)于機(jī)器學(xué)習(xí)的書(shū)？

機(jī)器學(xué)習(xí)構(gòu)建于數(shù)學(xué)語(yǔ)言之上，以表達(dá)看似直觀實(shí)則難以形式化的概念。一旦得到恰當(dāng)?shù)男问交?，我們就可以使用?shù)學(xué)工具推導(dǎo)出機(jī)器學(xué)習(xí)算法設(shè)計(jì)的選擇結(jié)果。這幫助我們理解正在解決的任務(wù)，同時(shí)了解智能的本質(zhì)。全球數(shù)學(xué)專(zhuān)業(yè)的學(xué)生常見(jiàn)的一種抱怨是數(shù)學(xué)話題似乎與實(shí)際問(wèn)題沒(méi)有什么相關(guān)。我們認(rèn)為機(jī)器學(xué)習(xí)是促使人們學(xué)習(xí)數(shù)學(xué)的直接動(dòng)力。

本書(shū)旨在作為構(gòu)建現(xiàn)代機(jī)器學(xué)習(xí)基礎(chǔ)的大量數(shù)學(xué)文獻(xiàn)的指南。我們通過(guò)直接指出數(shù)學(xué)概念在基礎(chǔ)機(jī)器學(xué)習(xí)問(wèn)題中的有用性來(lái)促進(jìn)對(duì)數(shù)學(xué)概念學(xué)習(xí)的需求。為使書(shū)籍盡量簡(jiǎn)短，我們省略了很多細(xì)節(jié)和高級(jí)概念。本書(shū)主要介紹基礎(chǔ)數(shù)學(xué)概念及其在機(jī)器學(xué)習(xí)語(yǔ)境中的意義，讀者可在章節(jié)最后找到進(jìn)一步學(xué)習(xí)的大量資源。對(duì)于具備數(shù)學(xué)背景的讀者，本書(shū)提供簡(jiǎn)潔但表述準(zhǔn)確的機(jī)器學(xué)習(xí)概覽。與主要介紹機(jī)器學(xué)習(xí)方法和模型或編程知識(shí)的書(shū)籍不同，本書(shū)僅提供四個(gè)代表性機(jī)器學(xué)習(xí)算法。我們主要關(guān)注模型背后的數(shù)學(xué)概念，并描述其抽象之美。我們希望所有讀者能夠通過(guò)數(shù)學(xué)模型中的基礎(chǔ)選擇更加深入地了解機(jī)器學(xué)習(xí)應(yīng)用中出現(xiàn)的機(jī)器學(xué)習(xí)基礎(chǔ)問(wèn)題和相關(guān)的實(shí)際問(wèn)題。

目標(biāo)讀者

隨著機(jī)器學(xué)習(xí)應(yīng)用在社會(huì)中的廣泛應(yīng)用，我們認(rèn)為每個(gè)人都應(yīng)該了解其背后的原則。本書(shū)以學(xué)術(shù)數(shù)學(xué)風(fēng)格寫(xiě)成，可以幫助讀者準(zhǔn)確理解機(jī)器學(xué)習(xí)背后的概念。我們鼓勵(lì)不熟悉這一風(fēng)格的讀者堅(jiān)持閱讀本書(shū)，并牢記每個(gè)話題的目標(biāo)。我們將在文本中插入大量評(píng)論，希望可以幫助讀者獲取對(duì)全局的理解。本書(shū)假設(shè)讀者具備中學(xué)數(shù)學(xué)和物理知識(shí)。例如，讀者應(yīng)該了解過(guò)導(dǎo)數(shù)和積分，以及二維三維幾何向量。因此，本書(shū)的目標(biāo)讀者包括本科大學(xué)生、夜校學(xué)生和參與機(jī)器學(xué)習(xí)在線課程的人們。

本書(shū)結(jié)構(gòu)如下所示：

第一部分：數(shù)學(xué)基礎(chǔ)

1. 引言和動(dòng)機(jī)

2. 線性代數(shù)

3. 解析幾何

4. 矩陣分解

5. 向量微積分

6. 概率和分布

7. 連續(xù)優(yōu)化

第二部分：機(jī)器學(xué)習(xí)核心問(wèn)題

1. 當(dāng)模型遇到數(shù)據(jù)

2. 線性回歸

3. 利用主成分分析進(jìn)行降維

4. 利用高斯混合模型進(jìn)行密度估計(jì)

5. 利用支持向量機(jī)進(jìn)行分類(lèi)

我們可以用以下兩種策略來(lái)理解機(jī)器學(xué)習(xí)中的數(shù)學(xué)：

按從基礎(chǔ)到高級(jí)的順序構(gòu)建概念。這通常是偏技術(shù)性領(lǐng)域（如數(shù)學(xué)）的首選方法。該策略的優(yōu)點(diǎn)是，讀者可以隨時(shí)依賴(lài)自己以前學(xué)過(guò)的定義，不會(huì)遇到那些晦澀難懂、難以接受的觀點(diǎn)。但對(duì)于從業(yè)者來(lái)說(shuō)，許多基礎(chǔ)概念本身并不怎么有趣，因此大多數(shù)基礎(chǔ)定義會(huì)被他們很快遺忘。

從實(shí)際需求向下挖掘出更基礎(chǔ)的要求。這種目標(biāo)驅(qū)動(dòng)方法的優(yōu)點(diǎn)是，讀者隨時(shí)都知道為什么他們需要研究特定的概念，并且清晰地知道自己需要哪些知識(shí)。這種策略的缺點(diǎn)是知識(shí)的基礎(chǔ)并不穩(wěn)固，讀者必須記住一組自己并不理解的單詞。

本書(shū)分為兩部分，第一部分講數(shù)學(xué)基礎(chǔ)，第二部分將第一部分的概念應(yīng)用于基本的機(jī)器學(xué)習(xí)問(wèn)題中，繼而形成了圖 1.1 中闡述的“機(jī)器學(xué)習(xí)四大支柱”。

圖 1.1：機(jī)器學(xué)習(xí)的基礎(chǔ)和四大支柱。

第一部分關(guān)于數(shù)學(xué)

我們將數(shù)值數(shù)據(jù)表示為向量，并將這些數(shù)據(jù)的表格表示為矩陣。向量和矩陣的研究被稱(chēng)為線性代數(shù)，見(jiàn)本書(shū)第 2 章。