計算機體系結(jié)構(gòu)的深度學習PDF電子書免費下載

　　機器學習，特別是深度學習，在計算機科學的許多領(lǐng)域都具有極大的破壞性。深度學習技術(shù)在解決眾所周知的困難的分類和回歸問題方面的成功，導致了它們在解決現(xiàn)實問題中的迅速采用。深度學習的出現(xiàn)被廣泛地歸因于一個良性循環(huán)，即大量數(shù)據(jù)集和高性能計算機硬件的可用性使深層模型訓練取得了根本性進展。本文作為一個新的和迅速發(fā)展的領(lǐng)域的計算機架構(gòu)師的入門。我們回顧了機器學習自20世紀60年代誕生以來是如何演變的，并跟蹤了導致在過去十年中出現(xiàn)的強大的深度學習技術(shù)出現(xiàn)的關(guān)鍵發(fā)展。接下來，我們將回顧具有代表性的工作負載，包括最常用的數(shù)據(jù)集和跨越各種域的開創(chuàng)性網(wǎng)絡。除了討論工作負載本身之外，我們還詳細介紹了最流行的深度學習工具，并展示了有抱負的實踐者如何使用這些工具來描述和優(yōu)化dnn。本書的其余部分致力于機器學習的硬件和體系結(jié)構(gòu)的設(shè)計和優(yōu)化。由于高性能硬件在機器學習成為一個實用解決方案的成功過程中起到了非常重要的作用，本章講述了最近為進一步改進未來設(shè)計而提出的各種優(yōu)化方案。最后，我們回顧了最近在該領(lǐng)域發(fā)表的研究，以及一個分類法，以幫助讀者理解不同的貢獻是如何在上下文中落下的。

　　這本書是打算為那些有計算機架構(gòu)，電路，或系統(tǒng)背景的神經(jīng)網(wǎng)絡的一般介紹。在引言（第1章）中，我們定義了關(guān)鍵詞匯表，回顧了這些技術(shù)的歷史和發(fā)展，并為在該領(lǐng)域提供額外的硬件支持提供了理由。然后，我們回顧神經(jīng)網(wǎng)絡的基礎(chǔ)知識，從線性回歸到感知器，直到今天最先進的深度神經(jīng)網(wǎng)絡（第2章）。范圍和語言的介紹應該讓任何人都能跟上，目標是讓社區(qū)站在同一頁上。雖然人們對這一領(lǐng)域的興趣激增，但有證據(jù)表明，許多術(shù)語被混為一談，而且在這一領(lǐng)域的理解上存在差距。我們希望這里所呈現(xiàn)的內(nèi)容能夠辟謠，并為非專家提供共同點。在回顧之后，我們將深入討論工具、工作負載和特性。對于從業(yè)者來說，這可能是最有用的一章。我們首先概述現(xiàn)代神經(jīng)網(wǎng)絡和機器學習軟件包（即TensorFlow、Torch、Keras和Theano），并解釋它們的設(shè)計選擇和差異，以指導讀者為其工作選擇正確的工具。在第三章的后半部分，我們介紹了一組常用的、開創(chuàng)性的工作負載，這些工作負載是我們在一個名為Fathom〔2〕的基準套件中組裝起來的，這些工作負載被分為兩類：數(shù)據(jù)集和模型，并解釋了為什么工作負載和/或數(shù)據(jù)集是決定性的，以及應該如何使用它。這一部分也有助于神經(jīng)網(wǎng)絡論文的評論者更好地判斷貢獻。通過更好地理解每一個工作負載，我們認為可以對想法和貢獻進行更深思熟慮的解釋。基準測試包含了CPU和GPU上的工作負載特性。第4章是在第3章的基礎(chǔ)上建立起來的，對于希望研究使用定制硬件加速神經(jīng)網(wǎng)絡的架構(gòu)師來說，這可能是最感興趣的。在本章中，我們回顧了Minerva加速器設(shè)計和優(yōu)化框架［114］，并詳細介紹了如何將高級神經(jīng)網(wǎng)絡軟件庫與硬件CAD和仿真流結(jié)合起來，共同設(shè)計算法和硬件。我們特別關(guān)注Minerva方法，以及如何在神經(jīng)網(wǎng)絡精度和功耗、性能和區(qū)域硬件權(quán)衡方面進行實驗。讀完本章后，研究生應該有信心評估自己的加速器/定制硬件優(yōu)化。在第五章中，我們對神經(jīng)網(wǎng)絡論文的相關(guān)硬件進行了全面的調(diào)查，并開發(fā)了一個分類法，以幫助讀者理解和對比不同的項目。我們主要關(guān)注過去十年，并根據(jù)論文所涉及的計算堆棧的級別（算法、軟件、體系結(jié)構(gòu)或電路）和優(yōu)化類型（稀疏性、量化、算術(shù)近似和容錯性）對論文進行分組建筑和電路會議；這項調(diào)查試圖捕捉本書出版時該地區(qū)建筑師最相關(guān)的作品。事實上，有太多的出版物，不可能把它們都放在一個地方。我們希望這項調(diào)查能起到一個起點的作用；分類法提供了一個順序，讓感興趣的讀者知道到哪里去了解更多關(guān)于某個特定主題的信息；而神經(jīng)網(wǎng)絡硬件支持的偶然參與者在這里找到了一種比較和對比相關(guān)工作的方法。最后，我們通過指出還有哪些工作要做來消除深度學習研究硬件已經(jīng)達到飽和點的神話。盡管關(guān)于這個主題的論文很多，但我們還遠遠沒有完成，即使是在監(jiān)督學習中。本章介紹了需要注意的領(lǐng)域，并簡要介紹了機器學習的其他領(lǐng)域。此外，雖然硬件在很大程度上是機器學習社區(qū)的一個服務行業(yè)，但我們確實應該開始考慮如何利用現(xiàn)代機器學習來改進硬件設(shè)計。這是一項艱巨的任務，因為它需要對方法的真正理解，而不是實現(xiàn)現(xiàn)有的設(shè)計，但如果說過去十年的機器學習教會了我們什么，那就是這些模型運行良好。計算機體系結(jié)構(gòu)是計算機科學中最不正式的領(lǐng)域之一（幾乎完全基于經(jīng)驗和直覺）。機器學習在重新思考我們?nèi)绾卧O(shè)計硬件（包括貝葉斯優(yōu)化）方面可以提供最多的幫助，并展示了這些技術(shù)在硬件設(shè)計中的益處。