CPU和GPU與TPU是如何工作的到底有什么區(qū)別

很多讀者可能分不清楚 CPU、GPU 和 TPU 之間的區(qū)別，因此 Google Cloud 將在這篇博客中簡要介紹它們之間的區(qū)別，并討論為什么 TPU 能加速深度學(xué)習(xí)。

TPU

張量處理單元（TPU）是一種定制化的 ASIC 芯片，它由谷歌從頭設(shè)計(jì)，并專門用于機(jī)器學(xué)習(xí)工作負(fù)載。TPU 為谷歌的主要產(chǎn)品提供了計(jì)算支持，包括翻譯、照片、搜索助理和 Gmail 等。Cloud TPU 將 TPU 作為可擴(kuò)展的云計(jì)算資源，并為所有在 Google Cloud 上運(yùn)行尖端 ML 模型的開發(fā)者與數(shù)據(jù)科學(xué)家提供計(jì)算資源。在 Google Next’18 中，我們宣布 TPU v2 現(xiàn)在已經(jīng)得到用戶的廣泛使用，包括那些免費(fèi)試用用戶，而 TPU v3 目前已經(jīng)發(fā)布了內(nèi)部測試版。

TPU

第三代 Cloud TPU

如上為 tpudemo.com 截圖，該網(wǎng)站 PPT 解釋了 TPU 的特性與定義。在本文中，我們將關(guān)注 TPU 某些特定的屬性。

神經(jīng)網(wǎng)絡(luò)如何運(yùn)算

在我們對比 CPU、GPU 和 TPU 之前，我們可以先了解到底機(jī)器學(xué)習(xí)或神經(jīng)網(wǎng)絡(luò)需要什么樣的計(jì)算。如下所示，假設(shè)我們使用單層神經(jīng)網(wǎng)絡(luò)識別手寫數(shù)字。

TPU

如果圖像為 28×28 像素的灰度圖，那么它可以轉(zhuǎn)化為包含 784 個(gè)元素的向量。神經(jīng)元會(huì)接收所有 784 個(gè)值，并將它們與參數(shù)值（上圖紅線）相乘，因此才能識別為「8」。其中參數(shù)值的作用類似于用「濾波器」從數(shù)據(jù)中抽取特征，因而能計(jì)算輸入圖像與「8」之間的相似性：

然后，TPU 從內(nèi)存加載數(shù)據(jù)。當(dāng)每個(gè)乘法被執(zhí)行后，其結(jié)果將被傳遞到下一個(gè)乘法器，同時(shí)執(zhí)行加法。因此結(jié)果將是所有數(shù)據(jù)和參數(shù)乘積的和。在大量計(jì)算和數(shù)據(jù)傳遞的整個(gè)過程中，不需要執(zhí)行任何的內(nèi)存訪問。

這就是為什么 TPU 可以在神經(jīng)網(wǎng)絡(luò)運(yùn)算上達(dá)到高計(jì)算吞吐量，同時(shí)能耗和物理空間都很小。

好處：成本降低至 1/5

因此使用 TPU 架構(gòu)的好處就是：降低成本。以下是截至 2018 年 8 月（寫這篇文章的時(shí)候）Cloud TPU v2 的使用價(jià)格。

在 DAWNBench 比賽于 2018 年 4 月結(jié)束的時(shí)候，非 TPU 處理器的最低訓(xùn)練成本是 72.40 美元（使用現(xiàn)場實(shí)例訓(xùn)練 ResNet-50 達(dá)到 93% 準(zhǔn)確率）。而使用 Cloud TPU v2 搶占式計(jì)價(jià)，你可以在 12.87 美元的價(jià)格完成相同的訓(xùn)練結(jié)果。這僅相當(dāng)于非 TPU 的不到 1/5 的成本。這正是神經(jīng)網(wǎng)絡(luò)領(lǐng)域特定架構(gòu)的威力之所在。