亞馬遜將Alexa語(yǔ)音助手的部分計(jì)算任務(wù)轉(zhuǎn)移到自主設(shè)計(jì)的芯片上

芯片自研的趨勢(shì)正愈演愈烈。

云服務(wù)巨頭亞馬遜最近發(fā)表聲明稱(chēng)，計(jì)劃將 Alexa 語(yǔ)音助手的部分計(jì)算任務(wù)轉(zhuǎn)移到自主設(shè)計(jì)的定制設(shè)計(jì)芯片 Inferentia 上，以便加速任務(wù)的執(zhí)行速度，同時(shí)降低成本。

這意味著亞馬遜將減少對(duì)英偉達(dá)芯片的依賴(lài)。

當(dāng)用戶(hù)使用亞馬遜 Echo 智能音箱呼叫 Alexa 語(yǔ)音助手時(shí)，語(yǔ)音數(shù)據(jù)將發(fā)送到數(shù)據(jù)中心的服務(wù)器上，然后再由 AI 系統(tǒng)分析和處理，以文本的形式生成反饋信息，最后再轉(zhuǎn)換成 Alex 的語(yǔ)音，轉(zhuǎn)達(dá)給用戶(hù)。

在此之前，整套流程都是由英偉達(dá)芯片驅(qū)動(dòng)的，但從今往后，亞馬遜將逐步起用自家的 Inferentia 計(jì)算芯片。該芯片發(fā)布于 2018 年，專(zhuān)門(mén)為執(zhí)行機(jī)器學(xué)習(xí)任務(wù)而定制設(shè)計(jì)，可以加速文本轉(zhuǎn)語(yǔ)音、識(shí)別圖像等任務(wù)的執(zhí)行速度。

亞馬遜官方介紹，AWS 云服務(wù)是使深度學(xué)習(xí)普及到普通開(kāi)發(fā)者，并以低成本提供按需付費(fèi)服務(wù)的頂尖基礎(chǔ)架構(gòu)。作為加速機(jī)器學(xué)習(xí)任務(wù)的定制芯片，Inferentia 是實(shí)現(xiàn)這一愿景的長(zhǎng)期戰(zhàn)略的一部分。

Inferentia 旨在在云端提供高性能推理，降低推理的總成本，配套的軟件開(kāi)發(fā)套件（SDK）可以方便開(kāi)發(fā)人員將機(jī)器學(xué)習(xí)集成到其業(yè)務(wù)中。它的特點(diǎn)主要是高性能，低延遲和高靈活性。

每個(gè) Inferentia 芯片的運(yùn)算性能最高可達(dá) 128 TOPS，而現(xiàn)有的每個(gè) EC2 Inf1 服務(wù)最多支持 16 個(gè) Inferentia 芯片。芯片經(jīng)過(guò)了特殊優(yōu)化，以最大程度地提高小樣本尺寸的吞吐量，這對(duì)于語(yǔ)音生成和搜索等對(duì)延遲要求很高的任務(wù)特別有用。

另一方面，Inferentia 擁有大量的片上內(nèi)存，可用于緩存大型模型，而不是存儲(chǔ)在芯片外。由于它的處理核心（又被稱(chēng)作神經(jīng)核心）可以高速訪問(wèn)存儲(chǔ)片上內(nèi)存中的模型且不受片外存儲(chǔ)器帶寬限制，因此可以有效減少延遲對(duì)推理的重大影響。

亞馬遜表示，將 Alexa 相關(guān)任務(wù)轉(zhuǎn)移到 Inferentia 芯片，可以將延遲降低 25％，成本降低 30％。

亞馬遜還強(qiáng)調(diào)，開(kāi)發(fā)人員可以使用 TensorFlow，PyTorch 和 MXNet 等流行框架來(lái)訓(xùn)練模型，并使用 AWS Neuron SDK 輕松地將它們部署到云服務(wù)器上。Inferentia 支持 FP16，BF16 和 INT8 數(shù)據(jù)類(lèi)型，還可以采用 32 位訓(xùn)練模型并使用 BFloat16 以 16 位模型的速度自動(dòng)運(yùn)行。

近年來(lái)，亞馬遜，微軟和谷歌等公司正在大力發(fā)展云計(jì)算服務(wù)，因此需要大量的數(shù)據(jù)中心和服務(wù)器西元，由此成為了最大的計(jì)算芯片客戶(hù)。這種趨勢(shì)推動(dòng)了英偉達(dá)，AMD 和英特爾等公司加大了對(duì)計(jì)算芯片的研發(fā)力度，而且相關(guān)營(yíng)收也不斷增長(zhǎng)。

但最近的趨勢(shì)顯示，越來(lái)越多的技術(shù)公司正在嘗試擺脫對(duì)傳統(tǒng)芯片供應(yīng)商的依賴(lài)，轉(zhuǎn)向自主設(shè)計(jì)芯片的道路。比如蘋(píng)果最近推出了搭載自研中央處理器 M1 芯片的 Mac 電腦。

目前，亞馬遜的云端面部識(shí)別服務(wù) Rekognition 也已經(jīng)已開(kāi)始使用 Inferentia 芯片，但仍有大部分服務(wù)依賴(lài)于英偉達(dá)芯片。

責(zé)任編輯：xj

原文標(biāo)題：告別英偉達(dá)，亞馬遜計(jì)劃將Alexa語(yǔ)音處理任務(wù)轉(zhuǎn)移至自研芯片

文章出處：【微信公眾號(hào)：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。