變革性技術(shù)機(jī)器學(xué)習(xí)把硅戰(zhàn)爭(zhēng)帶到云端

AWS全球基礎(chǔ)設(shè)施和客戶支持高級(jí)副總裁Peter DeSantis在AWS Re:Invent年度用戶活動(dòng)上發(fā)表主旨演講時(shí)表示，與CPU巨頭AMD和Intel提供的處理器相比AWS的處理器和芯片設(shè)計(jì)在云應(yīng)用程序性能方面具有優(yōu)越性，而且AWS的圖形處理器性能超過(guò)了Nvidia為機(jī)器學(xué)習(xí)（ML）提供的GPU。他指的是AWS Graviton2處理器，由AWS使用64位Arm Neoverse定制。

隨著AWS上以及Azure和Google Cloud Platform（GCP）上可用選擇的爆炸式增長(zhǎng)，客戶可能會(huì)越來(lái)越仔細(xì)地考慮應(yīng)用程序性能和服務(wù)提供的成本/性能比。這樣，底層芯片和服務(wù)器基礎(chǔ)設(shè)施將成為決定云原生應(yīng)用程序性能、功耗以及成本的關(guān)鍵因素。

因此，AWS希望旗艦64位基于ARM的Gravion2和其他內(nèi)部設(shè)計(jì)的處理器的強(qiáng)大功能發(fā)揮重要作用，以幫助客戶提高其應(yīng)用程序的性能。

DeSantis說(shuō)：“對(duì)AWS硅技術(shù)的深度投資真正令人興奮和帶來(lái)變革的是能夠跨定制硬件和軟件工作，以提供獨(dú)特的功能。通過(guò)在整個(gè)堆棧中工作，我們能夠比以往任何時(shí)候更快地實(shí)現(xiàn)這些改進(jìn)?！?/p>

發(fā)力芯片

Graviton2有望通過(guò)多種方式進(jìn)一步提高應(yīng)用程序性能。DeSantis作出了大膽的聲明，AWS Graviton2提供了優(yōu)于傳統(tǒng)設(shè)計(jì)的性能、節(jié)能優(yōu)勢(shì)和安全性。AWS還公開(kāi)表示，為Amazon EC2 T4g、M6g、C6g和R6g實(shí)例以及基于本地NVMe的SSD存儲(chǔ)的“變體”提供動(dòng)力的Graviton2“為各種工作負(fù)載”提供了比基于x86的實(shí)例高出40%的性價(jià)比

DeSantis說(shuō)，在基于Graviton的Amazon EC2 A1實(shí)例中引入Graviton的目的是讓AWS“與客戶和ISV合作伙伴合作，了解他們?cè)诂F(xiàn)代64位ARM處理器上運(yùn)行工作負(fù)載需要什么”。

DeSantis解釋說(shuō)，如今用戶需要的是將處理器設(shè)計(jì)與在云環(huán)境中運(yùn)行的高度分布式微服務(wù)應(yīng)用程序相匹配的能力。今天的開(kāi)發(fā)者也基本上不再用C++編寫(xiě)云原生應(yīng)用程序，而是用GO和Ruat，并且“完全改變了高性能多線程應(yīng)用程序的開(kāi)發(fā)”。

“對(duì)我來(lái)說(shuō)，最令人興奮的趨勢(shì)之一是轉(zhuǎn)向基于服務(wù)的架構(gòu)，從大型單體應(yīng)用程序向小型專門構(gòu)建的獨(dú)立應(yīng)用程序發(fā)展。這正是容器和Lambda支持的計(jì)算類型。雖然橫向擴(kuò)展計(jì)算已經(jīng)發(fā)展到利用更高核心處理器，但處理器設(shè)計(jì)師從未真正拋棄舊世界。他們?cè)噲D做到這兩個(gè)方面，既滿足傳統(tǒng)應(yīng)用程序的需要，又滿足現(xiàn)代擴(kuò)展應(yīng)用程序的需要?！?/p>

DeSantis在重申Graviton2的設(shè)計(jì)者“專注于確保每個(gè)核心都能為現(xiàn)代云工作負(fù)載提供最真實(shí)的性能”的同時(shí)，還暗指?jìng)鹘y(tǒng)的CPU性能基準(zhǔn)（如用于衡量PC和服務(wù)器性能的基準(zhǔn)）不再適用?！拔覀兝眠\(yùn)行實(shí)際橫向擴(kuò)展應(yīng)用程序的經(jīng)驗(yàn)，確定需要在哪些方面添加功能以確保最佳性能?！?/p>

DeSantis還表示，Graviton2的設(shè)計(jì)旨在節(jié)省每個(gè)芯片的硅表面，同時(shí)通過(guò)減少內(nèi)核數(shù)量來(lái)降低功耗——這是衡量處理器性能的傳統(tǒng)方法。

“我們?cè)O(shè)計(jì)Graviton的目的是有盡可能多的獨(dú)立核心，而盡管獨(dú)立，Graviton兩個(gè)核心的設(shè)計(jì)是一致的?！?/p>

Snap的工程高級(jí)副總裁Jerry Hunter表示，Snap使用Graviron2有助于降低AWS DynamoDB和S3的成本和能耗。除了用AWS的DynamoDB和S3進(jìn)行存儲(chǔ)外，他還看到了Graviton2“在不消耗大量能源的情況下為客戶降低成本并創(chuàng)造更好的性能”。

Hunter說(shuō)，Snap向Graviton2的轉(zhuǎn)變“非常簡(jiǎn)單”，API“與以前使用的非常相似”，因此“不需要花太多時(shí)間來(lái)遷移代碼以進(jìn)行測(cè)試。我們節(jié)省了20%的成本，這是非常棒的，因?yàn)槲覀兡軌蚯袚Q此負(fù)載，并立即獲得成本節(jié)約和更高的性能。”

芯片上的機(jī)器學(xué)習(xí)

雖然沒(méi)有透露具體的基準(zhǔn)測(cè)試，DeSantis還表示AWS優(yōu)于Nvidia?？偟膩?lái)說(shuō)，與用于支持ML的大規(guī)模推理基礎(chǔ)設(shè)施的GPU相比，AWS Inferentia提供了“以一半的成本實(shí)現(xiàn)了最高的吞吐量（每次推理）”。具體到Nvidia，DeSantis說(shuō)Amazon Alexa最近將其推理工作負(fù)載從基于Nvidia GPU的硬件轉(zhuǎn)移到了基于Inferentia的EC2實(shí)例，成本降低了30%，延遲降低了25%。

對(duì)于ML開(kāi)發(fā)人員，AWS的Neuron團(tuán)隊(duì)提供了TensorFlow、PyTorch和Apache MXNet等框架來(lái)設(shè)計(jì)運(yùn)行在Inferntia上的應(yīng)用程序。DeSantis說(shuō)：“開(kāi)發(fā)人員可以利用Inferntia的成本節(jié)約和性能，而不需要對(duì)ML代碼進(jìn)行很多更改或根本不做任何更改，并保持對(duì)其他ML處理器的支持?！?/p>

在沒(méi)有透露具體細(xì)節(jié)的情況下，DeSantis說(shuō)，AWS為ML設(shè)計(jì)的下一款硅芯片將包括明年推出的AWS Trainium。

“我們?cè)跈C(jī)器學(xué)習(xí)芯片上的投資才剛剛開(kāi)始。正如Inferentia所做的那樣，Trainium將提供最低成本和最高性能的方式來(lái)運(yùn)行訓(xùn)練工作負(fù)載。”

對(duì)于ML開(kāi)發(fā)團(tuán)隊(duì)，AWS還通過(guò)機(jī)器學(xué)習(xí)擴(kuò)展運(yùn)維，并將AWS的數(shù)據(jù)庫(kù)服務(wù)（包括S3和Dynamo）與AWS SageMaker及其ML基礎(chǔ)設(shè)施集成在一起。有了正確的硅基礎(chǔ)設(shè)施和開(kāi)發(fā)工具，目的是提供一個(gè)機(jī)器學(xué)習(xí)平臺(tái)可以滿足DevOps團(tuán)隊(duì)的需求，因?yàn)樗麄兛梢栽诓桓淖兓A(chǔ)設(shè)施和工具集的情況下，從10或100個(gè)ML項(xiàng)目模型擴(kuò)展到1000個(gè)。

“這是一種變革性的技術(shù)。我認(rèn)為，開(kāi)始機(jī)器學(xué)習(xí)并開(kāi)始進(jìn)行概念驗(yàn)證非常重要，而AWS提供的工具使其變得更加容易，”AWS ML的副總裁Bratin Saha表示?！八裕艺J(rèn)為讓客戶明白機(jī)器學(xué)習(xí)是現(xiàn)在的關(guān)鍵，而不是未來(lái)，這一點(diǎn)非常重要。”
編輯：hfy