亞馬遜推出基于Inferentia芯片的Inf1實(shí)例

當(dāng)?shù)貢r(shí)間12月3日，亞馬遜在“AWS re：invent”大會(huì)上正式發(fā)布了自主研發(fā)的第二代基于Arm架構(gòu)的服務(wù)器芯片Graviton2，同時(shí)公布了去年發(fā)布的云端AI推理芯片Inferentia的最新進(jìn)展。

亞馬遜AWS在此次大會(huì)上推出了Inf1實(shí)例，該實(shí)例由Inferentia芯片提供支持，是一個(gè)在云端為AI推理提供支持的實(shí)例，AWS CEO Andy Jassy稱(chēng)之為云中可用的成本最低的推理產(chǎn)品。

Andy Jassy 指出：使用云服務(wù)為AI解決方案提供動(dòng)力的運(yùn)營(yíng)成本絕大多數(shù)來(lái)自推理，而推理芯片可能會(huì)很昂貴，并且要求低延遲和高吞吐量。許多企業(yè)都在模型訓(xùn)練的定制芯片上投入了大量精力，盡管常規(guī) CPU 上已經(jīng)能夠較好地執(zhí)行推理運(yùn)算，但定制芯片的效率明顯更高。“與Nvidia G4實(shí)例相比，Inf1具有更低的延遲，吞吐量將提高3倍，并且每個(gè)實(shí)例的成本降低40％。”

Inferentia芯片還將由Annapurna Labs提供支持，該芯片企業(yè)是2015年被以色列AWS收購(gòu)的。Inferentia芯片擁有4的個(gè)NeuronCore，可以提供128TOPS的算力，而每個(gè)Inf1實(shí)例可以提供2000 TOPS的算力。

與 EC4 上的常規(guī) G4 實(shí)例相比，Inferentia 能夠讓 AWS 帶來(lái)更低的延時(shí)、三倍的吞吐量、且降低 40% 單次的成本。

Inf1實(shí)例目前已經(jīng)上市，并將與PyTorch，MXNet和TensoRFlow集成。不過(guò)，目前其僅可在EC2計(jì)算服務(wù)中使用，但明年，Inf1將可以用于EKS實(shí)例和Amazon的SageMaker，來(lái)進(jìn)行機(jī)器學(xué)習(xí)的推理運(yùn)算。