64核+高內(nèi)存帶寬！英特爾發(fā)布第五代至強服務器，加速AI原生應用落地

12月15日下午，在2023年英特爾新品發(fā)布會上，英特爾正式揭開了第五代至強可擴展處理器（代號Emerald Rapids）的神秘面紗。在會上，英特爾的合作伙伴京東云、阿里云和火山引擎也分享了其自身使用第五代至強開發(fā)新品服務器和大模型訓練的案例。

這款產(chǎn)品是英特爾最強AI性能的CPU，采用了Intel7工藝，該處理器擁有多達64 核，具備8 條 DDR5 通道，支持高達5,600 MT/s的傳輸速率，三級緩存是上一代產(chǎn)品的近 3 倍，且采用英特爾超級通道互聯(lián)2.0 以增加跨插槽內(nèi)帶寬，提供高達20 GT/s的傳輸。
據(jù)悉，第五代至強可擴展處理器比較上一代產(chǎn)品，可以處理更多的AI工作負載，其迭代性能相較于上一代產(chǎn)品提升了21%，而在AI推理性能上，則擁有高達42%的提升，其內(nèi)存帶寬也提升了16%。

相較上一代產(chǎn)品，第五代英特爾至強可擴展處理器可在進行通用計算時將整體性能提升高達21%，并在一系列客戶工作負載中將每瓦性能提升高達36%。對于遵循典型的五年更新周期并從更前一代處理器進行升級的客戶而言，總體擁有成本最多降低77%。

京東云服務器搭載第五代至強，整機提升123%，大模型推理能力提升51%！

京東科技京東云事業(yè)部硬件架構總監(jiān)董可新表示，基于英特爾新一代處理器的京東云自研服務器全面支持京東雙十一大促。評測結果顯示，新一代至強可擴展服務器平臺比上一代整體提升了23%，一方面得益于新一代處理器更高的內(nèi)存頻率，以及更大的L3 Cache等新的技術特性，另一方面得益于我們在和英特爾聯(lián)合定制的新一代CPU中，針對京東各個業(yè)務場景的性能需求進行了針對性的性能優(yōu)化。

在AI應用方面，京東云服務器在通用的AI視覺類模型ResNet50推理性能測試中，比上一代平臺整體性能提升了38%。在通用的大語言模型Llama2-13B模型推理性能測試中，與上一代相比，提升高達51%，擁有出色的整體優(yōu)化效果。

在剛剛過去的雙十一中，京東商城上超過60個品牌的營銷額突破了10億。在大促期間，每秒用戶訪問峰值同比提升了170%，京東智能客服為超過14億次的用戶提供了累計智能咨詢的服務。他指出，特別在智能營銷方面，京東實現(xiàn)了能夠根據(jù)產(chǎn)業(yè)洞察及帶貨思維進行服務的數(shù)字人，以及其他成本降低達90%的生成式AI應用。

英特爾和多家合作伙伴打造第五代Xeon生態(tài)合作圈

數(shù)據(jù)中心與人工智能集團副總裁兼中國區(qū)總經(jīng)理陳葆立介紹了英特爾和百度云合作的最新成果。在針對大規(guī)模推理的早期測試，雙方使用700億參數(shù)的Llama 2開源大模型進行推理，采用了4臺內(nèi)含第五代至強的服務器，并通過100G的高速網(wǎng)絡聯(lián)合在一起。結果是，相比單臺的服務器，其性能提升了2.85倍。從整個性能上看，在處理Llama 2 700億模型推理時，時間可以控制在87毫秒以內(nèi)。

阿里云則展示了基于英特爾第五代至強可擴展處理器，推出新一代云實例?；谟⑻貭柕谖宕翉?a target="_blank">芯片，阿里云第八代計算實例迎來了全面的計算升級。英特爾CPU在L3 Cache的3倍性能提升和內(nèi)存帶寬16%的提升，在媒體處理、網(wǎng)站應用和AI應用等場景性能提升20%以上。

通義千問720億大模型近期在開源社區(qū)Hugging Face大模型排行榜上問鼎。阿里云非常重視云上用戶的數(shù)據(jù)安全，結合英特爾TDX技術，阿里云第八代機密計算實例可以保障用戶在整個AI推理過程中，模型和數(shù)據(jù)全流程的數(shù)據(jù)安全。用戶可以在英特爾AMX技術的加持下，在阿里云第八代實例上輕松部署通義千問。

陳葆立總結說：“以ChatGPT為例的生成式人工智能帶來了一個全新的火爆趨勢。我們看到非常多的中國本土企業(yè)，包括眾多軟、硬件公司正在加速推進AI在各行各業(yè)的應用和落地。目前在國內(nèi)，已有超過20家的硬件伙伴，超過7家云服務商基于第五代英特爾至強可擴展處理器，準備好了全新的服務器和云服務。對中國的終端用戶來說，無論是對類型、規(guī)模以及應用有著如何多樣化的需求，都將擁有豐富的選擇。英特爾可靠的產(chǎn)業(yè)伙伴們，將會為用戶提供全面的產(chǎn)品以及服務?！?br />