攜程攜手英特爾優(yōu)化AI推理性能，提升性能的同時降低TCO

據(jù)文化和旅游部數(shù)據(jù)中心測算，2023年“五一”假期全國國內(nèi)旅游出游合計2.74億人次，同比增長70.83%，按可比口徑恢復至2019年同期的119.09%¹。后疫情時代，旅游人數(shù)的激增與旅游場景的多元化，給人工智能（AI）技術(shù)在旅游行業(yè)的應用帶來更多機遇和挑戰(zhàn)。例如自然語言處理（NLP）、機器翻譯、計算機視覺、搜索排序等 AI 技術(shù)的快速發(fā)展和日臻成熟，可以為游客提供更便捷的服務和更精準的內(nèi)容。

作為一站式旅行平臺，攜程旅行已經(jīng)將諸多AI 技術(shù)應用于酒店、機票、自由行、跟團游、簽證、玩樂、租車等旅游度假的多個業(yè)務線，為全球用戶提供一套完整的旅行產(chǎn)品、服務及差異化的旅行內(nèi)容等。為了在滿足業(yè)務需求的同時降低成本壓力，攜程構(gòu)建了基于英特爾至強 可擴展處理器的 AI 推理算力平臺，并通過高性能算子庫、計算圖優(yōu)化、模型壓縮等方式提升 AI 推理性能。

? ? ? ? ? ?

采用英特爾 至強解決方案

實現(xiàn)性能與經(jīng)濟性的更佳平衡

隨著 AI 應用的不斷擴展和深入，大型旅行服務平臺面臨的算力挑戰(zhàn)主要存在于兩個方面：

一方面，AI 技術(shù)正在日趨多樣化與復雜化，為了適應不同的業(yè)務場景需求，企業(yè)常常需要融合使用傳統(tǒng)機器學習、卷積神經(jīng)網(wǎng)絡、Transformer 等深度學習模型結(jié)構(gòu)，以及知識圖譜、圖神經(jīng)網(wǎng)絡等技術(shù)。同時，AI模型的深度、寬度以及結(jié)構(gòu)復雜度也在不斷提升，增加了企業(yè)的開發(fā)門檻，也使得 AI算力調(diào)度、AI 性能優(yōu)化更具挑戰(zhàn)。

另一方面，智能化應用正在迅速擴張，需要由 AI 模型處理的數(shù)據(jù)也在不斷增長。例如內(nèi)容與廣告?zhèn)€性化推薦、實時風控、機器翻譯、智能客服、圖像處理等領(lǐng)域正在越來越多地使用 AI 技術(shù)，以從海量的數(shù)據(jù)中生成高價值的商業(yè)洞察，從而帶來了較高的算力基礎(chǔ)設施建設成本。與此同時，上層應用對于 AI 模型推理也有著特定的服務級別協(xié)議 (SLA) 要求。企業(yè)需要在滿足 SLA 要求的前提下，通過模型優(yōu)化等方式，更好地發(fā)揮硬件的性能潛力，降低算力基礎(chǔ)設施的總體擁有成本（TCO）。

面對上述挑戰(zhàn)，企業(yè)首先要面臨硬件平臺的選擇問題：雖然基于獨立 GPU 的推理方案能夠提供強大的算力，但未必是一個經(jīng)濟的選擇。這是因為獨立 GPU 不僅采購或租用成本相對較高，而且通常是以專用服務器的模式進行部署和運維，帶來了較高的綜合成本。考慮到旅行服務中大量的 AI 推理場景所需要的性能經(jīng)過優(yōu)化能夠得到滿足，采用 CPU 的方案將更具成本效益。因此，攜程采用基于英特爾至強 可擴展處理器的 AI 推理算力平臺，旨在為算法模型提供更全面易用、穩(wěn)定性更好、使用和維護成本更低的優(yōu)化解決方案。 英特爾至強 可擴展處理器內(nèi)置人工智能加速功能，已針對工作負載進行優(yōu)化，能夠為各種AI 應用以及高密度基礎(chǔ)設施帶來一流的性能和內(nèi)存帶寬。同時，采用矢量神經(jīng)網(wǎng)絡指令(VNNI) 的英特爾 深度學習加速（英特爾DL Boost），能夠有效提高 AI 推理的表現(xiàn)，使其成為深度學習應用的卓越基礎(chǔ)設施。

? ? ? ? ? ?

構(gòu)建并優(yōu)化AI推理算力平臺

Bert-base推理時間由15毫秒降至6毫秒

在基于英特爾 至強 可擴展處理器的硬件平臺層基礎(chǔ)上，攜程構(gòu)建了 AI 推理算力平臺，該平臺還包括引擎框架層、推理優(yōu)化層、算法模型、應用場景。同時，為了盡可能地提升 AI 推理性能，釋放硬件潛力，攜程進行了推理優(yōu)化。主要的優(yōu)化思路為兩點：一是通過調(diào)整/簡化模型結(jié)構(gòu)，或改進算法以降低算法復雜度；二是優(yōu)化軟件執(zhí)行效率，使用硬件優(yōu)勢特征，提升硬件執(zhí)行效率。

攜程基于英特爾 至強 可擴展處理器的硬件平臺層基礎(chǔ)上

構(gòu)建 AI 推理算力平臺

攜程以機器翻譯應用的 Transformer模型來測試其性能表現(xiàn)。在該測試中，攜程除了使用上述的優(yōu)化方法，還分割模型并使用 jit 跟蹤方法來提高性能。同時，在batchsize 超過 16 個的情況下，使用 mm op 進行優(yōu)化。攜程使用固定算例的平均響應時延作為測試數(shù)據(jù)，tokens 為 10，batchsize=1，Bert-base模型推理時間由優(yōu)化前的15.05毫秒降至優(yōu)化后的6.44毫秒²。

Bert-base 模型優(yōu)化前后的性能對比²

基于英特爾 至強 可擴展平臺的基礎(chǔ)算力和深度的 AI 模型推理性能優(yōu)化，用戶將獲得的收益包括：在特定的 SLA 要求下，降低 AI 推理應用的 TCO

在通過本輪優(yōu)化之后，攜程的 CPU 服務器 AI 推理性能得到提升，能夠滿足大量 AI 推理場景對于時延等 SLA 指標的要求，避免了在昂貴的專用 AI 加速器方面的支出。

提升基礎(chǔ)設施的敏捷性與靈活性

通過本輪優(yōu)化，攜程能夠高效利用現(xiàn)有的 CPU 服務器，根據(jù)實際負載需求進行靈活調(diào)度，而無需為 AI 推理新增需求部署專用服務器。

為 AI 推理性能優(yōu)化提供了標準的參考流程

本方案提供了一套標準、可自動完成的參考模型優(yōu)化流程，能夠賦能更多的 AI 應用。

攜程與英特爾的合作，驗證了 AI 模型推理方案在英特爾 至強 可擴展處理器上的應用潛力，在成本、性能方面實現(xiàn)了平衡。同時，隨著推理性能優(yōu)化技術(shù)的逐步提高，將極大地降低人工智能應用的部署成本，加快AI應用的落地速度并擴充應用場景，推動人工智能行業(yè)的整體發(fā)展。