澎峰科技高性能大模型推理引擎PerfXLM解析

自ChatGPT問世以來，大模型遍地開花，承載大模型應(yīng)用的高性能推理框架也不斷推出，大有百家爭鳴之勢。在這種情況下，澎峰科技作為全球領(lǐng)先的智能計算服務(wù)提供商，在2023年11月25日發(fā)布了針對大語言模型的高性能推理框架，并受到廣泛關(guān)注。在歷經(jīng)數(shù)月的迭代開發(fā)后，澎峰科技重磅發(fā)布升級版本，推出全新的高性能大模型推理引擎：PerfXLM。

PerfXLM采用了云端一體架構(gòu)，支持云端推理和本地推理兩種模式。在硬件支持上，PerfXLM適配了包含多種國產(chǎn)處理器在內(nèi)的不同硬件，并針對硬件體系結(jié)構(gòu)特征進行了深入性能優(yōu)化，大幅提升了大模型推理性能。

一、PerfXLM整體架構(gòu)

圖1.PerfXLM整體架構(gòu)

如圖1所示，PerfXLM整體架構(gòu)分為三層：

1.模型轉(zhuǎn)換層。將Torch或者Huggingface格式的大模型轉(zhuǎn)化為統(tǒng)一的內(nèi)部模型結(jié)構(gòu)，并最終統(tǒng)一表達為ONNX圖。

2.推理引擎層。實現(xiàn)了ONNX圖解析、算子調(diào)度、統(tǒng)一內(nèi)存管理等功能，大幅提升硬件資源利用率；同時，也提供了針對云端推理的專用Serving模塊，以獲得更高的硬件利用率和QPS響應(yīng)。

3.性能層。提供了針對大模型推理的高性能算子庫，并針對各種主流硬件進行了適配和優(yōu)化。

PerfXLM具有的三大特點：

1.云端一體，同時支持云側(cè)和端側(cè)大模型推理，能夠讓大模型適用于各種應(yīng)用場景之中。

2.支持多異構(gòu)平臺，支持了包括NVIDIA GPU、海光DCU、高通Adreno GPU、Intel iGPU、某國產(chǎn)GPU在內(nèi)的多種硬件設(shè)備

3.高性能定制優(yōu)化算子，實現(xiàn)了結(jié)合體系結(jié)構(gòu)特征和大模型推理應(yīng)用特征的定制優(yōu)化。

二、大模型推理中的MxN問題

PerfXLM向上對接各種模型網(wǎng)絡(luò)，向下適配各種硬件架構(gòu)。這就存在著一個組合問題：假設(shè)需要支持M個模型和N種硬件，那么一共有MxN種組合方式。PerfXLM需要實現(xiàn)對主流模型的支持，目前主流模型大概有幾十種，國內(nèi)甚至一度“千模大戰(zhàn)”。同時，PerfXLM也需要實現(xiàn)對主流硬件的支持，包括NVIDIA GPU、AMD GPU、海光DCU、沐曦GPU等通用GPU架構(gòu)；X86、ARM、RISC-V等通用CPU架構(gòu)；高通Adreno GPU、ARM MALI GPU等移動GPU架構(gòu)；華為昇騰、寒武紀MLU、燧原等專用處理器架構(gòu)等?？紤]到模型和硬件的迅猛發(fā)展，這個組合數(shù)大概有上千種，這就對大模型推理框架提出了很高的兼容性要求。

面對這樣的一個復(fù)雜問題，PerfXLM提出了一套解決方案：通過統(tǒng)一的模型表達，實現(xiàn)了對不同大模型的快速支持；通過統(tǒng)一算子API的定義，實現(xiàn)了對大模型圖的快速算子構(gòu)建；通過融合體系結(jié)構(gòu)特征和應(yīng)用特征的算子庫的構(gòu)建，實現(xiàn)了對不同硬件的快速適配。

同時，為了便于用戶使用，PerfXLM上層采用了與vllm一致的頂層API接口。用戶只需要在導(dǎo)入python模塊時，簡單地將vllm修改成perfxlm就能夠?qū)⒃械拇a運行起來并且獲得更高的性能表現(xiàn)。具體的使用示例如下圖。

圖2. PerfXLM API接口

通過這樣的一套架構(gòu)體系，PerfXLM可以快速地支持新的模型和新的硬件。以近日Meta開源的LLaMA3為例，假設(shè)算子完備的情況下，只需幾個小時的時間，就能夠?qū)⒃?a href="http://wenjunhu.com/article/zt/" target="_blank">最新模型運行在各種主流硬件設(shè)備上。

三、PerfXLM性能

云側(cè)和端側(cè)的應(yīng)用場景不同：云上側(cè)重于多用戶服務(wù)，關(guān)注的是整體吞吐；端側(cè)側(cè)重于單用戶的使用體驗，關(guān)注的是在低算力硬件上的響應(yīng)速度和延遲。下面講描述PerfXLM在單Batch和多Batch下的性能。

1）PerXLM在NVIDIA GPU上的性能

圖3. PerfXLM與vllm在A40上FP16的llama2性能對比

圖4. PerfXLM與vllm在4090上FP16的llama2性能對比

圖5.PerfXLM與vllm在A40上FP16的llama3性能對比

圖6.PerfXLM與vllm在4090上FP16的llama3性能對比

2）PerfXLM在海光DCU上的性能

圖7 PerfXLM與vllm在DCU Z100SM上的llama2性能對比

圖8 PerfXLM與vllm在DCU Z100SM上的llama3性能對比

3）PerfXLM在國產(chǎn)某GPU上的性能

圖9 PerfXLM在某國產(chǎn)GPU上的性能

4）PerfXLM在高通Adreno GPU上的性能

圖10 PerfXLM在高通Adreno的性能（單batch）

5）PerfXLM在Intel iGPU上的性能

圖11 PerfXLM在Intel iGPU上的性能（單batch）

未來，PerfXLM將繼續(xù)支持"更多的硬件 x更多的模型"。