NVIDIA助力麗蟾科技打造AI訓(xùn)練與推理加速解決方案

案例簡介

麗蟾科技通過 Leaper 資源管理平臺(tái)集成 NVIDIA AI Enterprise，為企業(yè)和科研機(jī)構(gòu)提供了一套高效、靈活的 AI 訓(xùn)練與推理加速解決方案。無論是在復(fù)雜的 AI 開發(fā)任務(wù)中，還是在高并發(fā)推理場景下，都能夠確保項(xiàng)目的順利進(jìn)行，并顯著提升業(yè)務(wù)效率與創(chuàng)新能力。

企業(yè)級(jí) AI 軟件套件

——NVIDIA AI Enterprise

NVIDIA AI Enterprise是 NVIDIA 推出的一套完整的企業(yè)級(jí) AI 軟件套件，專為簡化和加速 AI 開發(fā)與部署設(shè)計(jì)，幫助用戶在多云環(huán)境、數(shù)據(jù)中心和邊緣設(shè)備上高效運(yùn)行人工智能工作負(fù)載。

圖 1. NVIDIA AI Enterprise 端到端云原生軟件平臺(tái)

它提供了廣泛的工具集與預(yù)訓(xùn)練模型，涵蓋數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、推理優(yōu)化等各個(gè)環(huán)節(jié)，利用 NVIDIA 的 GPU 硬件加速器，為廣泛的 AI 應(yīng)用提供強(qiáng)大支持，從而加快企業(yè)和科研機(jī)構(gòu)在 AI 領(lǐng)域的創(chuàng)新進(jìn)程。作為一個(gè)全面的 AI 開發(fā)平臺(tái)，集成了 NVIDIA 的多種技術(shù)，包括CUDA并行計(jì)算架構(gòu)、cuDNN深度學(xué)習(xí)庫、TensorRT推理加速引擎，以及NVIDIA Triton 推理服務(wù)器等。此外，NVIDIA AI Enterprise 為用戶提供了豐富的預(yù)訓(xùn)練模型和工具集，支持主流的 AI 框架如 TensorFlow、PyTorch、MXNet 等，確保開發(fā)者可以利用熟悉的工具和框架高效工作。

麗蟾云 Leaper 集成 NVIDIA 軟件堆棧

及計(jì)算參考架構(gòu)，提供智算云解決方案

Leaper 是麗蟾科技自主研發(fā)的資源調(diào)度管理平臺(tái)，可對 GPU 計(jì)算資源進(jìn)行統(tǒng)一管理和調(diào)度，提供高性能的算力支撐，充分提高資源的利用率，且可為用戶提供高效、靈活的 AI 應(yīng)用研發(fā)與部署環(huán)境，用戶可以輕松地創(chuàng)建和管理容器化的應(yīng)用程序。

圖 2.Leaper 主要功能模塊

(本圖來源于麗蟾科技，若您需要使用本圖片或有任何疑問，請聯(lián)系麗蟾科技)

麗蟾科技在智算云管理平臺(tái) Leaper 上深度集成了 NVIDIA AI Enterprise，為用戶提供從數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練到推理部署的全面加速支持，并提供高效的 AI 訓(xùn)練與推理解決方案，通過與 NVIDIA AI Enterprise 的結(jié)合，用戶可以享受無縫銜接的資源調(diào)度與 AI 加速服務(wù)。

圖 3.Leaper 整體解決方案架構(gòu)

(本圖來源于麗蟾科技，若您需要使用本圖片或有任何疑問，請聯(lián)系麗蟾科技)

分布式訓(xùn)練支持與資源調(diào)度

Leaper 支持在大規(guī)模 GPU 集群環(huán)境下進(jìn)行分布式訓(xùn)練，結(jié)合 NVIDIA AI Enterprise 及NVIDIA NCCL優(yōu)化通信庫，確保了大規(guī)模分布式訓(xùn)練的計(jì)算與通信效率，動(dòng)態(tài)調(diào)度資源確保訓(xùn)練任務(wù)順利進(jìn)行。

自動(dòng)混合精度訓(xùn)練，

FP8 訓(xùn)練與推理優(yōu)化

NVIDIA AI Enterprise 提供自動(dòng)混合精度訓(xùn)練（AMP）功能，結(jié)合 Leaper 平臺(tái)可以有效提高計(jì)算效率，在保持模型的精度的情況下加速 AI 訓(xùn)練過程，結(jié)合 NVIDIA Hopper 架構(gòu)的 FP8 精度的計(jì)算能力，特別在推理方向，提供更高的推理性能，更低的延時(shí)響應(yīng)，更高效的顯存容量及帶寬的使用效率，最終幫助大模型的推理性價(jià)比進(jìn)一步提升和優(yōu)化。

預(yù)訓(xùn)練模型、AI 算法框架與加速庫

NVIDIA AI Enterprise 提供了豐富的預(yù)訓(xùn)練模型、AI 算法框架與加速庫（如 TensorRT、cuDNN 和 PyTorch），Leaper 集成 NVIDIA AI Enterprise 能夠充分發(fā)揮這些工具的性能，使用戶能夠直接在 Leaper 上快速部署這些模型，加速推理，更快完成訓(xùn)練任務(wù)。

實(shí)時(shí)監(jiān)控與動(dòng)態(tài)調(diào)度

通過 Leaper，用戶可以實(shí)時(shí)監(jiān)控訓(xùn)練進(jìn)展，并根據(jù)需求動(dòng)態(tài)調(diào)整資源調(diào)度，無論是訓(xùn)練中的資源分配，還是推理中的計(jì)算負(fù)載，都能確保高效利用 GPU 集群，避免資源浪費(fèi)。

數(shù)據(jù)預(yù)處理加速

NVIDIA AI Enterprise 與RAPIDS框架的結(jié)合，在 GPU 上加速了數(shù)據(jù)預(yù)處理和特征工程環(huán)節(jié)。通過 Leaper，用戶可以高效完成數(shù)據(jù)準(zhǔn)備，縮短訓(xùn)練前期的時(shí)間成本。

為開發(fā)者打造快速、安全、

高性能的 AI 推理微服務(wù)

NVIDIA NIM是 NVIDIA AI Enterprise 的一部分，是一套易于使用的預(yù)構(gòu)建容器工具，目的是幫助企業(yè)加速生成式 AI 的部署。它支持各種 AI 模型，可確保利用行業(yè)標(biāo)準(zhǔn) API 在本地或云端進(jìn)行無縫、可擴(kuò)展的 AI 推理。Leaper 已經(jīng)全面整合 NVIDIA NIM，覆蓋了包括語音 AI、數(shù)據(jù)檢索（RAG）、數(shù)字生物學(xué)、數(shù)字人、大語言模型（LLM）等領(lǐng)域。在 Leaper上，作為優(yōu)化容器提供，旨在加速各種規(guī)模的企業(yè)的 AI 應(yīng)用開發(fā)，為 AI 技術(shù)的快速生產(chǎn)和部署鋪平道路。

通過 Leaper 內(nèi)的 NVIDIA NIM，AI 開發(fā)者可以：

快速部署 AI 模型：NVIDIA NIM 允許組織利用預(yù)訓(xùn)練的 AI 模型，這些模型已經(jīng)過優(yōu)化，可以快速部署，減少了開發(fā)和訓(xùn)練新模型所需的時(shí)間和成本，在幾分鐘內(nèi)跨各種環(huán)境部署 AI 應(yīng)用程序，顯著提高了生產(chǎn)力。

簡化 AI 應(yīng)用創(chuàng)建：通過 Leaper，集成了眾多跨領(lǐng)域的專用微服務(wù)，包括 NVIDIA NIM 及定制化的 AI 模型，極大地簡化了創(chuàng)建復(fù)雜 AI 應(yīng)用的過程。無需從頭開始構(gòu)建 AI 模型，從而節(jié)省了寶貴的時(shí)間和資源。

跨領(lǐng)域集成：可以跨多個(gè)領(lǐng)域集成，例如，結(jié)合語音識(shí)別和大語言模型，創(chuàng)建能夠提供個(gè)性化客戶服務(wù)的數(shù)字人。

加速業(yè)務(wù)轉(zhuǎn)型：使用 NVIDIA NIM，團(tuán)隊(duì)可以專注于將預(yù)訓(xùn)練的 AI 模型快速集成到現(xiàn)有的工作流程中，加速業(yè)務(wù)運(yùn)營的數(shù)字化轉(zhuǎn)型。

總體而言，Leaper 提供了經(jīng)過優(yōu)化，可以快速部署的預(yù)訓(xùn)練 AI 模型，也為 AI 從業(yè)者提供了一種快速、靈活且高效的方式來開發(fā)和部署 AI 應(yīng)用，使他們能夠更快地響應(yīng)市場變化和客戶需求，從而推動(dòng)業(yè)務(wù)創(chuàng)新和增長。

為企業(yè)與科研機(jī)構(gòu)

提供定制化的專業(yè)解決方案

麗蟾科技通過整合 Leaper 與 NVIDIA AI Enterprise，為多個(gè)行業(yè)提供了強(qiáng)大的 AI 開發(fā)與推理加速支持。以下是幾個(gè)典型的應(yīng)用場景：

科學(xué)研究

在處理大規(guī)模數(shù)據(jù)集的科學(xué)研究領(lǐng)域，如天體物理、化學(xué)模生物信息學(xué)等，Leaper 與 NVIDIA AI Enterprise 的高性能計(jì)算資源為科研人員提供了強(qiáng)大的支持，比如，Leaper 結(jié)合 RAPIDS 開源軟件庫，提供了 GPU 加速的數(shù)據(jù)科學(xué)工作流，更快地處理大規(guī)模數(shù)據(jù)集，進(jìn)行科學(xué)探索與創(chuàng)新。

醫(yī)療領(lǐng)域

在醫(yī)療圖像分析中，Leaper 與 NVIDIA AI Enterprise 的集成可以為醫(yī)療機(jī)構(gòu)提供高效的 AI 模型訓(xùn)練與推理支持。醫(yī)療科研人員可以在 Leaper 平臺(tái)上快速訓(xùn)練和部署 AI 模型，從而提高疾病診斷的準(zhǔn)確性與效率，優(yōu)化治療效果。

能源行業(yè)

能源行業(yè)中的天氣預(yù)測需要高效的計(jì)算資源。借助 Leaper 和 NVIDIA AI Enterprise 的結(jié)合，能源企業(yè)可以利用 GPU 加速天氣預(yù)測模型的訓(xùn)練與推理，快速部署 AI 模型進(jìn)行精準(zhǔn)天氣預(yù)測，優(yōu)化能源分配與生產(chǎn)。

制造業(yè)

制造企業(yè)可以通過 Leaper 平臺(tái)快速部署基于 NVIDIA AI Enterprise 的智能檢測系統(tǒng)。NVIDIA AI Enterprise 的預(yù)訓(xùn)練模型和推理加速庫幫助企業(yè)快速開發(fā)高效的質(zhì)量檢測模型，實(shí)現(xiàn)對產(chǎn)品質(zhì)量的實(shí)時(shí)監(jiān)控和分析，從而提高生產(chǎn)線的效率。

零售與電子商務(wù)

在零售行業(yè)，AI 技術(shù)已經(jīng)廣泛應(yīng)用于推薦系統(tǒng)、客戶行為分析等方面。通過 Leaper 平臺(tái)，零售企業(yè)可以快速構(gòu)建并部署基于 AI 的推薦引擎，從而為客戶提供個(gè)性化的購物體驗(yàn)。NVIDIA AI Enterprise 提供的 AI 加速庫和預(yù)訓(xùn)練模型能夠幫助企業(yè)優(yōu)化其推薦算法，提高客戶轉(zhuǎn)化率。

Leaper 實(shí)現(xiàn) AI 訓(xùn)練與推理加速

上海麗蟾科技有限公司董事長吳敏華表示：“NVIDIA AI Enterprise 是一套端到端的完整的 AI 工具套件，在服務(wù)客戶的過程中，我們發(fā)現(xiàn)該套件非常適合運(yùn)行在云的環(huán)境中，通過麗蟾自研的 Leaper 云平臺(tái)，將 NVIDIA 最先進(jìn)的 AI 能力集成并傳遞給每一位客戶?！?/p>

隨著 AI 技術(shù)的不斷發(fā)展，麗蟾科技將繼續(xù)通過這一集成平臺(tái)推動(dòng)更多行業(yè)的技術(shù)進(jìn)步與應(yīng)用落地。