使用NVIDIA Triton推理服務(wù)器來(lái)加速AI預(yù)測(cè)

這家云計(jì)算巨頭的計(jì)算機(jī)視覺(jué)和數(shù)據(jù)科學(xué)服務(wù)使用 NVIDIA Triton 推理服務(wù)器來(lái)加速 AI 預(yù)測(cè)。

作為一名狂熱的自行車愛(ài)好者，Thomas Park 深知擁有多個(gè)變速檔位對(duì)于平穩(wěn)、快速騎行的重要性。

因此，當(dāng)這位軟件架構(gòu)師為 Oracle Cloud Infrastructure（OCI）的視覺(jué) AI 服務(wù)設(shè)計(jì) AI 推理平臺(tái)時(shí)，他選擇了 NVIDIA Triton 推理服務(wù)器，因?yàn)樗梢酝ㄟ^(guò)變換“檔位”，來(lái)快速高效地處理幾乎任何 AI 模型、框架、硬件和運(yùn)行模式。

Park 表示：“NVIDIA AI推理平臺(tái)為我們的全球云服務(wù)客戶帶來(lái)了巨大的靈活性，讓他們可以構(gòu)建和運(yùn)行 AI 應(yīng)用?！盤(pán)ark 是一位在蘇黎世工作的計(jì)算機(jī)工程師，同時(shí)也是一名富有競(jìng)爭(zhēng)力的自行車手，他曾先后就職于四家全球超大型云服務(wù)提供商。

具體而言，Triton 將 OCI 的總擁有成本降低了 10%、將遷移到 Triton 的 OCI 視覺(jué)和文檔理解服務(wù)模型的預(yù)測(cè)吞吐量提高了 76%，并將推理延遲降低了 51%。Park 和一位同事在今年早些時(shí)候發(fā)布的一篇 Oracle 博客中指出，全球有超過(guò) 45 個(gè)區(qū)域數(shù)據(jù)中心在運(yùn)行這些服務(wù)。

計(jì)算機(jī)視覺(jué)加速深入洞察

依靠 OCI 視覺(jué) AI，客戶可以進(jìn)行各種物體檢測(cè)和圖像分類工作。例如，美國(guó)的一家運(yùn)輸公司利用它來(lái)自動(dòng)檢測(cè)經(jīng)過(guò)的車軸數(shù)，以計(jì)算和結(jié)算過(guò)橋費(fèi)，從而節(jié)省了忙碌的卡車司機(jī)在收費(fèi)站的等待時(shí)間。

OCI AI 還通過(guò) Oracle NetSuite 提供，Oracle NetSuite 是全球 37,000 多個(gè)企業(yè)組織使用的一套商業(yè)應(yīng)用程序，它可以用于自動(dòng)識(shí)別發(fā)票等工作。

在 Park 的努力下，Triton 如今也被其他 OCI 服務(wù)所采用。

能夠識(shí)別 Triton 的數(shù)據(jù)服務(wù)

負(fù)責(zé)處理 Oracle 內(nèi)外部用戶機(jī)器學(xué)習(xí)事務(wù)的 OCI 數(shù)據(jù)科學(xué)服務(wù)產(chǎn)品管理總監(jiān) Tzvi Keisar 表示：“我們的 AI 平臺(tái)能夠識(shí)別 Triton，以造福于我們的客戶。”

Keisar 提到：“想要使用 Triton 的客戶不必?fù)?dān)心配置問(wèn)題，因?yàn)槠脚_(tái)會(huì)自動(dòng)完成配置，為他們啟動(dòng)一個(gè) Triton 驅(qū)動(dòng)的推理終端節(jié)點(diǎn)。”

Triton 包含在 NVIDIA AI Enterprise 中，該平臺(tái)可提供企業(yè)所需的全方位的安全和支持，并且可以在 OCI Marketplace 上獲得

一個(gè)龐大的 SaaS 平臺(tái)

OCI 的數(shù)據(jù)科學(xué)服務(wù)是一個(gè)適用于 Oracle NetSuite 和 Oracle Fusion 應(yīng)用程序的機(jī)器學(xué)習(xí)平臺(tái)。

“這些商業(yè)應(yīng)用套件規(guī)模龐大，有數(shù)以萬(wàn)計(jì)的客戶也在我們的服務(wù)上構(gòu)建他們的框架?！盞eisar 說(shuō)。

這些客戶主要是來(lái)自于制造業(yè)、零售業(yè)、交通運(yùn)輸業(yè)等行業(yè)的企業(yè)用戶。他們正在構(gòu)建和使用幾乎所有形態(tài)與規(guī)模的 AI 模型。

推理是該團(tuán)隊(duì)推出的首批服務(wù)之一，而 Triton 在推出后不久就進(jìn)入了該團(tuán)隊(duì)的視線。

最佳的推理框架

“我們看到 Triton 作為一流的服務(wù)框架越來(lái)越受歡迎，于是開(kāi)始試用?！盞eisar 說(shuō)，“我們發(fā)現(xiàn)它的性能非常出色，彌補(bǔ)了現(xiàn)有產(chǎn)品的不足，尤其是在多模型推理方面。它是目前功能最全面、最先進(jìn)的推理框架?！?/p>

Triton 于 3 月在 OCI 上發(fā)布，已經(jīng)吸引了 Oracle 許多內(nèi)部團(tuán)隊(duì)的關(guān)注。他們希望將其用于需要同時(shí)運(yùn)行多個(gè) AI 模型以作出預(yù)測(cè)的推理工作。

他表示：“當(dāng)用于部署在單個(gè)端點(diǎn)上的多個(gè)模型時(shí)，Triton 的表現(xiàn)和性能都非常好?！?/p>

加快未來(lái)發(fā)展

展望未來(lái)，復(fù)雜的大語(yǔ)言模型（LLM）激發(fā)了眾多用戶的想象力。為了能夠在未來(lái)為這些模型上的推理提供更強(qiáng)大的助力，Keisar 的團(tuán)隊(duì)正在對(duì) NVIDIA TensorRT-LLM 軟件進(jìn)行評(píng)估。

身為一名活躍的博主，Keisar 在其最新文章中詳細(xì)介紹了在 NVIDIA A10 Tensor Core GPU 上運(yùn)行具有高達(dá) 700 億參數(shù)的 Llama 2 LLM 的量化技術(shù)。

他表示：“即使減低到四位參數(shù)，模型輸出的質(zhì)量仍然相當(dāng)不錯(cuò)。在 NVIDIA GPU 上的部署使我們能夠靈活地在延遲、吞吐量和成本之間找到良好的平衡點(diǎn)?！?/p>

審核編輯：劉清