KT利用NVIDIA AI平臺訓練大型語言模型

韓國先進的移動運營商構建包含數(shù)百億個參數(shù)的大型語言模型，并使用 NVIDIA DGX SuperPOD 平臺和 NeMo Megatron 框架訓練該模型。

在韓國受歡迎的 AI 語音助手 GiGA Genie 每天會與 800 萬人交談。

這款 AI 賦能的揚聲器由電信公司 KT 提供，不僅能控制電視和提供實時流量更新信息，還能根據(jù)語音命令完成大量其他家居輔助任務。得益于大型語言模型 (LLM)（能根據(jù)龐大的文本數(shù)據(jù)集識別、理解、預測和生成人類語言的機器學習算法），這款揚聲器掌握了以極為復雜的韓語進行對話的技能。

該公司構建了包含數(shù)百億個參數(shù)的 LLM，并且使用NVIDIA DGX SuperPOD數(shù)據(jù)中心基礎架構平臺與NeMo Megatron框架來訓練和部署這些模型。

毫無疑問，韓語 (Hangul) 是一種極為復雜的語言。它包含四種類型的復合動詞，而且詞語通常由兩個或更多個詞根組成。

KT 是韓國先進的移動運營商，擁有超過 2200 萬用戶。該公司通過開發(fā)包含大約 400 億個參數(shù)的 LLM，提高了智能揚聲器對此類詞語的理解能力。此外，通過與 Amazon Alexa 進行集成，GiGA Genie 也可以使用英語與用戶交談。

KT 的 LLM 開發(fā)團隊負責人 Hwijung Ryu 說道：“借助基于Transformer的模型，我們顯著改善了 GiGA Genie 智能揚聲器和我們客戶服務平臺 AI 聯(lián)絡中心 (AICC) 的品質?！?/p>

AICC 是基于云的一體式平臺，可提供 AI 語音代理和其他與客戶服務相關的應用。

它可以接聽電話并提供客戶需要的信息，或者快速將客戶轉接到人工代理，以便對更詳細的詢問進行解答。Ryu 指出，無需人工干預的 AICC 每天可以管理韓國各地打來的 10 萬多個電話。

他補充說道：“LLM 使 GiGA Genie 能夠更好地理解語言并生成更接近人類語言的句子，而 AICC 能更快地對詢問類型進行匯總和分類，從而將咨詢時間縮短 15 秒?！?/p>

訓練大型語言模型

開發(fā) LLM 可能是一個成本高昂且耗費時間的過程，并需要深厚的專業(yè)技術知識和巨大的全棧技術投資。

NVIDIA AI 平臺簡化并加快了 KT 的這一過程。

Ryu 說：“我們利用 NVIDIA DGX SuperPOD 的強大性能以及 NeMo Megatron 的優(yōu)化算法和 3D 并行技術，更有成效地訓練了 LLM 模型。NeMo Megatron 不斷采用新功能，這是我們認為它在提高模型準確性方面的巨大優(yōu)點。”

3D 并行對訓練 KT 的 LLM 至關重要，它是一種分布式訓練方法，可將超大規(guī)模的深度學習模型分散到多臺設備上。Ryu 指出，NeMo Megatron 使團隊能夠以盡可能高的吞吐量輕松完成這項任務。

他補充道：“我們考慮過使用其他平臺，但很難找到從硬件級別到推理級別都能提供全棧環(huán)境的替代平臺。NVIDIA 還提供來自產(chǎn)品、工程團隊等的出色專業(yè)知識，使我們輕松解決了多個技術問題?！?/p>

Ryu 表示，通過使用 NeMo Megatron 中的超參數(shù)優(yōu)化工具，KT 訓練其 LLM 的速度比使用其他框架快 2 倍。借助這些工具，用戶可以自動找到更適合 LLM 訓練和推理的配置，從而簡化和加快開發(fā)與部署過程。

KT 還計劃使用NVIDIA Triton 推理服務器來提供優(yōu)化的實時推理服務，以及使用NVIDIA Base Command Manager輕松監(jiān)控和管理其 AI集群中的數(shù)百個節(jié)點。

Ryu 說：“得益于 LLM，KT 可以比以往更快地發(fā)布充滿競爭力的產(chǎn)品。我們還確信我們的技術可以推動其他公司的創(chuàng)新，因為它可以用來增加價值和創(chuàng)造新穎的產(chǎn)品?！?/p>

KT 計劃在 11 月向開發(fā)者發(fā)布 20 多個自然語言理解和自然語言生成 API（應用程序編程接口）。這些 API 可用于多種任務，包括文檔摘要和分類、情緒識別和潛在不當內(nèi)容的過濾等。

審核編輯：湯梓紅