GPU加速的推薦程序框架Merlin HugeCTR

Merlin HugeCTR(以下簡(jiǎn)稱(chēng) HugeCTR)是 GPU 加速的推薦程序框架，旨在在多個(gè) GPU 和節(jié)點(diǎn)之間分配訓(xùn)練并估計(jì)點(diǎn)擊率(Click-through rate)。

此次v3.4更新涉及的模塊主要為：

HugeCTR 分級(jí)參數(shù)服務(wù)器

HugeCTR Python API

相關(guān)介紹：

HugeCTR 分級(jí)參數(shù)服務(wù)器介紹

V3.4.1 版本新增內(nèi)容

調(diào)整了整個(gè)代碼庫(kù)中日志消息的日志級(jí)別。

現(xiàn)已支持對(duì)具有多個(gè)標(biāo)簽的數(shù)據(jù)集進(jìn)行推理：

“Softmax” 層現(xiàn)在已支持 FP16，并且支持混合精度以進(jìn)行多標(biāo)簽推理。

支持多 GPU 離線推理：

我們通過(guò) Python 接口支持多 GPU 離線推理，它可以利用Hierarchical Parameter Server

并在多個(gè)設(shè)備上實(shí)現(xiàn)并發(fā)執(zhí)行。更多信息請(qǐng)參考推理 API和多 GPU 離線推理筆記本。

HPS 已構(gòu)建為獨(dú)立庫(kù)：

我們重構(gòu)了代碼庫(kù)并將分層參數(shù)服務(wù)器構(gòu)建為一個(gè)獨(dú)立的庫(kù)，以后會(huì)進(jìn)一步封裝。

metadata.json 簡(jiǎn)介：

添加了有關(guān) Parquet data 中 _metadata.json 的詳細(xì)信息。

增加了用于估計(jì)每個(gè) GPU 的詞匯量大小的文檔和工具：

我們添加了一個(gè)工具來(lái)計(jì)算每個(gè) GPU 的不同嵌入類(lèi)型的詞匯量大小，在此基礎(chǔ)上，workspace_size_per_gpu_in_mb 可以根據(jù)嵌入向量大小和優(yōu)化器類(lèi)型評(píng)估更多信息請(qǐng)參考腳本：

訓(xùn)練中支持 HDFS ：

a. 現(xiàn)在支持從 HDFS 加載和存儲(chǔ)模型和優(yōu)化器狀態(tài)。

b. 增加了編譯選項(xiàng)使 HDFS 的支持更加靈活。

c. 添加了一個(gè)筆記本來(lái)展示如何將 HugeCTR 與 HDFS 一起使用：

增加了一個(gè)演示如何分析模型文件的 Python 腳本和筆記本

錯(cuò)誤修復(fù)：修復(fù)了SOK 中的鏡像策略錯(cuò)誤。

修復(fù)了無(wú)法在nvcr.io/nvidia/merlin/merlin-tensorflow-training:22.02 中導(dǎo)入稀疏操作工具包的問(wèn)題。

HugeCTR 參數(shù)服務(wù)器：修復(fù)了在未配置 RocksDB 時(shí)，可能會(huì)在初始化期間發(fā)生的訪問(wèn)沖突問(wèn)題。

已知問(wèn)題

HugeCTR 使用 NCCL 在 rank 之間共享數(shù)據(jù)，并且 NCCL 可能需要共享系統(tǒng)內(nèi)存用于 IPC 和固定(頁(yè)面鎖定)系統(tǒng)內(nèi)存資源。在容器內(nèi)使用 NCCL 時(shí)，建議您通過(guò)發(fā)出以下命令(-shm-size=1g -ulimit memlock=-1) 來(lái)增加這些資源。

另見(jiàn) NCCL 的 已知問(wèn)題

還有 GitHub 問(wèn)題

目前即使目標(biāo) Kafka broker 無(wú)響應(yīng)，KafkaProducers 啟動(dòng)也會(huì)成功。為了避免與來(lái)自 Kafka 的流模型更新相關(guān)的數(shù)據(jù)丟失，您必須確保有足夠數(shù)量的 Kafka brokers 啟動(dòng)、正常工作并且可以從運(yùn)行 HugeCTR 的節(jié)點(diǎn)訪問(wèn)。

文件列表中的數(shù)據(jù)文件數(shù)量應(yīng)不小于數(shù)據(jù)讀取器的數(shù)量。否則，不同的 worker 將被映射到同一個(gè)文件，從而導(dǎo)致數(shù)據(jù)加載不會(huì)按預(yù)期進(jìn)行。

正則化器暫不支持聯(lián)合損失訓(xùn)練。

原文標(biāo)題：Merlin HugeCTR v3.4.1 發(fā)布說(shuō)明

文章出處：【微信公眾號(hào)：NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅