富士通使用富岳超級(jí)計(jì)算機(jī)訓(xùn)練LLM

盡管富士通的富岳超級(jí)計(jì)算機(jī)不再是超級(jí)計(jì)算機(jī)500強(qiáng)名單中最快的機(jī)器，但它仍然是一個(gè)非常強(qiáng)大的系統(tǒng)，A64FX處理器的多功能性允許將其用于各種工作負(fù)載，例如AI。本周，富士通發(fā)布了Fugaku-LLM，這是一個(gè)具有高級(jí)日語處理能力的大型語言模型，專為研究和商業(yè)應(yīng)用而設(shè)計(jì)。

富士通的Fugaku-LLM在富岳超級(jí)計(jì)算機(jī)的13,824個(gè)節(jié)點(diǎn)上使用3800億個(gè)符記進(jìn)行訓(xùn)練，該超級(jí)計(jì)算機(jī)基于A64FX處理器，支持FP64、FP32、FP16和INT8模式，適用于各種AI和傳統(tǒng)超級(jí)計(jì)算機(jī)應(yīng)用。Fugaku-LLM的訓(xùn)練利用了針對(duì)超級(jí)計(jì)算機(jī)架構(gòu)和互連優(yōu)化的分布式并行學(xué)習(xí)技術(shù)。

Fugaku-LLM 有 130 億個(gè)參數(shù)，與 GPT-4 的 1750 億個(gè)參數(shù)相比顯得蒼白無力，不過，F(xiàn)ugaku-LLM是日本有史以來訓(xùn)練量的最大 LLM。富士通表示，其130億參數(shù)的LLM不需要大量的計(jì)算資源來推理，這對(duì)日本的企業(yè)和研究人員來說是最佳選擇。大約 60% 的訓(xùn)練數(shù)據(jù)是日語，40% 的數(shù)據(jù)是英語、數(shù)學(xué)和代碼數(shù)據(jù)。

這種廣泛的以日語為中心的訓(xùn)練使其有別于其它主要在英語數(shù)據(jù)集上訓(xùn)練的日語模型。因此，F(xiàn)ugaku-LLM擁有卓越的日語水平，在日語MT-Bench上獲得了5.5的平均分，這是使用日本原始數(shù)據(jù)訓(xùn)練的公開可用模型中的最高分。根據(jù)富士通的數(shù)據(jù)，它在人文和社會(huì)科學(xué)方面尤其出色，取得了令人印象深刻的 9.18 分的基準(zhǔn)分?jǐn)?shù)。

Fugaku-LLM計(jì)劃是由東京工業(yè)大學(xué)、東北大學(xué)、富士通株式會(huì)社、RIKEN、名古屋大學(xué)、CyberAgent和Kotoba Technologies等日本領(lǐng)先機(jī)構(gòu)之間的合作推動(dòng)的。他們合作的原因之一是通常用于訓(xùn)練和推理 AI 模型的 GPU 短缺。另一個(gè)原因是，該模型可以與富士通的下一代 150 核 Monaka 數(shù)據(jù)中心 CPU 一起使用，該 CPU 針對(duì) AI 和 HPC 工作負(fù)載進(jìn)行了優(yōu)化。

Fugaku-LLM現(xiàn)在可以在GitHub和Hugging Face的指定許可條款下用于學(xué)術(shù)和商業(yè)目的（盡管富士通沒有提供任何鏈接）。此外，它從2024年5月10日起通過富士通研究門戶網(wǎng)站提供。