智源大會(huì) | NVIDIA 科學(xué)家深度解析大語(yǔ)言模型訓(xùn)練和 3D 內(nèi)容創(chuàng)作最新成果

北京智源大會(huì)是北京智源研究院主辦的年度國(guó)際性人工智能高端學(xué)術(shù)交流活動(dòng)。自 2019 年 10 月首次召開至今，有 8 位圖靈獎(jiǎng)得主曾參與大會(huì)，每年有 200 位頂尖專家出席，來(lái)自 30 多個(gè)國(guó)家和地區(qū)的觀眾齊聚一堂。

今年的大會(huì)將于 6 月 9 日至 10 日在北京市海淀區(qū)中關(guān)村國(guó)家自主創(chuàng)新示范區(qū)展示中心召開，預(yù)計(jì)將有超過 3 萬(wàn)名 AI 領(lǐng)域的專業(yè)人士在線上或線下參會(huì)，分享研究成果，學(xué)習(xí)前沿知識(shí)，交換實(shí)踐經(jīng)驗(yàn)，建立聯(lián)系合作。

大語(yǔ)言模型和生成式 AI 代表了一個(gè)新的技術(shù)范式，推動(dòng)著 AI 技術(shù)與各行各業(yè)的深度融合。

對(duì)于 3D 內(nèi)容創(chuàng)作領(lǐng)域，如何提升數(shù)字內(nèi)容生產(chǎn)力和生成效率，也成為其在大語(yǔ)言模型和生成式 AI 時(shí)代亟需思考的問題。

近幾年，NVIDIA 推出了一系列全棧式解決方案，以助力滿足大語(yǔ)言模型和生成式 AI 爆發(fā)式發(fā)展下的迅猛需求。在 3D 創(chuàng)作領(lǐng)域，從可逆渲染流程 NVIDIA 3D MoMa，到被美國(guó)《時(shí)代》周刊評(píng)為 2022 年度最佳發(fā)明的 NVIDIA Instant NeRF，以及近期在 CVPR 2023 發(fā)布的 NVIDIA Neuralangelo，NVIDIA Research 在 3D 視覺領(lǐng)域發(fā)布的一系列研究成果也受到廣泛關(guān)注。

對(duì)于 3D 內(nèi)容創(chuàng)作領(lǐng)域，基于這些大語(yǔ)言模型和生成式 AI 方面的研究進(jìn)展和技術(shù)進(jìn)步，不僅能夠提高設(shè)計(jì)的速度、準(zhǔn)確性、以及建模的效率，創(chuàng)作方式本身也發(fā)生了變革。

在明日（6 月 9 日）即將舉辦的北京智源大會(huì)上，來(lái)自 NVIDIA 的多位專家也受邀參會(huì)發(fā)表演講，包括 NVIDIA 中國(guó)區(qū)工程和解決方案高級(jí)總監(jiān)賴俊杰，以及來(lái)自 NVIDIA 多倫多 AI 實(shí)驗(yàn)室的三位研究科學(xué)家——NVIDIA 高級(jí)研究科學(xué)家 Karsten Kreis、NVIDIA 研究科學(xué)家高俊、NVIDIA 研究科學(xué)家 Huan Ling。

NVIDIA 中國(guó)區(qū)工程和解決方案高級(jí)總監(jiān)賴俊杰將深度解析 NVIDIA GPU 軟硬件結(jié)合的技術(shù)創(chuàng)新如何推動(dòng)大模型技術(shù)的發(fā)展演進(jìn)，介紹如何基于 NVIDIA Megatron 更高效地構(gòu)建大語(yǔ)言模型訓(xùn)練系統(tǒng)，在大模型時(shí)代提高模型開發(fā)效率和模型質(zhì)量。

來(lái)自 NVIDIA 多倫多 AI實(shí)驗(yàn)室的研究科學(xué)家們將帶來(lái)兩場(chǎng)精彩的學(xué)術(shù)分享。隨著許多行業(yè)對(duì)創(chuàng)建大規(guī)模 3D 虛擬世界的需求不斷增加，對(duì)多樣化和高質(zhì)量的 3D 內(nèi)容有巨大的需求。他們將概述 NVIDIA 最近在機(jī)器學(xué)習(xí)和擴(kuò)散模型方面的工作及其在圖像、視頻和 3D 內(nèi)容創(chuàng)建方面的應(yīng)用，以實(shí)現(xiàn)大規(guī)模的 3D 內(nèi)容創(chuàng)作，并將重點(diǎn)介紹在 3D 生成建模方面的不同努力，包括以對(duì)象為中心的 3D 合成以及全場(chǎng)景級(jí)生成。

AI 系統(tǒng)論壇

基于 NVIDIA Megatron 更高效地

構(gòu)建大語(yǔ)言模型訓(xùn)練系統(tǒng)

6 月 10 日上午 1045

暢春廳

大語(yǔ)言模型是當(dāng)今最重要的先進(jìn)技術(shù)之一，NVIDIA 開發(fā)的基于 PyTorch 的訓(xùn)練框架 - Megatron 與 NeMo Framework 的開創(chuàng)性技術(shù)，能夠提高訓(xùn)練速度且可擴(kuò)展性強(qiáng)，使得大模型的訓(xùn)練和部署變得更加容易，具有更短的時(shí)間成本和更快的結(jié)果。

本議題將深度解析 NVIDIA GPU 軟硬件結(jié)合的技術(shù)創(chuàng)新如何推動(dòng)大模型技術(shù)的發(fā)展演進(jìn)，NVIDIA Megatron 框架的優(yōu)化方法，包括其高效的并行策略、內(nèi)存優(yōu)化技術(shù)等，以及如何利用該框架在大模型時(shí)代提高模型開發(fā)效率和模型質(zhì)量。

演講嘉賓

賴俊杰

NVIDIA 中國(guó)區(qū)工程和解決方案高級(jí)總監(jiān)

賴俊杰主要負(fù)責(zé)帶領(lǐng)團(tuán)隊(duì)對(duì)接中國(guó)區(qū)核心大客戶的技術(shù)需求，以及開發(fā)相應(yīng)的行業(yè)解決方案，定制軟件產(chǎn)品等。賴博士本科和碩士就讀于清華大學(xué)電子工程系，并于法國(guó)國(guó)家計(jì)算機(jī)與自動(dòng)化研究所獲得博士學(xué)位。博士期間的主要研究方向包括 GPU 架構(gòu)研究，及 GPU 性能分析模型。賴博士專注在高性能計(jì)算、并行計(jì)算、人工智能及互聯(lián)網(wǎng)行業(yè)應(yīng)用，在并行程序的性能分析及性能優(yōu)化領(lǐng)域有豐富的經(jīng)驗(yàn)。

視覺與多模態(tài)大模型論壇

機(jī)器學(xué)習(xí)促進(jìn) 3D 內(nèi)容創(chuàng)作

6 月 9 日下午 1450

靜宜廳

隨著許多行業(yè)對(duì)創(chuàng)建大規(guī)模 3D 虛擬世界的需求不斷增加，對(duì)多樣化和高質(zhì)量的 3D 內(nèi)容有巨大的需求。機(jī)器學(xué)習(xí)的存在使這一追求成為可能。本場(chǎng)演講將討論如何從結(jié)合可分化等值面和可分化渲染的角度出發(fā)，實(shí)現(xiàn)大規(guī)模的 3D 內(nèi)容創(chuàng)作，并對(duì)現(xiàn)實(shí)世界產(chǎn)生影響。

為此，研究中首先介紹了一種基于四面體網(wǎng)格的可微分三維表示法，以實(shí)現(xiàn)任意拓?fù)浣Y(jié)構(gòu)的三維網(wǎng)格的高質(zhì)量恢復(fù)。通過結(jié)合可分化的渲染，研究者進(jìn)一步設(shè)計(jì)了一個(gè)生成模型，能夠產(chǎn)生具有復(fù)雜紋理和材料的 3D 形狀，用于網(wǎng)格生成。研究中所用框架為從文本提示中利用二維擴(kuò)散模型進(jìn)行創(chuàng)新的高質(zhì)量三維網(wǎng)格創(chuàng)建鋪平了道路，這使新手的 3D 內(nèi)容創(chuàng)建更加大眾化。

演講嘉賓

高俊

NVIDIA 研究科學(xué)家

高俊是多倫多大學(xué)的博士生，由 Sanja Fidler 教授指導(dǎo)。他也是 NVIDIA 多倫多 AI 實(shí)驗(yàn)室的一名研究科學(xué)家。他的研究興趣集中在 3D 計(jì)算機(jī)視覺和計(jì)算機(jī)圖形的交叉領(lǐng)域，特別是開發(fā)機(jī)器學(xué)習(xí)工具，以促進(jìn)大規(guī)模的 3D 內(nèi)容創(chuàng)作并推動(dòng)現(xiàn)實(shí)世界的應(yīng)用。他的許多貢獻(xiàn)已經(jīng)在產(chǎn)品中實(shí)現(xiàn)，包括 NVIDIA Picasso、GANVerse3D、Neural DriveSim 和 Toronto Annotation Suite。他將在 2023 年的 NeurIPS 上擔(dān)任領(lǐng)域主席。

借助擴(kuò)散模型進(jìn)行圖像、視頻

和 3D 內(nèi)容創(chuàng)作

6 月 9 日下午 15:35 - 16:20

靜宜廳

基于擴(kuò)散的降噪生成模型激發(fā)了深度生成學(xué)習(xí)的多項(xiàng)突破。本場(chǎng)演講將概述 NVIDIA 最近在擴(kuò)散模型方面的工作及其在圖像、視頻和 3D 內(nèi)容創(chuàng)建方面的應(yīng)用。演講將從對(duì)擴(kuò)散模型的簡(jiǎn)短介紹開始，討論大規(guī)模文本到圖像的生成，然后重點(diǎn)介紹在 3D 生成建模方面開展的多項(xiàng)工作，包括以對(duì)象為中心的 3D 合成以及全場(chǎng)景級(jí)生成。最后將討論的是 NVIDIA 最近在使用視頻潛在擴(kuò)散模型生成高分辨率視頻方面的工作。研究者將最先進(jìn)的文本到圖像模型 Stable Diffusion 轉(zhuǎn)變?yōu)楦叻直媛饰谋镜揭曨l生成器，還演示了真實(shí)野外駕駛場(chǎng)景視頻的模擬。

演講嘉賓

Karsten Kreis

NVIDIA 高級(jí)研究科學(xué)家

Karsten Kreis 是 NVIDIA 多倫多 AI 實(shí)驗(yàn)室的高級(jí)研究科學(xué)家。在加入 NVIDIA 之前，他在 D-Wave Systems 從事深度生成建模工作，并與他人共同創(chuàng)立了 Variational AI，這是一家利用生成模型進(jìn)行藥物發(fā)現(xiàn)的初創(chuàng)公司。在轉(zhuǎn)向深度學(xué)習(xí)之前，他在馬克斯-普朗克光科學(xué)研究所獲得了量子信息理論碩士學(xué)位，并在馬克斯-普朗克聚合物研究所獲得了計(jì)算和統(tǒng)計(jì)物理學(xué)博士學(xué)位。目前，Karsten 的研究重點(diǎn)是開發(fā)新的生成學(xué)習(xí)方法，主要是擴(kuò)散模型，以及將深度生成模型應(yīng)用于計(jì)算機(jī)視覺、圖形和數(shù)字藝術(shù)以及自然科學(xué)等領(lǐng)域的問題。

Huan Ling

NVIDIA 研究科學(xué)家

Huan Ling 是 NVIDIA 多倫多人工智能實(shí)驗(yàn)室的研究科學(xué)家，他是多倫多大學(xué) Sanja Fidler 教授的博士生，還是 Vector Institute 的研究員。他的研究重點(diǎn)是大規(guī)模生成模型以及將生成模型用于計(jì)算機(jī)視覺感知任務(wù)。他在 NVIDIA 的研究工作包括 DatasetGAN、EditGAN 和 Align your Latents: VideoLDM。

點(diǎn)擊“閱讀原文”即可報(bào)名現(xiàn)場(chǎng)參加各專題論壇或預(yù)約線上直播，快來(lái)參會(huì)吧！

掃描下方海報(bào)二維碼，觀看 NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 COMPUTEX 2023 的主題演講直播回放，主題演講中文字幕版已上線，了解 AI、圖形及其他領(lǐng)域的最新進(jìn)展！