NVIDIA Edify幫助開發(fā)者創(chuàng)建自定義模型

內(nèi)容生成器 — 無論是生成語言、2D 圖像、3D 模型還是視頻 — 為創(chuàng)意社區(qū)提供了各種工具，可更快將想象變?yōu)楝F(xiàn)實(shí)。

為幫助開發(fā)者構(gòu)建這些新型生成式 AI 工具，NVIDIA 建立了 NVIDIA AI Foundry。它有助于公司使用 NVIDIA Edify 基于自己的已授權(quán)數(shù)據(jù)訓(xùn)練生成式 AI 模型。Edify 是一種多模態(tài) AI 結(jié)構(gòu)，可使用簡(jiǎn)單的文本提示生成圖像、視頻、3D 素材、360 度高動(dòng)態(tài)范圍成像和基于物理性質(zhì)的渲染（PBR）材質(zhì)。使用 AI Foundry，公司可以訓(xùn)練定制 AI 模型來生成上述任何素材。

Edify 的關(guān)鍵優(yōu)勢(shì)包括能夠生成多種類型的內(nèi)容、其卓越的訓(xùn)練效率（這便于它在基于更少的圖像進(jìn)行訓(xùn)練時(shí)生成高質(zhì)量?jī)?nèi)容），及其調(diào)優(yōu)模型以進(jìn)行風(fēng)格匹配或?qū)W習(xí)字符或?qū)ο蟮哪芰Α?/p>

基于 NVIDIA AI Foundry 和 Edify 構(gòu)建的服務(wù)范例之一為 Generative AI by Getty Images，一種可商用的生成式攝影服務(wù)。組合使用 AI Foundry 與 Edify，用戶可以控制他們的訓(xùn)練數(shù)據(jù)集，從而創(chuàng)建符合其需求的模型。

為避免版權(quán)問題，Getty Images 使用 Edify 基于自己的已授權(quán)內(nèi)容對(duì)該服務(wù)進(jìn)行了訓(xùn)練，以確保數(shù)據(jù)集中不存在知名人物或產(chǎn)品。該公司還與貢獻(xiàn)者分享部分利潤(rùn)，為對(duì)該模型做出貢獻(xiàn)的創(chuàng)作者創(chuàng)造了新的收入來源。

使用 Edify 生成資產(chǎn)

可以對(duì) Edify 進(jìn)行訓(xùn)練，以生成各種圖像類型，包括圖像、3D 素材和 360 度 HDRi 環(huán)境光貼圖。

Edify Image 可在約六秒內(nèi)生成四張高質(zhì)量 1K 圖像，性能比之前的模型提高一倍。還可以通過生成式放大器添加其他細(xì)節(jié)，將圖像轉(zhuǎn)換為 4K 格式。

Getty Images 4K 圖像生成使用安全商用創(chuàng)意庫(kù)在 NVIDIA Edify 上進(jìn)行訓(xùn)練。

得益于高級(jí)提示依從性，圖像實(shí)現(xiàn)了高度可控，攝像頭控制可指定焦距或場(chǎng)景深度，同時(shí) ControlNets 將指導(dǎo)生成。ControlNets 包括 Sketch 和 Depth，前者允許用戶提供要依從的草圖或復(fù)制圖像的構(gòu)圖，后者用于復(fù)制圖像的構(gòu)圖。

也可以使用 Edify Image 來編輯圖像。InPaint 允許用戶在圖像中添加或修改內(nèi)容。Replace — 一個(gè)嚴(yán)格 InPaint — 可以更改衣服等細(xì)節(jié)。并且 OutPaint 可以擴(kuò)大圖像以匹配不同的寬高比。所有這些操作都可通過 Segment 進(jìn)行簡(jiǎn)化，這是一項(xiàng)只需要一條文本提示即可遮罩對(duì)象的功能。

Edify 還可以創(chuàng)建藝術(shù)家級(jí)別的 3D 網(wǎng)格。這些網(wǎng)格采用基于四邊形的清晰拓?fù)洹⒏哌_(dá) 4K 的 PBR 材質(zhì)和自動(dòng) UV 展開，便于更輕松地進(jìn)行紋理編輯?？焖兕A(yù)覽模式可在短短 10 秒內(nèi)提供結(jié)果，然后將其轉(zhuǎn)換為完整的 3D 網(wǎng)格。

這類網(wǎng)格非常適合原型設(shè)計(jì)場(chǎng)景、為布景生成背景對(duì)象，或作為 3D 雕刻的開端。

Edify 360 HDRi 將生成自然景觀環(huán)境圖，可將其用于場(chǎng)景照明、反射甚至作為背景。該模型可根據(jù)文本或圖像提示生成高達(dá) 16K 的 HDRi 圖像。獲得所需背板后，用戶就可以創(chuàng)建自定義 HDRi 來進(jìn)行匹配，而不必花費(fèi)數(shù)小時(shí)尋找。

根據(jù)文本提示生成高動(dòng)態(tài)范圍 360 度全景圖。

多模態(tài)功能為 Edify 所獨(dú)有，能夠?qū)崿F(xiàn)組合不同素材類型的高級(jí)工作流。例如，與智能體結(jié)合使用時(shí)，Edify 允許用戶在幾分鐘內(nèi)使用簡(jiǎn)單的文本提示進(jìn)行完整場(chǎng)景原型設(shè)計(jì) — 就像在 NVIDIA 研究團(tuán)隊(duì) SIGGRAPH 演示中那樣，該演示展示了由 NVIDIA Edify 提供支持的模型和 NVIDIA Omniverse 平臺(tái)的輔助性 3D 世界構(gòu)建功能。

另一個(gè)用例是將 Edify 3D 和 360 HDRi 與 Image 結(jié)合起來使用，以便用戶完全控制圖像生成過程。通過以 3D 格式生成場(chǎng)景，藝術(shù)家可以四處移動(dòng)物體并設(shè)定他們想要的鏡頭，然后使用 Edify Image 將原型轉(zhuǎn)化為逼真的圖像。

Generative AI by Getty Images

Getty Images 是創(chuàng)意視覺效果、編輯攝影、視頻和音樂領(lǐng)域的大型內(nèi)容服務(wù)提供商和供應(yīng)商之一，也是人們最初搜尋、購(gòu)買和分享來自世界上的優(yōu)秀攝影師和錄像師的精彩視覺內(nèi)容的地方之一。

Getty Images 使用 NVIDIA AI Foundry 來訓(xùn)練 NVIDIA Edify Image 模型，以支持其生成式 AI 服務(wù)。該服務(wù)通過面向企業(yè)的 Generative AI by Getty Images 以及面向小型企業(yè)和業(yè)余創(chuàng)作者的 Generative AI by iStock 提供，允許用戶使用由 NVIDIA Edify 提供支持的模型來生成和修改圖像。

Generative AI by Getty Images（或 iStock）提供了一系列已授權(quán)內(nèi)容。

Getty Images 和 iStock 最近已更新到最新版本的 Edify Image，以便更快生成內(nèi)容，實(shí)現(xiàn)更高的提示依從性并公布攝像頭控制。

已更新 Generative AI by Getty Images 中的攝像頭控制。

用戶現(xiàn)在還可以在預(yù)拍創(chuàng)意內(nèi)容時(shí)使用生成式 AI 工具，這便于他們編輯和修改 iStock 的視覺效果庫(kù)，以快速迭代和美化內(nèi)容。這些相同的功能將于不久后在 Gettyimages.com 上發(fā)布。