北京大學(xué)提出Repaint123：紋理質(zhì)量、多視角一致性新SOTA！

只需兩分鐘，玩轉(zhuǎn)圖片轉(zhuǎn)3D！

還是高紋理質(zhì)量、多視角高一致性的那種。

不管是什么物種，輸入時的單視圖圖像還是這樣嬸兒的：

兩分鐘后，3D版大功告成：

△上，Repaint123（NeRF）；下，Repaint123（GS）

新方法名為Repaint123，核心思想是將2D擴(kuò)散模型的強(qiáng)大圖像生成能力與再繪策略的紋理對齊能力相結(jié)合，來生成高質(zhì)量、多視角一致的圖像。

此外，該研究還引入了針對重疊區(qū)域的可見性感知自適應(yīng)再繪強(qiáng)度的方法。

Repaint123一舉解決了此前方法多視角偏差大、紋理退化、生成慢等問題。

目前項(xiàng)目代碼還未在GitHub公布，就有100+人趕來標(biāo)星碼?。?/p>

Repaint123長啥樣？

之前，將圖像轉(zhuǎn)換為3D的方法通常采用Score Distillation Sampling (SDS)。盡管該方法的結(jié)果令人印象深刻，但存在一些問題，如多視角不一致、過度飽和、過度平滑的紋理以及生成速度緩慢。

△從上至下：輸入，Zero123-XL，Magic123，Dream gaussian

為了解決這些問題，來自北京大學(xué)、鵬城實(shí)驗(yàn)室、新加坡國立大學(xué)、武漢大學(xué)的研究人員提出了Repaint123。

總的來說，Repaint123有這幾點(diǎn)貢獻(xiàn)：

（1）Repaint123通過綜合考慮圖像到3D生成的可控重繪過程，能夠生成高質(zhì)量的圖片序列，并確保這些圖片在多個視角下保持一致。

（2）Repaint123提出了一個簡單的單視圖3D生成的基準(zhǔn)方法。

在粗模階段，它利用Zero123作為3D先驗(yàn)，并結(jié)合SDS損失函數(shù)，通過優(yōu)化Gaussian Splatting幾何，快速生成粗糙的3D模型（僅需1分鐘）。

在細(xì)模階段，它采用Stable Diffusion作為2D先驗(yàn)，并結(jié)合均方誤差（MSE）損失函數(shù)，通過快速細(xì)化網(wǎng)格紋理，生成高質(zhì)量的3D模型（同樣只需1分鐘）。

（3）大量的實(shí)驗(yàn)證明了Repaint123方法的有效性。它能夠在短短2分鐘內(nèi)，從單張圖像中生成與2D生成質(zhì)量相匹配的高質(zhì)量3D內(nèi)容。

?

?

△實(shí)現(xiàn)3D一致且高質(zhì)量的單視角3D快速生成

下面來看具體方法。

Repaint123專注于優(yōu)化mesh細(xì)化階段，其主要改進(jìn)方向涵蓋兩個方面：生成具有多視角一致性的高質(zhì)量圖像序列以及實(shí)現(xiàn)快速而高質(zhì)量的3D重建。

1、生成具有多視角一致性的高質(zhì)量圖像序列

生成具有多視角一致性的高質(zhì)量圖像序列分為以下三個部分:

△多視角一致的圖像生成流程

DDIM反演

為了保留在粗模階段生成的3D一致的低頻紋理信息，作者采用了DDIM反演將圖像反演到確定的潛在空間，為后續(xù)的去噪過程奠定基礎(chǔ)，生成忠實(shí)一致的圖像。

可控去噪

為了在去噪階段控制幾何一致性和長程紋理一致性，作者引入了ControlNet，使用粗模渲染的深度圖作為幾何先驗(yàn)，同時注入?yún)⒖紙D的Attention特征進(jìn)行紋理遷移。

此外，為了執(zhí)行無分類器引導(dǎo)以提升圖像質(zhì)量，論文使用CLIP將參考圖編碼為圖像提示，用于指導(dǎo)去噪網(wǎng)絡(luò)。

重繪

漸進(jìn)式重繪遮擋和重疊部分為了確保圖像序列中相鄰圖像的重疊區(qū)域在像素級別對齊，作者采用了漸進(jìn)式局部重繪的策略。

在保持重疊區(qū)域不變的同時，生成和諧一致的相鄰區(qū)域，并從參考視角逐步延伸到360°。

然而，如下圖所示，作者發(fā)現(xiàn)重疊區(qū)域同樣需要進(jìn)行細(xì)化，因?yàn)樵谡晻r之前斜視的區(qū)域的可視分辨率變大，需要補(bǔ)充更多的高頻信息。

另外，細(xì)化強(qiáng)度等于1-cosθ*，其中θ*為之前所有相機(jī)視角與所視表面法向量夾角θ的最大值，從而自適應(yīng)地重繪重疊區(qū)域。

△相機(jī)視角與細(xì)化強(qiáng)度的關(guān)系

為了選擇適當(dāng)?shù)募?xì)化強(qiáng)度，以在提高質(zhì)量的同時保證忠實(shí)度，作者借鑒了投影定理和圖像超分的思想，提出了一種簡單而直接的可見性感知的重繪策略來細(xì)化重疊區(qū)域。

2、快速且高質(zhì)量的3D重建

正如下圖所展示的，作者在進(jìn)行快速且高質(zhì)量的3D重建過程中，采用了兩階段方法。

△Repaint123兩階段單視角3D生成框架

首先，他們利用Gaussian Splatting表示來快速生成合理的幾何結(jié)構(gòu)和粗糙的紋理。

同時，借助之前生成的多視角一致的高質(zhì)量圖像序列，作者能夠使用簡單的均方誤差（MSE）損失進(jìn)行快速的3D紋理重建。

一致性、質(zhì)量和速度最優(yōu)

研究人員對多個單視圖生成任務(wù)的方法進(jìn)行了比較。

△單視圖3D生成可視化比較

在RealFusion15和Test-alpha數(shù)據(jù)集上，Repaint123取得了在一致性、質(zhì)量和速度三個方面最領(lǐng)先的效果。

同時，作者也對論文使用的每個模塊的有效性以及視角轉(zhuǎn)動增量進(jìn)行了消融實(shí)驗(yàn):

并且發(fā)現(xiàn)，視角間隔為60度時，性能達(dá)到峰值，但視角間隔過大會減少重疊區(qū)域，增加多面問題的可能性，所以40度可作為最佳視角間隔。