Stability AI推出Stable Video 3D模型，可制作多視角3D視頻

3月21日，Stability AI推出了全新的Stable Video 3D模型，此模型能夠?qū)崿F(xiàn)由單幅照片構(gòu)建多視角3D視頻。

SV3D_u是Stable Video 3D的一個(gè)版本，僅需單幅圖片即可生成運(yùn)動(dòng)軌跡視頻，無(wú)須進(jìn)行相機(jī)調(diào)整。擴(kuò)充版本的SV3D_p加入了軌道視圖的特性，使其可以根據(jù)預(yù)設(shè)的相機(jī)路徑創(chuàng)建3D視頻。

與初始的Stable Zero123模型或者開(kāi)源的Zero123-XL相比，Stable Video 3D具有更高的品質(zhì)，實(shí)現(xiàn)更具豐富視圖以及更強(qiáng)泛化能力的效果，能更加真實(shí)地展示出輸入圖片的完整三維形態(tài)。

Stability AI解釋說(shuō)，這種顯著的提升得益于它的基礎(chǔ)模型——Stable Video Diffusion。此外，Stable Video 3D還增加了相機(jī)路徑調(diào)整功能，可以制作包圍物體的各種軌道。

Stable Video 3D運(yùn)用了多視角一致性的原則優(yōu)化了3D NeRF和網(wǎng)格顯示方式，這有助于提升直接從新視角生成的3D網(wǎng)格質(zhì)量。

為了達(dá)到這個(gè)目的，Stability AI發(fā)明了一種名為“掩碼分?jǐn)?shù)蒸餾采樣損失”的特殊技術(shù)，用以增強(qiáng)3D預(yù)測(cè)精度。同時(shí)，他們還改良了解混光源，降低了因光線造成的干擾，進(jìn)一步優(yōu)化了陰影表現(xiàn)。

Stability AI宣布，Stable Video 3D已經(jīng)可以商業(yè)使用，只需支付相關(guān)費(fèi)用成為其Stability AI會(huì)員（每月只需20美元）。如果是非商業(yè)需求，還可以在Hugging Face平臺(tái)上免費(fèi)下載模型權(quán)重。