使用大模型合成的數(shù)據(jù)，就能顯著提升3D生成能力？
來(lái)自上海交大、香港中文大學(xué)等團(tuán)隊(duì)還真做到了。
他們推出Bootstrap3D框架，結(jié)合微調(diào)的具備3D感知能力的多模態(tài)大模型。這個(gè)框架能夠自動(dòng)生成任意數(shù)量的高質(zhì)量的多視角圖片數(shù)據(jù)，助力多視圖擴(kuò)散模型的訓(xùn)練。
結(jié)果表明，新的合成數(shù)據(jù)能夠顯著提高現(xiàn)有3D生成模型的生成物體的美學(xué)質(zhì)量和文本prompt的控制能力。
目前，Bootstrap3D的數(shù)據(jù)集已經(jīng)全面開(kāi)源。
用大模型合成數(shù)據(jù)
近年來(lái)，3D內(nèi)容生成技術(shù)迎來(lái)了飛速發(fā)展。然而，相對(duì)于2D圖片生成，生成高質(zhì)量的3D物體仍面臨諸多挑戰(zhàn)。
其中核心的瓶頸即在于3D數(shù)據(jù)，尤其是高質(zhì)量數(shù)據(jù)的不足。
為了解決這一問(wèn)題，研究團(tuán)隊(duì)推出Bootstrap3D框架，通過(guò)自動(dòng)生成多視圖圖像數(shù)據(jù)來(lái)解決3D內(nèi)容生成中高質(zhì)量數(shù)據(jù)不足的問(wèn)題。
具體來(lái)說(shuō)，這個(gè)框架采用了2D和視頻擴(kuò)散模型來(lái)生成多視圖圖像，并利用一個(gè)經(jīng)過(guò)微調(diào)的3D多模態(tài)大模型對(duì)生成的數(shù)據(jù)進(jìn)行質(zhì)量篩選和描述重寫。
通過(guò)這種方式，Bootstrap3D能夠自動(dòng)產(chǎn)生大量高質(zhì)量的3D圖像數(shù)據(jù)，從而“自舉”出一個(gè)足夠大的數(shù)據(jù)集，輔助訓(xùn)練更優(yōu)秀的多視圖擴(kuò)散模型。
這里插一嘴，在計(jì)算機(jī)科學(xué)和機(jī)器學(xué)習(xí)領(lǐng)域，“Bootstrap”通常指的是一種通過(guò)自舉方法解決問(wèn)題的技術(shù)。
數(shù)據(jù)構(gòu)建Pipeline
具體來(lái)說(shuō)，數(shù)據(jù)構(gòu)建Pipeline是本次框架的核心創(chuàng)新之一，旨在自動(dòng)生成高質(zhì)量的多視圖圖像數(shù)據(jù)，并附帶詳細(xì)的描述文本。
主要分為以下幾個(gè)步驟：
文本提示生成：首先，使用強(qiáng)大的大語(yǔ)言模型（如GPT-4）生成大量富有創(chuàng)意和多樣化的文本提示。這些文本提示涵蓋了各種場(chǎng)景和物體，為后續(xù)的圖像生成提供了豐富的素材。
圖像生成：利用2D擴(kuò)散模型和視頻擴(kuò)散模型，根據(jù)生成的文本提示創(chuàng)建單視圖圖像。通過(guò)結(jié)合2D和視頻擴(kuò)散模型的優(yōu)勢(shì)，生成的圖像具有更高的初始質(zhì)量和多樣性。
多視圖合成：使用視頻擴(kuò)散模型將單視圖圖像擴(kuò)展為多視圖圖像，生成不同角度的視圖。這一步驟確保了每個(gè)對(duì)象在不同視角下的一致性，解決了傳統(tǒng)方法中視圖不一致的問(wèn)題。
質(zhì)量篩選和描述重寫：通過(guò)我們微調(diào)的3D感知模型MV-LLaVA，對(duì)生成的多視圖圖像進(jìn)行嚴(yán)格的質(zhì)量篩選。篩選過(guò)程不僅過(guò)濾掉低質(zhì)量的數(shù)據(jù)，還重寫描述文本，使其更加準(zhǔn)確和詳細(xì)。
通過(guò)這個(gè)數(shù)據(jù)構(gòu)建Pipeline，Bootstrap3D能夠生成大量高質(zhì)量的3D圖像數(shù)據(jù)，為多視圖擴(kuò)散模型的訓(xùn)練提供了堅(jiān)實(shí)的基礎(chǔ)。
這一創(chuàng)新不僅解決了3D數(shù)據(jù)稀缺的問(wèn)題，還顯著提升了模型的生成效果和對(duì)文本提示的響應(yīng)能力。
訓(xùn)練timestep重安排（TTR）
團(tuán)隊(duì)還提出了一種創(chuàng)新的訓(xùn)練timestep重新安排策略（TTR），以解決多視圖擴(kuò)散模型訓(xùn)練中的圖像質(zhì)量和視圖一致性問(wèn)題。
TTR策略的核心理念是在訓(xùn)練過(guò)程中靈活調(diào)整合成數(shù)據(jù)和真實(shí)數(shù)據(jù)的訓(xùn)練時(shí)間步，從而優(yōu)化去噪過(guò)程的不同階段。
去噪過(guò)程的階段性特征：在擴(kuò)散模型中，去噪過(guò)程通常分為不同的時(shí)間步。在早期時(shí)間步，去噪過(guò)程主要關(guān)注圖像的整體結(jié)構(gòu)和形狀（低頻成分）；在后期時(shí)間步，則主要生成圖像的細(xì)節(jié)和紋理（高頻成分）。這種階段性特征為我們提供了調(diào)整訓(xùn)練策略的機(jī)會(huì)。
限制合成數(shù)據(jù)的訓(xùn)練時(shí)間步：由于合成數(shù)據(jù)可能存在一些模糊和失真，我們?cè)谟?xùn)練時(shí)限制其時(shí)間步范圍。具體來(lái)說(shuō)，我們讓合成數(shù)據(jù)主要參與早期的去噪階段，確保它們對(duì)整體結(jié)構(gòu)的貢獻(xiàn)，而將后期的細(xì)節(jié)生成留給質(zhì)量更高的真實(shí)數(shù)據(jù)。
分階段訓(xùn)練策略：通過(guò)將合成數(shù)據(jù)限制在較大的時(shí)間步范圍內(nèi)（如200到1000步），我們確保這些數(shù)據(jù)在去噪過(guò)程中主要影響圖像的低頻成分，從而保持視圖一致性。同時(shí)，真實(shí)數(shù)據(jù)則參與所有時(shí)間步的訓(xùn)練，以提供高頻細(xì)節(jié)和真實(shí)感。這樣的分階段訓(xùn)練策略有效平衡了圖像質(zhì)量和視圖一致性。
實(shí)驗(yàn)證明效果顯著：廣泛的實(shí)驗(yàn)結(jié)果表明，使用TTR策略的多視圖擴(kuò)散模型在圖像-文本對(duì)齊、圖像質(zhì)量和視圖一致性方面均表現(xiàn)優(yōu)異。該策略不僅保留了原始2D擴(kuò)散模型的優(yōu)點(diǎn)，還顯著提升了多視圖生成的效果。
通過(guò)訓(xùn)練時(shí)間步重新安排策略（TTR），Bootstrap3D框架成功解決了合成數(shù)據(jù)質(zhì)量參差不齊的問(wèn)題，顯著提升了多視圖擴(kuò)散模型的性能，為高質(zhì)量3D內(nèi)容生成奠定了堅(jiān)實(shí)基礎(chǔ)。
好了，Bootstrap3D生成的數(shù)據(jù)集已經(jīng)全面開(kāi)源，任何研究人員和開(kāi)發(fā)者都可以免費(fèi)訪問(wèn)和使用。
本文鏈接：http://www.zh1234.com/news4422.html5秒完成3D生成，合成數(shù)據(jù)集已開(kāi)源，上交港中文框架超越Instant3D
