谷歌宣布可訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)PHORHUM 可實(shí)現(xiàn)2D照片轉(zhuǎn)為3D模型
發(fā)布日期:2022/5/16 10:46:06 瀏覽量:
近日,谷歌宣布了一種端到端的可訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)PHORHUM,該方案特點(diǎn)是基于單張2D RGB圖像,通過(guò)像素對(duì)齊、表面著色、場(chǎng)景照明等步驟實(shí)現(xiàn)逼真的3D建模。在準(zhǔn)確再現(xiàn)可見(jiàn)范圍的同時(shí),圖像中不可見(jiàn)的地方(非可視區(qū)域)也可能再現(xiàn)。
關(guān)于PHORHUM,谷歌的論文指出:“我們的模型構(gòu)建可以通過(guò)虛擬試衣、照片的沉浸式可視化,改進(jìn)通信、用于人機(jī)交互或游戲的個(gè)人AR和VR等,將成為變革性的、身臨其境的3D應(yīng)用程序。”
據(jù)了解,PHORHUM采用像素對(duì)齊方法估計(jì)了詳細(xì)的3D幾何形狀,并且首次估計(jì)了未著色的表面顏色和場(chǎng)景照明。觀察到僅3D監(jiān)督不足以進(jìn)行高保真顏色重建,引入了基于補(bǔ)丁的渲染損失,可以對(duì)人類(lèi)的可見(jiàn)部分進(jìn)行可靠的顏色重建,并對(duì)不可見(jiàn)部分進(jìn)行詳細(xì)和合理的顏色估計(jì)。
此外,PHORHUM專(zhuān)門(mén)解決了先前工作在表示幾何、反照率和照明效果方面的方法學(xué)和實(shí)際限制,在一個(gè)端到端模型中,因素可以被有效地解開(kāi)。在廣泛的實(shí)驗(yàn)中,證明了其多功能性和穩(wěn)健性。
其實(shí)谷歌雖然總是喜歡拿開(kāi)發(fā)者當(dāng)小白鼠,但是前沿技術(shù)的探索也還是在推進(jìn)。未來(lái)的信息世界將全面3D化、擬真化,二次元和三次元的次元壁正在被打破。
馬上咨詢(xún): 如果您有業(yè)務(wù)方面的問(wèn)題或者需求,歡迎您咨詢(xún)!我們帶來(lái)的不僅僅是技術(shù),還有行業(yè)經(jīng)驗(yàn)積累。
QQ: 39764417/308460098 Phone: 13 9800 1 9844 / 135 6887 9550 聯(lián)系人:石先生/雷先生