文章概要:

1. CityDreamer 是一種生成式AI模型，可以創(chuàng)建無(wú)限的3D城市環(huán)境。

2. 通過(guò)將建筑實(shí)例生成與其他背景對(duì)象分離，可以更好地處理建筑多樣性。

3. 使用真實(shí)城市數(shù)據(jù)集訓(xùn)練，可以增強(qiáng)生成結(jié)果的真實(shí)性。

微新創(chuàng)想（idea2003.com）9月6日 消息:相比生成自然場(chǎng)景，用AI創(chuàng)建城市更復(fù)雜，因?yàn)榭梢愿菀撞煊X(jué)結(jié)構(gòu)失真。CityDreamer是一種生成式AI系統(tǒng)，專門用于創(chuàng)建開(kāi)放式的、無(wú)邊界的3D城市環(huán)境。

自然場(chǎng)景生成的成功可歸因于兩個(gè)主要因素:（1）自然場(chǎng)景中的同類對(duì)象傾向于外觀相似;(2)像SPADE這樣的圖像轉(zhuǎn)換技術(shù)可以快速生成大量高質(zhì)量訓(xùn)練數(shù)據(jù)。但這不適用于城市建筑生成。

它的關(guān)鍵創(chuàng)新在于將建筑實(shí)例的生成與其他背景對(duì)象如天空、地面等分離開(kāi)來(lái)。這樣可以更好地處理城市場(chǎng)景中建筑外觀多樣性的挑戰(zhàn)，這也是與生成自然環(huán)境相比的一個(gè)重要區(qū)別。

CityDreamer系統(tǒng)使用了兩個(gè)真實(shí)世界的城市數(shù)據(jù)集:開(kāi)放街圖（OSM）和Google Earth，這為模型提供了真實(shí)的城市布局和建筑樣式。研究人員通過(guò)這些數(shù)據(jù)訓(xùn)練模型學(xué)習(xí)生成逼真的城市場(chǎng)景。CityDreamer包含四個(gè)模塊:無(wú)界布局生成器、城市背景生成器、建筑實(shí)例生成器和合成器。

與此同時(shí)，建筑實(shí)例的生成使用變分自編碼器獲得更好的多樣性。這樣就可以創(chuàng)造出具有極高細(xì)節(jié)和逼真度的3D城市，并可以無(wú)限擴(kuò)展生成范圍。

可見(jiàn)，CityDreamer系統(tǒng)應(yīng)用了多個(gè)生成模型的優(yōu)點(diǎn)，解決了生成開(kāi)放式城市場(chǎng)景的關(guān)鍵難題，為未來(lái)數(shù)字城市和元宇宙相關(guān)任務(wù)提供了有力支撐。這項(xiàng)研究工作展示了生成模型在復(fù)雜三維場(chǎng)景生成方面的巨大潛力。

項(xiàng)目網(wǎng)址:https://infinitescript.com/project/city-dreamer/

https://github.com/hzxie/city-dreamer