文章概要:

1. CityDreamer 是一種生成式AI模型，可以創建無限的3D城市環境。

2. 通過將建筑實例生成與其他背景對象分離，可以更好地處理建筑多樣性。

3. 使用真實城市數據集訓練，可以增強生成結果的真實性。

微新創想（idea2003.com）9月6日 消息:相比生成自然場景，用AI創建城市更復雜，因為可以更容易察覺結構失真。CityDreamer是一種生成式AI系統，專門用于創建開放式的、無邊界的3D城市環境。

自然場景生成的成功可歸因于兩個主要因素:（1）自然場景中的同類對象傾向于外觀相似;(2)像SPADE這樣的圖像轉換技術可以快速生成大量高質量訓練數據。但這不適用于城市建筑生成。

它的關鍵創新在于將建筑實例的生成與其他背景對象如天空、地面等分離開來。這樣可以更好地處理城市場景中建筑外觀多樣性的挑戰，這也是與生成自然環境相比的一個重要區別。

CityDreamer系統使用了兩個真實世界的城市數據集:開放街圖（OSM）和Google Earth，這為模型提供了真實的城市布局和建筑樣式。研究人員通過這些數據訓練模型學習生成逼真的城市場景。CityDreamer包含四個模塊:無界布局生成器、城市背景生成器、建筑實例生成器和合成器。

與此同時，建筑實例的生成使用變分自編碼器獲得更好的多樣性。這樣就可以創造出具有極高細節和逼真度的3D城市，并可以無限擴展生成范圍。

可見，CityDreamer系統應用了多個生成模型的優點，解決了生成開放式城市場景的關鍵難題，為未來數字城市和元宇宙相關任務提供了有力支撐。這項研究工作展示了生成模型在復雜三維場景生成方面的巨大潛力。

項目網址:https://infinitescript.com/project/city-dreamer/

https://github.com/hzxie/city-dreamer