AIマジックブラシ「馬良ツール」を使って、一枚の写真を3D都市に変える

プリンストン大学、コロンビア大学、そしてサイバーエバーAIは共同で、3DTownフレームワークを発表しました。これは、一枚の俯瞰画像から現実感のある3D街並みを生成する画期的なツールです。驚くべきことに、このプロセスにはトレーニングが不要で、事前に訓練された3Dオブジェクトジェネレーターを使用して、これらの活気あるシーンを生み出します。

従来の3Dモデリングは、高価な機器の必要性、膨大なデータ収集の要請、そして時間と専門知識を要する労働集約的な作業によって長年妨げられてきました。AIは3Dオブジェクトの生成において大きな進展を遂げてきましたが、複雑なシーンを扱う際には幾何学的な不整合や論理的に不合理なレイアウト、低品質なメッシュなどがしばしば発生します。

3DTownは「分割して征服する」アプローチにより、これらの課題を解決し、俯瞰画像を重複する領域に分割して、ピースごとに3Dコンテンツを生成します。この方法は解像度と詳細度を向上させるとともに、画像入力とその3D対応物の正確な一致を保証します。さらに、空間認識型の3Dインペイント技術により、欠けた構造をスムーズに埋め込み、全体的なシーンの連続性を維持します。

実験結果では、3DTownは幾何学的精度、レイアウトの一貫性、テクスチャの忠実さにおいて既存のモデルを上回ることが示されています。この革新はゲーム開発、映画制作、メタバース構築、さらにはロボットシミュレーショントレーニングなど、さまざまな分野での適用に大きな可能性を秘めています。

しかし、3DTownにもいくつかの制限があります。例えば、個別のオブジェクトに焦点を当てた事前訓練されたジェネレーターに依存しているため、局所的な不正確さや「幻覚」が生じる場合があります。また、初期の3D構造の粗い推定段階で脆弱性が生じる可能性もあります。今後の進化では、マルチビューのデータを統合したり、セマンティックな事前知識を導入したり、シーンレベルでの微調整を行うことで、フレームワークをさらに改良することが考えられます。

論文: https://arxiv.org/pdf/2505.15765 プロジェクト: https://eric-ai-lab.github.io/3dtown.github.io/