【48812】生成单修建仅175分钟：腾讯AI Lab发布3D场景主动生成计划
发布日期： 2024-07-31 17:31:27 作者: 复古隔断
在近来举行的 2023游戏开发者大会（Game Developers Conference）上，腾讯 AI Lab 宣布了题为《AI Enhanced Procedural City Generation》的讲演，提出自研的 3D 虚拟场景主动生成处理计划，协助游戏开发者以更低本钱发明风格多样、靠近实际的虚拟城市，进步 3D 虚拟场景的出产功率。
《AI Enhanced Procedural City Generation》作用展现
会上，腾讯展现了运用AI从零开始敏捷建立一座 3D 虚拟城市的进程，所建虚拟城市面积到达 25 平方公里，包含 130 千米路网、 4416 栋修建以及超越 38 万个室内映射。这样一座大规模城市的“构建”，曩昔往往需求多名美术师以年为单位的时刻才干完结，而结合AI只需求数周。
团队要点共享了城市布局生成、修建外观生成、室内映射生成三大中心才能，以下为详细介绍。
第一步，发明实在感的路途布局。实际中的城市路网杂乱多样，布局疏密曲折，且不少城市独具风格。传统程序化生成的路网一般横平竖直、风格单一，要完结不同城市风格有必要手动规划和重复修正，耗时至少一周。
腾讯 AI Lab 的处理计划，是让 AI 学习实际国际路网，再主动发明新路途，不只生成效果更靠近实际，且操作简略快捷高效：用户只需输入城市主干道和海岸线 分钟内即可填充合理、多样的路网细节。一起，东西支撑实时修正输入，快速生成不同变体；也可在生成效果上进行细节微调，得到更契合需求的路网。整一个完好的进程仅需不到 30 分钟，比较手动规划功率进步近 100 倍。
详细到技能完结，首先是数据的预备，包含数据的提取、挑选、裁剪及制造。然后，练习一个分散模型来学习这一些数据的规则，得到不同城市风格的路网生成模型，最终将该模型嵌入到路网出产管线中。
第二步，在路网基础上完结多样化的修建布局。现有的程序化生成技能，相同只能生成风格有限的修建概括，且修建排布规则单一，完结多样性仍要依靠手艺规划。
为处理以上问题，腾讯 AI Lab 根据很多实在修建的概括数据及修建排布信息，经过生成技能学习数据中的规则，然后生成很多实在多样且契合实际国际规则的修建概括及修建排布，最终把这些生成的修建单元填充到路网中，然后完结修建布局的制造。以讲演展现的demo为例，操作者在路网基础上，用10分钟就完结了这一进程。
完结城市布局生成后，下一步是给修建规划规划共同的外观。现在常用的程序化生成管线包含以下过程：搜集图片、界说修建拆解组合办法、预备3D资料库、参阅相片制造共同修建、已有修建随机组合出更多变体、添加装修。其间首要功率瓶颈在于参阅相片制造单个共同修建，所以一般只会制造少数共同修建，而依靠随机组合发生的多样性较为有限，简单让生成的场景发生重复感。
腾讯 AI Lab 的处理计划将 AI 与程序化生成结合，加快了 2D 相片到 3D 修建的制造的过程，将单个共同修建的制造时刻下降至 17.5 分钟，使低本钱、高功率生成很多多样化修建外观成为可能。一起，凭借自研的图画生成才能，批量生成很多外观共同的 2D 修建相片，进步了修建外观的丰厚度。
静态图为 AI 生成的 2D 相片，动态图为根据相片生成的 3D 修建
经过单张 2D 相片生成 3D 修建，其难点是对 3D 信息的精确估量。结合修建的结构特色，腾讯 AI Lab 创新地提出较为合理的先验假定，有用处理了从 2D 相片提取 3D 信息的难题，较好地完结了从单张相片提取 3D 修建的立面结构和表观细节（如凸起的阳台、墙面凹凸等）。
然后，将相片中检测到的各个单元，如窗户和阳台，主动映射到预先预备好的3D资料，以及将墙面映射到预先预备好的原料。以上提取的信息接入程序化管线D修建的生成。
关于图画中不行见的部分（如房顶）和易遮挡的部分（如底层），腾讯 AI Lab 通进程序化管线补全得到了完好修建。根据以上管线栋共同修建，凭借这些丰厚的修建立面财物，即可改变出数以千计的修建外观。
为了让城市更具实在感，一般会添加修建窗户上的室内作用。完结的第一步是构建虚拟房间，腾讯 AI Lab 的办法是将实际中的房间摄影重建。比较于传统美术建模，能够直接获取实际房间的丰厚内容和细节，进步制造功率。
详细过程包含，给一个房间拍照多张接连相片，估量相机位姿，练习NeRF模型，组成新视角图片作为后续原料制造的输入。
考虑游戏运转功能，腾讯AI Lab根据NeRF输出的给定视角的色彩图和深度图，制造内部映射原料完结伪三维作用。比较于业界常见的两视图计划（下图左），腾讯 AI Lab 选用三视图计划（下图右），明显削减烘托作用中的拖影，一起统筹功能。
最终，用程序化 UV 核算，将这些“伪3D”房间填充到之前生成好的修建外墙上，城市里即充满了林林总总的房间。
根据以上技能，实在感虚拟城市所需求的多样化城市布局、多风格城市修建等中心要素已根本具有。然后，凭借程序化生成，完结路面、植被等规范元素，再把一切元素转移至游戏引擎中，添加动态改变气候、车流与行人等，一个栩栩如生的虚拟城市轻松完工。
腾讯AI Lab表明，团队已在AI与游戏使用的结合上获得多项效果，包含运用AI进行游戏平衡性测验、游戏新手教育、关卡生成等。未来面向游戏职业，腾讯AI Lab 将聚集 AI Bot 与 AIGC 两大方向，探究 AI 与游戏工业的深层次地交融，掩盖从游戏研发到运营的全链路 AI 处理计划，助力游戏工业高质量开展。