NVIDIA 研究团队构建 AI 模型，为虚拟世界填充3D物体和人物

　　其所生成的对象可用于建筑、户外空间或整个城市的 3D 表现，为游戏、机器人开发、建筑和 交媒体等行业量身打造。

　　GET3D 可以根据受训练时使用的数据生成几乎无限量的三维图形。就像一位艺术家将一块粘土制成精细的雕塑一样，该模型会将数字转换为复杂的三维图形。

　　例如，借助 2D 汽车图像的训练数据集，它创建了轿车、卡车、赛车和面包车等系列集。当在动物图像上训练后，它会生成狐狸、犀牛、马和熊等生物。如果输入椅子时，模型会生成各种旋转椅、餐椅和舒适的躺椅。

　　NVIDIA AI 研究副总裁 Sanja Fidler 负责领导创建此工具的多伦多 AI 实验室，她表示： “GET3D 让我们离普及 AI 驱动的 3D 内容创作更近了一步。它能够即时生成纹理化的三维图形，这可能会为开发者带来颠覆性的变化，有助于他们迅速填充包含各种有趣对象的虚拟世界。”

　　在 11 月 26 日至 12 月 4 日于新奥尔良(以及在线)举办的 NeurIPS AI 大会上，NVIDIA 有 20 多篇论文、专题研讨会， GET3D 就是其中之一。

　　打造虚拟世界需要多种 AI 类型

　　现实世界充满了多样性：街道上的建筑各有特点，各有不同的车辆则在其间呼啸而过，川流不息的人群更是异彩纷呈。为反映这一情景的 3D 虚拟世界进行手动建模非常耗时，因此难以填入详细的数字环境。

　　以前的 3D 生成式 AI 模型，虽然比人工方法更快，但在所能生成的细节水平上也被限制了。即使是最近的反向渲染方法也只能根据从多个角度拍摄的 2D 图像生成 3D 物体，这就需要开发者一次构建一个三维图形。

　　NVIDIA 研究人员使用合成数据训练 GET3D，数据中包含使用不同摄像头角度拍摄的三维图形 2D 图像。该团队仅用了两天时间，就使用 NVIDIA A100 Tensor Core GPU，对模型进行了 100 万张图像的训练。

　　研究人员指出，未来版本的 GET3D 可以使用摄像头姿态预估技术，让开发者能够使用真实世界的数据(而不是合成数据集)来训练模型。还可以对其进行改进以支持通用生成，这意味着开发者可以一次性训练用于各种三维图形的 GET3D，而不必每一次在一个对象类别上进行训练。