5秒内快速生成、直出工业级PBR资产，三维扩散模型3DTopia-XL开源

AIxiv 专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心 AIxiv 专栏接收报道了 2000 多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

是否还在苦恼于开源图生 / 文生三维模型无法直接嵌入到 CG 工作流中？是否在寻找具备高质量几何与物理材质的三维生成大模型？

最近，上海人工智能实验室（Shanghai AI Lab）与南洋理工大学（NTU）共同推出了新一代的三维生成大模型 3DTopia-XL，能够从图片或文字单阶段直出具有 PBR（物理渲染）材质的高质量三维数字资产。

在技术细节上，通过采用全新的三维表征 PrimX 以及基于 DiT 的生成架构，具有 10 亿规模参数的 3DTopia-XL 能够在 5 秒内完成从图像或文本生成具有物理材质属性的超写实三维模型，生成结果作为 GLB 格式的三维资产可以无缝导入到主流游戏引擎和工业设计软件的管线中服务于下游应用。

3DTopia-XL 已将代码、预训练模型和技术报告开源，并且近期还会持续更新其他模态作为输入的预训练模型。

• 代码链接：https://github.com/3DTopia/3DTopia-XL

• 在线 Demo：https://huggingface.co/spaces/FrozenBurning/3DTopia-XL

• 技术报告：https://arxiv.org/abs/2409.12957

• 论文标题：3DTopia-XL: Scaling High-quality 3D Asset Generation via Primitive Diffusion

在项目开源的这几天，广大网友也是第一时间涌入官方提供的在线 Demo，上传自己的图片进行试玩。其中 Huggingface 的产品设计总监 Victor 更是第一时间就进行了尝试，他随意上传了一张图片给 3DTopia-XL，模型经过处理返回给他了一个高质量的三维模型，同时还是带材质的那种！他也将试玩录屏上传到 X 上分享给广大网友：

小编也尝试了一下在线 demo，比如输入一张橘子做的小象的创意图片，生成的三维物体几何质量很高，同时右下角的交互视窗能够支持更换不同环境光照图来渲染输出的 GLB 格式资产：

技术概览

通过深扒技术报告，小编发现 3DTopia-XL 的核心技术是一种被称为 PrimX 的全新三维表征，弥补了三维数据没有高效张量化表征的空白，从而实现对最具可扩展性的扩散模型框架 DiT 的支持。

具体而言，3DTopia-XL 采用的是一种创新的三维扩散大模型直出技术，可实现超写实工业级三维资产的秒级生成。3DTopia-XL 采用 PrimX 作为一种符号距离场的高效几何表征方式，将三维物体表征为若干个 Primitive 的集合。每个 Primitive 仅在形状边界邻域内对局部几何、纹理和材质进行联合建模，从而将一个三维资产的所有信息（几何、纹理、材质）表示为若干个固定长度的 token，完成了三维数据的高质量结构化。

这样的方法不仅大幅减少了表示三维物体所需的参数量，提高了参数利用效率，而且还便于 DiT 基模型的规模扩展。

在基模型层面，为了实现高质量的三维生成能力，3DTopia-XL 提出了一个包含 10 亿参数且计算高效的三维扩散模型。其中 PrimX 作为将三维物体高效地转化为基于符号距离场的表达，会进一步通过变分自编码器对每个体积基元进行压缩编码。通过 DiT 架构的引入，使得模型能够在隐空间中进行大规模可扩展的训练（Latent Primitive Diffusion），从而实现通过单张图像输入生成三维物体的通用能力。

得益于符号距离场的良好性质，3DTopia-XL 生成的三维内容具备光滑的表面、精细的结构以及良好的拓扑，接近手工建模质量。通过 DDIM 采样策略，3DTopia-XL 可以实现 5s 内完成去噪过程。

实验结果

定量对比上，3DTopia-XL 在三维生成标准评测指标超越现有的开源模型，CLIP score 上取得 24.33，超越 ShapE（21.98），也高于 3DTopia 第一版的 22.54，展现出了三维内容创作方面的巨大潜力。

同时，作者从四个维度（整体质量、几何平滑度、输入相关度和渲染正确性）对于图生三维模型输出的数字资产在工业管线中进行了用户评测（如下图所示），3D-Topia-XL 在各维度上均超越了 InstantMesh、LGM、CRM 等基于重建的主流方法。

定性对比上，作者对比了主流的基于重建的方法（标红）以及原生三维扩散模型（标黄），并在对比策略上采用直接将 mesh 导入渲染引擎进行对应环境下的渲染，来验证三维生成模型的实际可用性。如下图所示，得益于 3DTopia-XL 的高质量几何以及材质建模，其展示出的渲染效果和生成质量都超过一系列基线方法。

同时作者还验证了三维生成模型上的尺度定律（Scaling Law），增加训练计算量和增大模型尺寸都会带来生成性能的进一步提升（以 FID 下降为趋势特征）。

得益于 PrimX 表征的通用性，使得模型能够同时编码几何、纹理及材质，完成一站式三维生成引擎可用的数字资产，摆脱了多阶段独立建模的繁琐步骤。我们发现，3DTopia-XL 生成的数字资产可以直接导入 Blender，UE 等图形引擎在任意环境下进行渲染。其高质量 PBR 建模使得生成的数字资产展示出高质量反光效果，实现了与环境的无缝融合。

除了图生三维模型以外，3DTopia-XL 还会在不久的未来提供多模态输入支持，包括文生三维模型和多视角重建模型，为三维内容创作提供了全面的解决方案套装。