腾讯开源最强3D生成模型消费级显卡就能跑 CVPR

  腾讯开源最强3D生成模型混元3D 2.1，主打几何与纹理双重优化，训练代码、模型权重、数据处理流程全部开源。

  2.与前一代2.0相比，混元3D 2.1在纹理贴面上有较大优化，可达到当前开源3D模型中的SOTA。

  3.除此之外，混元3D 2.1支持消费级显卡，适配主流渲染引擎，如Unreal Engine、Unity。

  4.在用户盲测中，混元3D 2.1的PBR纹理相较于RGB贴图，质感胜出率高达78%。

  5.本周日（6月15日）中午11点，腾讯混元将举办“玩转混元3D 2.1”直播，感兴趣的可到腾讯混元视频号观看。

  比如这个金属质地的葡萄型摆件，2.1和之前2.0的质感和光泽对比非常明显：

  并且混元3D 2.1的训练代码、模型权重、数据处理流程全部开源，支持一键部署，开发者还可以自主精调。

  据腾讯介绍，这是首个全链路开源的工业级3D生成大模型，并且达到了闭源级水平，同时还可适配消费级显卡。

  几何决定了建立出的模型在形状上的精度，纹理则还原模型表面的颜色、光泽和细节表现。

  混元3D 2.1 可生成基础颜色、金属度、粗糙度等指标各不相同的贴图，同时还支持皮革、木质、金属、陶瓷等多种复杂材质的高质量渲染。

  比如这组青花瓷制成的小船，能够正常的看到右侧2.1版本生成的结果光泽更好，底座的纹路也更加细腻，釉面上的青花图案分布也更为合理。

  对于同样的物体，搭配不同的材质就能呈现出不一样的效果，比如下面的金属老虎和玉雕老虎，都栩栩如生。

  还可以在同一个模型中呈现不同的质感，比如这组“吹号角的僧人”当中，不但可以看到人脸上的皱纹更加清晰，还能看到号角的金属感更强。

  衣服没有了过度的反光，衣襟的图案也更清晰，甚至手中杯里的水看上去也更加自然了。

  技术层面，在混元3D 2.0的基础上，混元3D 2.1模型进一步强化了“几何-纹理解耦”架构。

  基于DiT几何架构，混元3D 2.1优化了细节建模，使网格精度更高，具备更好的形状一致性，以便更好进行后续的纹理映。

  同时，混元在3D开源模型中引入PBR（基于物理的渲染）纹理生成技术。相较传统RGB贴图技术，PBR通过模拟光线与材质的物理交互，提升模型在不同光照环境下的视觉一致性。

  相比于TexGen等其他模型，以及混元3D之前的2.0版本，新版混元3D模型的材质还原能力均达到了最佳水平。

  在用户盲测中，混元3D 2.1的PBR纹理相较于RGB贴图，质感胜出率高达78%。

  另外，PBR材质的标准化特性也使其兼容主流渲染引擎（如Unreal Engine、Unity），更容易在其他平台中复用。

  混元3D 2.1提供了模型权重、训练代码和数据处理流程的全链路开源，开发的人能自由微调、二次训练或优化。

  配置方面，混元3D 2.1适配于消费级显卡，并提供了详细部署和使用教程，开发的人能轻松上手。

  2024年11月，腾讯混元发布并开源了首代3D生成模型以来，今年1月，混元3D 2.0在文本一致性与几何精度上超越了主流模型。

  开源以来，混元3D模型在Hugging Face平台下载量已超过180万，受到了全球开发者的认可。

  现在的2.1版本，逐步提升了3D模型的质感，让AI生成的3D模型离“真实”又近了一步。

  混元3D 2.1的全面开源是一个新起点，期待与全球开发者、创作者及研究者携手，共同打造更加繁荣的3D开源生态。

  另外，本周日（6月15日）中午11点还将有一场题为“玩转混元3D 2.1”的直播，感兴趣的话可以到腾讯混元视频号观看~