宝塔服务器面板，一键全能部署及管理，送你10850元礼包，点我领取

【新智元导读】最近来自浙江大学 ReLER 实验室的研究人员提出 SIFU 模型，一种侧视图条件隐函数模型用于单张图片 3D 人体重建。模型通过引入人体侧视图作为先验条件，并结合扩散模型进行纹理增强，在几何与纹理重建测试中均达到 SOTA，并且在真实世界中具有多种应用场景。

在 AR、VR、3D 打印、场景搭建以及电影制作等多个领域中，高质量的穿着衣服的人体 3D 模型非常重要。

传统的方法创建这些模型不仅需要大量时间，还需要能够捕捉多视角照片的专业设备，此外还依赖于技术熟练的专业人员。

与此相反，在日常生活中，我们最常见的是通过手机相机拍摄的或在各种网页上找到的人像照片。

因此，一种能从单张图像准确重建 3D 人体模型的方法可以显著降低成本，并简化独立创作的过程。

以往的深度学习模型用于 3D 人体重建，往往需要经过三个步骤：从图像中提取 2D 特征，将 2D 特征转到 3D 空间，以及 3D 特征用于人体重建。

然而这些方法在 2D 特征转换到 3D 空间的阶段，往往忽略了人体先验的引入，导致特征的提取不够充分，最终重建结果上会出现各种缺陷。

此外，在对纹理预测的阶段，以往模型仅仅依靠训练集中学得的知识，缺少真实世界的先验知识，也往往导致不可见区域的纹理预测较差。

对此，来自浙江大学 ReLER 实验室的研究人员提出 SIFU 模型，依靠侧视图条件隐函数从单张图片重建 3D 人体模型。

• 论文地址：https://arxiv.org/ abs / 2312.06704

• 项目地址：https://github.com/ River-Zhang / SIFU

该模型通过在 2D 特征转换到 3D 空间引入人体侧视图作为先验条件，增强几何重建效果。并在纹理优化阶段引入预训练的扩散模型，来解决不可见区域纹理较差的问题。

模型结构

模型 pipeline 如下：

该模型运行可分为两个阶段，第一阶段借助侧隐式函数重建人体的几何（mesh）与粗糙的纹理（coarse texture），第二阶段则借助预训练的扩散模型对纹理进行精细化。

在第一阶段中，作者设计了一种独特的 Side-view Decoupling Transformer，通过 global encoder 提取 2D 特征后，在 decoder 中引入了人体先验模型 SMPL-X 的侧视图作为 query，从而在图像 2D 特征中解耦出人体不同方向的 3D 特征（前后左右），最后用于重建。

该方法成功的在 2D 特征转换到 3D 空间时结合人体先验知识，从而使得模型有更好的重建效果。

在第二阶段，作者提出一种 3D 一致性纹理优化流程（3D Consistent Texture Refinement），首先将人体不可见的区域（侧面、背面）可微渲染成视角连续的图片集，再借助在海量数据中学习到先验知识的扩散模型，对粗糙纹理图片进行一致性编辑，得到更精细的结果。最后通过精细化前后的图片计算损失来优化 3D 模型的纹理贴图。

实验部分

更高的重建精度

在实验部分，作者使用全面多样化的测试集对他们的模型进行测试，包括 CAPE-NFP、CAPE-FP 和 THuman2.0，并与以往发表在各大顶会的单张图片人体重建 SOTA 模型进行比较。经定量测试，SIFU 模型在几何重建与纹理重建中均表现出了最好的效果。

定量评估几何重建精度

定量评估纹理重建效果

使用互联网中公开图片作为输入进行定性效果展示

更强的鲁棒性

以往的模型应用训练集以外的数据时，由于估计的人体先验模型 SMPL / SMPL-X 不够准确，往往导致重建结果与输入图片相差甚远，难以投入实际应用。

对此，作者专门对模型的鲁棒性进行了测试，通过在 ground truth 先验模型参数中加入扰动使其位姿发生偏移，模拟真实场景中 SMPL-X 估计不准确的情况，来评估模型重建的精度。结果表明 SIFU 模型在该情况下，依然具有最好的重建精度。

评估模型面对有误差的人体先验模型时的鲁棒性

使用真实世界中的图片，在先验人体模型估计不准确的情况下，SIFU 依然有较好的重建效果

更广阔的应用场景

SIFU 模型的高精度高质量重建效果，使得其具有丰富的应用场景，包括 3D 打印、场景搭建、纹理编辑等。

3D 打印 SIFU 重建的人体模型

SIFU 借助扩散模型进行纹理编辑

SIFU 用于 3D 场景搭建

更多定性测试结果（测试输入图片均来自互联网）

借助公开动作序列数据，可对 SIFU 重建的模型进行驱动

总结

本文提出侧视图条件隐式函数和 3D 一致性纹理编辑方法，弥补了以往工作在 2D 特征转换到 3D 空间、纹理预测时对先验知识引入的不足，极大地提高了单张图片人体重建的精度和效果，使模型在真实世界应用中具有显著的优势，也为该领域未来的研究提供了新的思路。

参考资料：

• https://arxiv.org/abs/2312.06704

本文来自微信公众号：新智元 （ID：AI_era）