近日，小视科技联合南京理工大学发表的新论文“3D3M: 3D Modulated Morphable Model for Monocular Face Reconstruction” 被国际顶级期刊IEEE Transactions on Multimedia (TMM)录用。

TMM期刊由IEEE计算机协会主办，是全球范围内计算机图像视频处理领域的权威期刊，属于SCI一区期刊。

该论文针对单目3D人脸重建设计了一种可调制3D形变模型（3D3M）。该模型能够基于单张图像，实现更具细节特征、更为逼真细腻的3D人脸重建效果。

值得一提的是，这让我们在人脸重建技术上寻找到了新的创新灵感。在未来，该项技术成果也可广泛应用于虚拟化妆、面部特效、人脸风格化等领域。

问题的提出

3D人脸重建的目标，是从图像中提取出人脸的身份、表情、纹理、光照、姿态等信息，并重建出人脸的形状及材质。

作为多媒体应用中的一项重要技术，从单张图像进行3D人脸重建颇具挑战性，其难度在于深度信息缺失所导致的重建歧义。

目前，大多数现有方法依赖于传统方法拟合的标注或强先验信息。相比之下，我们提出了一种新颖的可调制3D形变模型（3D3M），以自监督的方式从单目图像中学习密集的形状对应关系。

技术方案

模型整体框架分为sparse shape correspondence 和dense shape correspondence两部分。

第一部分中我们采用循环一致性约束重建图像和输入图像的稀疏关键点、像素。

在第二部分中，给定一批输入人脸图像，3D3M会对其面部属性（id、表情、纹理、光照等）进行编码，然后随机重组特征以生成新的人脸图像。重组特征采用可微渲染器进行渲染，这使得我们能够利用密集的形状对应关系和重建像素一致性进行自监督地学习。

两个部分能够端到端地进行训练。定量和定性实验结果都证明了3D3M能从单目图像构建逼真的高质量3D人脸重建效果，在3D人脸重建和人脸对齐任务中优于现有技术。

效果对比

我们在MICC Florence 、BU-3DFE和AFLW2000-3D数据集上对比了现有最好模型，3D3M模型精度均达到了SOTA水平。

从重建效果上来看，3D3M模型能够提供精准的形状、贴合的纹理和细腻的表情，对侧脸和遮挡有较好的鲁棒性。

结语与展望

作为多媒体应用的重要基础能力，3D人脸重建展现出巨大的应用潜力。相比传统的稀疏关键点，对于人脸的精细建模能够提供前所未有的丰富细节。此外，随着短视频、视频电话的普及，移动端基础算法的重要性逐渐凸显。

在该论文提出的算法理论基础上，小视AI研究院结合知识蒸馏等策略打造轻量级人脸重建模型，能在同等精度下实现移动端实时重建，提供超过3万个超精准密集关键点，满足各类视频特效的需求。

随着AR、VR、元宇宙等相关应用日趋广泛，3D视觉成为人工智能领域的前沿热门研究方向，其中蕴藏着巨大的商业价值，使用前景亦十分可观。凭借已有的技术积累，小视AI研究院未来也将在大规模场景、通用3D物体重建等研究领域持续探索。