「vr」从1小时到3.5分钟，Meta新算法一部手机搞定3D人脸数据采集，可用于VR的那种

精选评测好文

原文标题：从1小时到3.5分钟，Meta新算法一部手机搞定3D人脸数据采集，可用于VR的那种

搞定这样的人脸 3D 建模需要几步？

在数据采集的阶段，答案是：一部手机 + 3.5 分钟。

没错，仅凭这 3.5 分钟的数据，就足以生成高保真、可驱动的真实 3D 人脸头像。

这项研究来自 Meta Reality Labs ——就是扎克伯格元宇宙计划里的那个核心部门。论文已经被 SIGGRAPH 2022 接收。

作者提到，这一方法适用于 VR 应用。

也就是说，在 VR 的世界里，以后你可能就不必顶着一张卡通脸登场了。

而是可以方便地与胖友们 " 真身 " 相见。

方法原理

实现这一结果的方法框架如下图所示：

具体而言，分为三个部分。

首先，是要用大型多视角人脸数据集训练一个超网络，这个超网络可以通过神经网络解码器产生专属于个人的头像参数。

数据集中的人脸由多视角捕捉系统采集，包括 255 位不同年龄、性别和种族参与者的面部图像数据。

△左为图像捕获设备；右为采集到的人脸

这个捕获 3D 人脸的巨型装置是 Meta 在 2019 年研发的，其中配备 171 个高分辨率摄像头，每秒能记录 180GB 数据。采集时间在 1 个小时左右。

值得一提的是，在这个超网络中，解码器的基本组成模块是带有 bias map 的卷积上采样层。

这些 bias map 会被用来生成体积单元，进而通过射线追踪来渲染头像。

另外，该解码器结构能够将视线与其他面部活动区分开，这在 VR 应用中意味着能够更直接地利用眼动跟踪系统。

其次，是轻量级人脸表情捕捉。

在这项研究中，采集人脸只需要用到一部带有深度摄像头的智能手机。

实验中，研究人员采用的是 iPhone 12。

采集过程就像这样：

采集到的数据要进行如下处理：

获取每一帧人脸图像中的几何形状和纹理；

对输入的 RGB 图像进行人脸标志检测和人像分割；

对模板网格进行拟合和变形，以匹配检测到的人脸标志物、分割轮廓和深度图；

对每一帧图像的纹理进行解包，而后汇总得到完整的人脸纹理。

在进一步完善模型的过程中，还需要采集 65 种特定的表情：

最后，该方法输出的 3D 人脸头像不仅能与用户外观高度匹配，通过全局表情空间，还能对其进行进一步的驱动、控制。

研究人员表示，整个采集过程大概要花费3.5 分钟。

不过需要说明的是，建模的过程不是实时的，数据处理还要花费数小时的时间。

实验结果

说了这么多，效果如何，我们还是来看实验结果。

与 Pinscreen 提出的 " 一张照片构建 3D 数字化身 "（CVPR 2021）的方法相比，该方法能生成更具真实感的人脸模型。

而与海德堡大学、慕尼黑工业大学、马普所等研究机构在Neural Head Avatars from Monocular RGB Videos一文中提出的方法相比，该方法能生成保真度更高的结果。

不过，作者也指出了该方法的局限性：hold 不太住长发和眼镜，容易产生伪影。另外，该方法对于光照条件也有一定要求。

参考链接：

[ 1 ] 论文：https://drive.google.com/file/d/1i4NJKAggS82wqMamCJ1OHRGgViuyoY6R/view

[ 2 ] Demo：https://www.youtube.com/watch?v=t7_TMD7v0Xs

— 完 —

「量子位 · 视点」直播报名

什么是 " 智能决策 "？智能决策的关键技术是什么？它又将如何打造引领企业二次增长的 " 智能抓手 "？

7 月 7 日周四，参与直播，为你解答～

点这里关注我，记得标星哦～

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~

热门文章：三千元打造后浪618必买清洁好物<\a>

「培训」Vesaro与D-BOX合作提供VR一级方程式赛车模拟体验

IDC：Meta低价推广VR硬件不可持续，大家都在等苹果

「雷蛇」雷蛇收购Interhaptics 或将推出更多体感外设

「专利」字节跳动VR体验机外观专利获得授权

「vr」Pico，是要拯救还是带偏消费级VR?

哎呦不错哦，赞！(414)

打赏 打赏给作者

郑重声明：本文“「vr」从1小时到3.5分钟，Meta新算法一部手机搞定3D人脸数据采集，可用于VR的那种”，https://nmgjrty.com/shumacp_475877.html内容，由量子位提供发布，请自行判断内容优劣。

上一篇：「三星」曝三星ZFold4相机模组设计无变化配5000万像素主摄

下一篇：没有了