「哥伦比亚大学」苹果把NeRF玩出新高度:只需单个10s视频,就能重构人物动作和场景
原文标题:苹果把NeRF玩出新高度:只需单个10s视频,就能重构人物动作和场景
羿阁 发自 凹非寺
量子位 | 公众号 QbitAI
有了这个发明,以后演员拍戏再也不用抠图了?
答:可以直接一键合成。(手动狗头)
让我们赶紧来看看,这个由苹果最新研发的NeuMan框架:
只需输入一段 10s 左右的人物视频,就能合成该人物在新场景下做着各种新动作的影像。
前空翻?so easy!
跳舞那也是不在话下。
这妖娆的舞姿,看来 NeuMan 心里也有一个舞魂~
有网友看完就表示:喔~简直是电影界未来的发展方向。
目前,有关 NeuMan 的研究论文已被 ECCV ’ 22 收录,并且已在 GitHub 上开源。
全新场景渲染
在介绍 NeuMan 的原理之前,让我们再来欣赏几个酷炫的例子~
如下图所示,左上角是输入的训练视频,左下角是新的背景,右边则是合成后小哥在新背景下跳跃的效果。
不仅是跳跃这种常规操作,广播体操也完全没问题。
更厉害的是,NeuMan 还可以将上面例子中的两个人合成到一起。
再加上一个人,立马变成魔性的广场舞视频。
这微笑的小表情,真的很难解释不是本人亲自跳的(手动狗头)。
那么话说回来,这个神奇的 NeuMan 背后的原理是什么呢?
基于 NeRF 的新突破
事实上,自从伯克利和谷歌联合打造的 NeRF(Neural Radiance Fields 神经辐射场)横空出世,各种重建三维场景的研究层出不穷。
NeuMan 原理也是基于此,简单来说,就是用单个视频训练一个人物 NeRF 模型和一个场景 NeRF 模型,然后再合成在一起生成新的场景。
首先,在训练场景 NeRF 模型时,我们先从输入的视频中提取相机姿态、稀疏场景模型和多视角 - 立体深度图。
对于原视频中被人体遮挡的部分,则使用 Mask R-CNN 进行图像实体分割,将人体掩模膨胀 4 倍,以确保人体被完全遮蔽。此时,就能做到仅在背景上训练场景 NeRF 模型。
至于人体 NeRF 模型训练,研究人员引入了一种端到端的 SMPL 优化(end-to-end SMPL optimization)和纠错神经网络(error-correction network)。
SMPL(Skinned Multi-Person Linear Model)是一种基于顶点的人体三维模型,能够精确地表示人体的不同形状和姿态。
如下图所示,使用端到端的 SMPL 优化的人体模型,能够更好地表现人体的典型体积。
纠错神经网络则是用来弥补 SMPL 模型无法表达的细节。值得一提的是,它只在训练过程中使用,在进行全新场景渲染时会被放弃,以免造成过度拟合。
接下来,在两个模型对齐的阶段,研究人员先使用 COLMAP 解决任意尺度下的对齐问题。然后通过假设人类始终与地面有至少一个接触点,来进一步估计该场景的比例。
最后,再应用 SMPL 网格和场景的点云叠加,就形成了新图像的渲染效果。
最终成品显示,该场景 NeRF 模型方面模型能够有效地去除场景中的人类,并在有限的场景覆盖下生成高质量的新背景渲染图像。
人物 NeRF 模型方面也能很好的捕捉人体的细节,包括袖子、衣领甚至衣服拉链,甚至在渲染新动作时,能执行难度极大的侧翻动作。
值得一提的是,不同于现行的其他 NeRF 模型对训练视频要求很高,比如需要多个机位拍摄、曝光要保持不变、背景要干净等等,NeuMan 的最大亮点是仅通过用户随意上传的单个视频就能达到同款效果。
并且,在分别输入六组不同的视频后,数据显示,与此前方法相比,NeuMan 的方法生成的视频渲染质量最佳。
不过,研究团队也承认,NeuMan 的设计目前还存在一些缺陷。
例如,由于人在活动时手势的变化细微又多变,因此生成视频中对手部细节的把握还不是很准确。
另外,在 NeRF 模型渲染时,由于系统假设人类始终与地面有至少一个接触点,因此 NeuMan 不能适用于人与地面接触为零的视频,比如人做后空翻的视频。
要想解决这个问题,需要更智能的几何推理知识,这也是未来研究的一个发展方向。
研究团队
这项研究由苹果机器学习研究中心和英属哥伦比亚大学合作完成。
第一作者 Wei Jiang,是英属哥伦比亚大学计算机科学专业的一名四年级博士生,目前在苹果机器学习研究中心实习。
主要研究方向是新视角合成、视觉定位和三维视觉。
他还是英属哥伦比亚大学计算机视觉实验室的一员,导师是 Kwang Moo Yi 教授。
硕士毕业于波士顿大学计算机科学专业,本科毕业于浙江工业大学软件工程专业。
参考链接:
[ 1 ] https://twitter.com/anuragranj/status/1559606408789708800
[ 2 ] https://arxiv.org/abs/2203.12575
[ 3 ] https://machinelearning.apple.com/research/neural-human-radiance-field
[ 4 ] https://github.com/apple/ml-neuman
[ 5 ] https://jiangwei221.github.io/
— 完 —
「人工智能」、「智能汽车」微信社群邀你加入!
欢迎关注人工智能、智能汽车的小伙伴们加入我们,与 AI 从业者交流、切磋,不错过最新行业发展 & 技术进展。
ps. 加好友请务必备注您的姓名 - 公司 - 职位哦 ~
点这里关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
其他人还看了
BACKTIME暖腰贴效果好吗(BACKTIME暖腰贴怎么样)
郑重声明:本文“「哥伦比亚大学」苹果把NeRF玩出新高度:只需单个10s视频,就能重构人物动作和场景”,https://nmgjrty.com/shumacp_574200.html内容,由量子位提供发布,请自行判断内容优劣。
- 全部评论(0)
- 大香煮伊区一二三四区2021维护成功,可以无限制进出了!
- 大香煮伊区一二三四区2021不再收费了!网友:终于可以免费看了
- 大香煮伊区一二三四区2021不再收费!网友:可以白嫖了
- 一卡二卡3卡4卡视频免费播放重新开放了!网友:久违了
- 一卡二卡3卡4卡视频免费播放出入无限制!网友:平台都这样才好!
- 一卡二卡3卡4卡视频免费播放人气暴涨!网友:毕竟来了很多大主播!
- 欧美xbox和ps大片重新开放了!网友:久违了
- 欧美xbox和ps大片人气暴涨原因,无限制出入是关键!
- 欧美xbox和ps大片免费播放!网友:已经来了不少
- 成品网站w灬源码1688直播身材好!网友:比明星还赞!
- 成品网站w灬源码1688直播更新引热议!上线了多种新功能!
- 成品网站w灬源码1688直播适合晚上看!粉丝:我们懂!
- XXXXXL19waswas重新开放,并且免费使用!
- XXXXXL19waswas不再收费了!网友:终于可以免费看了
- XXXXXL19waswas不再收费!网友:付费内容都取消了
- Japonensisjavacomplete重新开放!网友:爷青回!
最新更新
- 大香煮伊区一二三四区2021维护成功,可以
- 大香煮伊区一二三四区2021不再收费了!网
- 大香煮伊区一二三四区2021不再收费!网友
- 一卡二卡3卡4卡视频免费播放重新开放了
- 一卡二卡3卡4卡视频免费播放出入无限制
- 一卡二卡3卡4卡视频免费播放人气暴涨!
- 欧美xbox和ps大片重新开放了!网友:久违
- 欧美xbox和ps大片人气暴涨原因,无限制出
- 欧美xbox和ps大片免费播放!网友:已经来
- 成品网站w灬源码1688直播身材好!网友:
- 成品网站w灬源码1688直播更新引热议!上
- 成品网站w灬源码1688直播适合晚上看!粉
- XXXXXL19waswas重新开放,并且免费使用!
- XXXXXL19waswas不再收费了!网友:终于可以
- XXXXXL19waswas不再收费!网友:付费内容都
推荐阅读
- 「生物」我们应该寻找什么样的外星生命,高等的还是低等的?
- 「空间望远镜」韦布空间望远镜捕捉到布满恒星的创生之柱
- 「行者」从《双城之战》到《边缘行者》,游改动画迎来盛世?
- 「国际象棋」智能肛珠作弊案反转:19岁小将告世界冠军诽谤索赔7亿
- 「英伟达」不止是游戏党,他们才是被英伟达坑怕的人。
- 「索尼」索尼官宣!猜猜A7R5多钱?R2要价1.9万、R3要价2.4万、R4要价2.7万……
- 「癌症」一种癌症转移的关键因素
- 「智能手表」面世八年后,谷歌的智能手表生态终于迎来开放曙光
- 「adobe」用VR手捏3D模型,PS直接与甲方对线,Adobe新技术确实给设计师炫到了
- 「amd」RTX40的对手来了!AMDRDNA3显卡发布会官宣
- 「奥斯汀」苹果M3准备登场,库克展示奥斯汀AppleSilicon工程团队努力成果
- 「马修」Copilot要摊官司了!工作20年老程序员重新激活律师证,发起集体诉讼,
猜你喜欢
- [iPhone]iPhone13promax远峰蓝128G入手
- [安卓手机]realme真我GTNeo2开箱,金刚石冰芯散热系统+E4屏,5000mAh大电池
- [贴膜]红米9爆屏更换记录,弯曲的中框修复
- [智能机器人]编程从娃娃抓起,MakeBlock程小奔上手体验
- [智能摄像机]内置大电池,无需打孔走线,小米室外摄像机给你满满的安全感
- [充电器]65w网红氮化镓一次看个够
- [电脑支架]原汤化原食,LGErgo显示器支架
- [蓝牙耳机]中端耳机音质天花板,降噪很有一手,鹿图COCO真蓝牙降噪耳机评测
- [音频播放器]关于R01主板的主观看法,和一些碎碎念
- [充电器]双口快充,满足日常需求
- [VR设备]GOOVISLite头戴影院评测
- [蓝牙耳机]魅蓝Blus耳机体验,魅蓝依旧还是当年坚持做良品的青年良品
- [安卓手机]从5988跌至2749,256GB+鸿蒙OS+7nm麒麟,从高端市场跌至中端市场
- 「轻众测|素诺智能可视冲牙器」别急,对准再冲!素诺可视冲牙器让残渣无所
- 「九号新品Nano及Air T15」萌娃初体验——Ninebot九号平衡车Nano