「cvpr」5秒手机猫片也能重建猫咪3D模型,Meta提出新算法为变形物体建模
认证:数码产品优质原创作者
本文有763个文字,大小约为4KB,预计阅读时间2分钟
精选评测好文
原文标题:5秒手机猫片也能重建猫咪3D模型,Meta提出新算法为变形物体建模
众所周知,猫是一种液体。
这也给 CVer 带来了极大的烦恼:如何从 2D 视频中准确地对一只猫进行 3D 重建?
在很多情况下,3D 重建模型得到的真是一滩液体。
而最近 Meta 团队提出的BANMo(Builder of Animatable 3D Neural Models),实现了对猫精确的 3D 重建。
这种方法既不需要专门的传感器,也不需要预定义的模板形状,甚至只用你平时给猫咪拍摄的休闲小视频,就可以做 3D 重建。
这篇关于 BANMo 的论文最近被CVPR 2022接收,作者已经将相关代码开源。
原理
从单目视频中重建自由移动的非刚性物体(例如猫),是一项高度约束不足的任务,会面临三大挑战:
如何在规范空间中表示目标模型的 3D 外观和变形;
如何找到规范空间与每帧之间的映射关系;
如何找到图像中视角、光线变化、目标变形之间的 2D 对应关系。
之前像 NRSfM、NeRF 等方法,要么是无法精确重建表面,要么对拍摄视角与物体的刚性有要求。
针对这些问题,BANMo 使用神经混合皮肤,提供了一种限制目标物体变形空间的方法。
BANMo 可以实现高保真 3D 几何重建。与动态 NeRF 方法相比,BANMo 中使用神经混合皮肤可以更好地处理相机参数未知情况下的姿势变化和变形。
总的来说,BANMo 的关键在于合并了三种技术:
(1)利用铰接骨架和混合皮肤的经典可变形形状模型;(2)适合基于梯度优化的神经辐射场 NeRF;(3)在像素和铰接模型之间产生对应关系的规范嵌入。
大致方法如下图所示:
根据可微分的卷渲染框架 ( 3.1 ) 优化一组形状和变形参数,用像素颜色、轮廓、光流和高阶特征描述词来描述视频观测结果。
使用神经混合皮肤模型 ( 3.2 ) 在相机空间和规范空间之间转换 3D 点。
联合优化隐式规范嵌入 ( 3.3 ) ,在视频中注册像素。
从整体架构上来看,BANMo 分为三块:
1、形状和外观模型
这部分用多层感知器(MLP)网络预测颜色、密度等属性,并学习相机视角变换和处理大变形。
2、神经混合皮肤变形模型
这是基于近似关节身体运动的神经混合皮肤模型,将物体的扭曲作为刚体变换的组合,每个变换都是可微和可逆的。
3、规范嵌入像素注册
嵌入对规范空间中 3D 点的语义信息进行编码,在这里作者优化了一个隐式函数,从与 2D DensePose CSE 嵌入相匹配的 3D 规范点生成规范嵌入。
在真实和合成数据集上,BANMo 在重建穿衣服的人类和动物方面表现出强大的性能。
作者简介
这篇第一作者是杨庚山,毕业于西安交通大学,现在在 CMU 攻读博士学位,研究动态结构的 3D 重建算法。
BANMo 这篇论文是他在 Meta 实习期间完成。
从 2019 年至今,他共有 4 篇一作论文被 NeurIPS 接收、4 篇一作论文被 CVPR 接收。
参考链接:
https://banmo-www.github.io
https://github.com/facebookresearch/banmo
热门文章:--青萍空气检测仪<\a>
其他人还看了
「applewatch」深度体验AppleWatchS8,结果watchOS9给了我更大惊喜
消息称富士新款X-T5相机11月2日发布,搭载全新4000万像素传感器
郑重声明:本文“「cvpr」5秒手机猫片也能重建猫咪3D模型,Meta提出新算法为变形物体建模”,https://nmgjrty.com/shumacp_369424.html内容,由量子位提供发布,请自行判断内容优劣。
- 全部评论(0)
- 三星GalaxyS22降至3399元,马上冲?还是再等一等?
- 目前3款最值得入手的iPhone,不花冤枉钱,性能强劲
- 上市超2年的华为P40,还能继续用多久?
- MAX+120Hz电竞屏,12+256GB仅售1899元
- 数码好物新一波来袭!
- 进化的巅峰之作,远超竞争对手
- H2与X-H2s没有8K/60p选项,官方作出回应
- iPhone8更换电池指南
- 华为Nova9SE
- “舍不得利润套不住用户”,骁龙870跌至1499元!
- 富士XT4实用的数码配件好物分享,实用主义向
- 双11必看/不同预算iPhone应该怎么选/超详细信息/价格预测/机型对比/购买建议/销
- 华为PocketS及全场景新品发布会
- 单反相机中的佼佼者,索尼
- 华为Mate50E同款芯片,售价仅1259元,5000mAh+5G全网通
- 尼康/NikonDf开箱
最新更新
- 三星GalaxyS22降至3399元,马上冲?还是再等
- 目前3款最值得入手的iPhone,不花冤枉钱,
- 上市超2年的华为P40,还能继续用多久?
- MAX+120Hz电竞屏,12+256GB仅售1899元
- 数码好物新一波来袭!
- 进化的巅峰之作,远超竞争对手
- H2与X-H2s没有8K/60p选项,官方作出回应
- iPhone8更换电池指南
- 华为Nova9SE
- “舍不得利润套不住用户”,骁龙870跌至
- 富士XT4实用的数码配件好物分享,实用主
- 双11必看/不同预算iPhone应该怎么选/超详细
- 华为PocketS及全场景新品发布会
- 单反相机中的佼佼者,索尼
- 华为Mate50E同款芯片,售价仅1259元,5000
推荐阅读
- 「生物」我们应该寻找什么样的外星生命,高等的还是低等的?
- 「空间望远镜」韦布空间望远镜捕捉到布满恒星的创生之柱
- 「行者」从《双城之战》到《边缘行者》,游改动画迎来盛世?
- 「国际象棋」智能肛珠作弊案反转:19岁小将告世界冠军诽谤索赔7亿
- 「英伟达」不止是游戏党,他们才是被英伟达坑怕的人。
- 「索尼」索尼官宣!猜猜A7R5多钱?R2要价1.9万、R3要价2.4万、R4要价2.7万……
- 「癌症」一种癌症转移的关键因素
- 「智能手表」面世八年后,谷歌的智能手表生态终于迎来开放曙光
- 「adobe」用VR手捏3D模型,PS直接与甲方对线,Adobe新技术确实给设计师炫到了
- 「amd」RTX40的对手来了!AMDRDNA3显卡发布会官宣
- 「奥斯汀」苹果M3准备登场,库克展示奥斯汀AppleSilicon工程团队努力成果
- 「马修」Copilot要摊官司了!工作20年老程序员重新激活律师证,发起集体诉讼,
猜你喜欢
- [iPhone]iPhone13promax远峰蓝128G入手
- [安卓手机]realme真我GTNeo2开箱,金刚石冰芯散热系统+E4屏,5000mAh大电池
- [贴膜]红米9爆屏更换记录,弯曲的中框修复
- [智能机器人]编程从娃娃抓起,MakeBlock程小奔上手体验
- [智能摄像机]内置大电池,无需打孔走线,小米室外摄像机给你满满的安全感
- [充电器]65w网红氮化镓一次看个够
- [电脑支架]原汤化原食,LGErgo显示器支架
- [蓝牙耳机]中端耳机音质天花板,降噪很有一手,鹿图COCO真蓝牙降噪耳机评测
- [音频播放器]关于R01主板的主观看法,和一些碎碎念
- [充电器]双口快充,满足日常需求
- [VR设备]GOOVISLite头戴影院评测
- [蓝牙耳机]魅蓝Blus耳机体验,魅蓝依旧还是当年坚持做良品的青年良品
- [安卓手机]从5988跌至2749,256GB+鸿蒙OS+7nm麒麟,从高端市场跌至中端市场
- 「轻众测|素诺智能可视冲牙器」别急,对准再冲!素诺可视冲牙器让残渣无所
- 「九号新品Nano及Air T15」萌娃初体验——Ninebot九号平衡车Nano