「蒙特利尔大学」草图人像变3D模特,360°无死角还原姿势,一张就行,多“草”都可
精选评测好文
原文标题:草图人像变3D模特,360°无死角还原姿势,一张就行,多“草”都可
一张随便勾画的草图,居然也可以分分钟自动变成逼真的 3D 模型?!
360 ° 无死角不说,转换期间真的不需要任何其它角度姿势的输入。
这就是获得了SIGGRAPH 2022 荣誉奖的一个最新 3D 姿态估计模型:
Sketch2Pose。
除了草图,像这样的小猴子,四肢严重不按比例生长,Sketch2Pose 也可以办到:
这是如何做到的?
只要 4 步,草图人变 3D 人
将草图上的人物 / 形象变成 3D 模型,此前的研究中都还未专门涉及。
该任务最大的挑战就是比例失真问题,因为画上的东西可能头大身子小、胳膊长腿短……
为此,Sketch2Pose 通过对三个关键元素进行预测来消除绘制姿势时的可能出现的 " 歧义 "。
这三个元素分别是:
2D 骨骼切线(2D bone tangents)
自接触区域(self-contacts)
骨骼缩短比例(bone foreshortening)
其中,2D 骨骼切线(下图蓝色部分)是预测 3D 骨骼方向最有力的指标(关节位置不行)。
自接触区域(如下图绿色部分,手接触腰的位置)对于理解 3D 姿势至关重要,也是消除未知身体部位歧义的线索。
骨骼缩短转换系统则利用统计分析来纠正原图中的比例问题。
根据这三者预测,再使用最先进的优化框架(optimization framework),并用专门设计的一种新的损失(loss)来平衡姿势自然度,以及与输入草图的相似性,AI 就能最终推断出符合画者意向的 3D 姿势。
具体步骤如下:
输入一张草图,首先预测出 2D 关节位置或骨架,用于 3D 人体模型的粗略对齐。
然后预测屏幕空间(screen-space)接触区域,将其映射到粗略对齐的 3D 模型上,得到一组接触顶点(红色部分)。
接着,利用缩短转换阶段描述的草图人物比例问题,进行修补。
最后,在优化框架中利用 2D 骨架的骨骼切线、粗略对齐的 3D 姿势以及比例修补,产生最终结果。
有遮挡缺失也 OK
最终的 Sketch2Pose 可以支持多种草图风格的转换,比如下图中的简笔画或者水墨画,像下下图最后一张那样简略的也可以。
同时,对缺失、遮挡部位也能稳健处理。
比如上图第一行中的人手(不过我们发现左边的似乎推测有错,手应该是放在两腿之间;右边的抱头基本没啥问题,但手掌应该向后弯曲)。
再将 Sketch2Pose 和 SOTA 方法进行比较,结果还是令人非常满意的。
可以看到,Sketch2Pose(第三列)对姿势还原的更到位,缺失部分的预测也更符合人体构造。
而开头那只小猴子,M ü ller et al. 2021 等方法的转换效果就是下面这样:
对于猴子 " 扭曲 " 的下肢部分,这些方法都出现了理解偏差—— Sketch2Pose 完胜。
作者介绍
Sketch2Pose 一共有两位作者,都来自加拿大蒙特利尔大学。
一作名叫 Kirill Brodt ( Кирилл Бродт ) ,出生于 1991 年,本硕毕业于新西伯利亚州立大学(数学学位),后在 Yandex 数据分析和计算机科学中心学院学习机器学习,现为蒙特利尔大学的一位博士生。
他的主要研究方向为跟草图有关的计算机视觉转换。
另一位作者名叫 Mikhail Bessmeltsev,是一作的导师,蒙特利尔大学计算机科学与运筹学系的助理教授。
感兴趣的同学可以戳论文原文,或者去 Huggingface 上试试效果。
热门阅读:关爱家中女神,选择莱克魔洁M8轻量级无线吸尘器<\a>
其他人还看了
刚交钥匙的80㎡精装房,买完家具就能入住,效果简洁清新很耐看
126㎡轻奢风格的家,因搭配精致而走红,这效果,实在令人羡慕
精装房终于交钥匙了,不满意直接砸掉重新装修,期待完工后的效果
郑重声明:本文“「蒙特利尔大学」草图人像变3D模特,360°无死角还原姿势,一张就行,多“草”都可”,https://nmgjrty.com/shumacp_587850.html内容,由量子位提供发布,请自行判断内容优劣。
- 全部评论(0)
- 三星GalaxyS22降至3399元,马上冲?还是再等一等?
- 目前3款最值得入手的iPhone,不花冤枉钱,性能强劲
- 上市超2年的华为P40,还能继续用多久?
- MAX+120Hz电竞屏,12+256GB仅售1899元
- 数码好物新一波来袭!
- 进化的巅峰之作,远超竞争对手
- H2与X-H2s没有8K/60p选项,官方作出回应
- iPhone8更换电池指南
- 华为Nova9SE
- “舍不得利润套不住用户”,骁龙870跌至1499元!
- 富士XT4实用的数码配件好物分享,实用主义向
- 双11必看/不同预算iPhone应该怎么选/超详细信息/价格预测/机型对比/购买建议/销
- 华为PocketS及全场景新品发布会
- 单反相机中的佼佼者,索尼
- 华为Mate50E同款芯片,售价仅1259元,5000mAh+5G全网通
- 尼康/NikonDf开箱
最新更新
- 三星GalaxyS22降至3399元,马上冲?还是再等
- 目前3款最值得入手的iPhone,不花冤枉钱,
- 上市超2年的华为P40,还能继续用多久?
- MAX+120Hz电竞屏,12+256GB仅售1899元
- 数码好物新一波来袭!
- 进化的巅峰之作,远超竞争对手
- H2与X-H2s没有8K/60p选项,官方作出回应
- iPhone8更换电池指南
- 华为Nova9SE
- “舍不得利润套不住用户”,骁龙870跌至
- 富士XT4实用的数码配件好物分享,实用主
- 双11必看/不同预算iPhone应该怎么选/超详细
- 华为PocketS及全场景新品发布会
- 单反相机中的佼佼者,索尼
- 华为Mate50E同款芯片,售价仅1259元,5000
推荐阅读
- 「生物」我们应该寻找什么样的外星生命,高等的还是低等的?
- 「空间望远镜」韦布空间望远镜捕捉到布满恒星的创生之柱
- 「行者」从《双城之战》到《边缘行者》,游改动画迎来盛世?
- 「国际象棋」智能肛珠作弊案反转:19岁小将告世界冠军诽谤索赔7亿
- 「英伟达」不止是游戏党,他们才是被英伟达坑怕的人。
- 「索尼」索尼官宣!猜猜A7R5多钱?R2要价1.9万、R3要价2.4万、R4要价2.7万……
- 「癌症」一种癌症转移的关键因素
- 「智能手表」面世八年后,谷歌的智能手表生态终于迎来开放曙光
- 「adobe」用VR手捏3D模型,PS直接与甲方对线,Adobe新技术确实给设计师炫到了
- 「amd」RTX40的对手来了!AMDRDNA3显卡发布会官宣
- 「奥斯汀」苹果M3准备登场,库克展示奥斯汀AppleSilicon工程团队努力成果
- 「马修」Copilot要摊官司了!工作20年老程序员重新激活律师证,发起集体诉讼,
猜你喜欢
- [iPhone]iPhone13promax远峰蓝128G入手
- [安卓手机]realme真我GTNeo2开箱,金刚石冰芯散热系统+E4屏,5000mAh大电池
- [贴膜]红米9爆屏更换记录,弯曲的中框修复
- [智能机器人]编程从娃娃抓起,MakeBlock程小奔上手体验
- [智能摄像机]内置大电池,无需打孔走线,小米室外摄像机给你满满的安全感
- [充电器]65w网红氮化镓一次看个够
- [电脑支架]原汤化原食,LGErgo显示器支架
- [蓝牙耳机]中端耳机音质天花板,降噪很有一手,鹿图COCO真蓝牙降噪耳机评测
- [音频播放器]关于R01主板的主观看法,和一些碎碎念
- [充电器]双口快充,满足日常需求
- [VR设备]GOOVISLite头戴影院评测
- [蓝牙耳机]魅蓝Blus耳机体验,魅蓝依旧还是当年坚持做良品的青年良品
- [安卓手机]从5988跌至2749,256GB+鸿蒙OS+7nm麒麟,从高端市场跌至中端市场
- 「轻众测|素诺智能可视冲牙器」别急,对准再冲!素诺可视冲牙器让残渣无所
- 「九号新品Nano及Air T15」萌娃初体验——Ninebot九号平衡车Nano