「ai」用A4纸当屏幕「播放」宫崎骏动画,随意抖动都毫无破绽
精选评测好文
原文标题:用A4纸当屏幕「播放」宫崎骏动画,随意抖动都毫无破绽
你有什么端菜小妙招吗?怎么晃都不撒的那种!
如果没有的话,不妨看看这个:无论怎么动,盘子和食物都安然无恙。
Emmm ……其实细看的话应该还是能发现,这并不是什么端菜妙招(对不起 ~),这个盘子和热狗也没有被粘起来,而是后期合成的。
这群把 AI 合成图像玩出花来的研究者们,分别来自香港中文大学、浙江大学,和英伟达。
除了 " 空降 " 一盘热狗,他们还把宫崎骏的《龙猫》搬到了一张白纸上,而且任意弯折、移动都不影响播放。
而这张白纸其实并没有经过特殊处理,我们看到的 " 画中画 " 也是 AI 合成的。
不过—— " 众所周知,视频不能 P,所以这是真的!"(手动狗头)
此外,这些人还给哔哩哔哩小电视的眼睛和嘴巴换了个色儿。
现在,相关论文已被图形学顶会SIGGRAPH Asia 2022收录。
下面就来看看他们具体是如何实现这些神操作的。
要弄清楚怎么在纸上放连续动画,不妨先从简单点儿的一张图说起:
如何将抖动纸张上的一幅画换成另一幅画,并且让人基本看不出 P 图痕迹?
第一步是收集各种素材。就拿梵高的《星空》来举例子,首先要在不同的角度、光照条件、抖动情况下拍摄这幅图。
然后就到了关键一步:需要一个 AI 来预测《星空》在各视频画面中的光流,并将其替换成其他的图片。
这里简单说下光流是个什么东西:在计算机视觉中,光流就是个关于物体运动的概念,可表示为连续两帧图像中,代表同一目标的像素点的位移量。
为了达到丝滑逼真的视觉效果,研究者们提出了一个新框架NeuralMarker,来捕捉标志物到参考图像的密集对应关系。
从这个框架名字里的 Neural 就可以看出,它和神经网络有一定关系。
此前,其他 AI 模型大都是通过特征匹配和指定图像来建立稀疏的对应关系。不过这些稀疏的特征标记只能支持平面中的简单变化,而当图片动起来后,这些标记就无法识别了。
比如说,把动态的《星空》变成日本名画《神奈川冲浪里》,就是酱紫的:
这里面,只有 NeuralMarker 成功了,而这个模型成功的关键因素在于它的两个组件和一个标记评估方法:
1、FlyingMarkers 捕捉几何变化
其一,要处理好像素点级别的密集对应关系,运动调节器(motion regressor)就得能够实时捕捉各种几何变化。
研究者以拍摄的素材、一些人为标记,以及合成的参考图像作为数据集,训练出一个叫 FlyingMarkers 的工具。
在 FlyingMarkers 的辅助下,运动调节器就能可以为各种形变编码,从了捕捉到绝大多数几何变化了。
2、SED+SfM 捕捉亮度色彩变化
除了几何变化外,颜色和亮度变化也是至关重要的。
研究者指出,在训练模型的数据集中,连续的动画外观变化并不算大;而最终是要求把一张图换成另一张图,这是外观差异就很明显了。
所以,他们提出了一个对称极距损失 ( Symmetric Epipolar Distance ,SED ) 的概念,并结合运动结构(Structure-from-Motion,SfM)技术,根据相机的拍摄角度来约束密集对应关系的预测。
这样,即使原图是在较暗光线下拍摄的,也可以有不错的生成效果。(虽然还达不到环境光渐变的效果)
3、DVL-Markers 评估
此外,研究人员还提出了一种新的标记对应评估方法:DVL-Markers,用来评估真实拍摄图片中的像素块与模型包含的标记之间的对应关系。
并从几何形变、相机视角,和光照三个方向进行评估。
研究者们测试后发现,有了 DVL-Markers,这个 AI 模型的图像质量评估指标:SSIM(结构相似性)和 PSNR(峰值信噪比)表现都优于同类模型,并且任务成功率达到了 100%。
有了这些工具的加持,NeuralMarker 也可以搞定在纸上播放视频这种事了。
(话说,既然都能在纸上放视频了,那之后投影仪对不准的问题是不是也有望解决了?)
看到这里,大伙儿应该觉得这个 AI 挺溜了吧,不过这还没完——
前文提到的 " 端盘子妙招 ",其实是这群研究者把 NeuralMarker 和 NeRF 结合起来了,直接在二维的图片上加了一个三维物体。
当然,研究人员也坦言,NeuralMarker 还有一些局限性和发展空间,比如图片前面有遮挡物时,这个 AI 就不再这么智能了。
对此,他们表示,将在训练的数据集中随机加入遮挡物,来让这个 AI 变得更聪明。
热门阅读:网易智造扫拖两用机器人<\a>
其他人还看了
「ai」“AI世界”还缺点啥?牛津大学教授MichaelWooldridge:现实世界
容量最高1TB!让笔记本、手机数据飙升起来,aigo双U口高速固态U盘U393解君愁
参观127㎡成品精装房,交房自带硬装效果,关键还这么清新好看
苹果发布AirPods/Pro/Max全新Beta固件,版本号5B5040c
「惠普战66」国庆特别推荐:大一新生该买什么笔记本?农林专业篇
郑重声明:本文“「ai」用A4纸当屏幕「播放」宫崎骏动画,随意抖动都毫无破绽”,https://nmgjrty.com/shumacp_625143.html内容,由量子位提供发布,请自行判断内容优劣。
- 全部评论(0)
- 「ai」用A4纸当屏幕「播放」宫崎骏动画,随意抖动都毫无破绽
- 「三星」8K会是电视市场的止颓救星吗?
- 「汇顶」汇顶科技:成也指纹,败也指纹
- 「ar」2024年元宇宙设备市场存量将从目前的5000万翻一番
- 「兰博基尼」《极品飞车22:不羁》完整车型列表:有143辆车可供收集和定制
- 「三星」三星投产下一代GDDR7显存:带宽速度翻番
- 「华为」华为汽车的靴子何时落地?
- 「磁悬浮」“喊一嗓子”就能让小球悬空?不是魔法,是声音的力量
- 「美团」外卖送iPhone:美团即时零售长板太长,短板太短
- 「洋垃圾」没想到!海洋垃圾带的大部分塑料竟来自······
- 「互联网」英伟达RTX4070显卡外观初曝同为单风扇设计仅双槽厚
- 「元和」最不保值的果机iPhone14Plus免税版开卖:能便宜289元
- 「3d打印」3D打印肉又整活了!可设定肥瘦比例网友:真能吃?
- 「nvidia」RTX4090要用多大功率电源,厂商给出了不一样的建议
- 「电子设备」影像技术新突破?华为新专利可实现多设备同步拍摄
- 「智能手表」太好卖了!苹果位列全球智能手表市场第一:彻底没对手
最新更新
- 「ai」用A4纸当屏幕「播放」宫崎骏动画,
- 「三星」8K会是电视市场的止颓救星吗?
- 「汇顶」汇顶科技:成也指纹,败也指纹
- 「ar」2024年元宇宙设备市场存量将从目前
- 「兰博基尼」《极品飞车22:不羁》完整
- 「三星」三星投产下一代GDDR7显存:带宽
- 「华为」华为汽车的靴子何时落地?
- 「磁悬浮」“喊一嗓子”就能让小球悬空
- 「美团」外卖送iPhone:美团即时零售长板
- 「洋垃圾」没想到!海洋垃圾带的大部分
- 「互联网」英伟达RTX4070显卡外观初曝同为
- 「元和」最不保值的果机iPhone14Plus免税版
- 「3d打印」3D打印肉又整活了!可设定肥瘦
- 「nvidia」RTX4090要用多大功率电源,厂商给
- 「电子设备」影像技术新突破?华为新专
推荐阅读
- 「三星」8K会是电视市场的止颓救星吗?
- 「汇顶」汇顶科技:成也指纹,败也指纹
- 「ar」2024年元宇宙设备市场存量将从目前的5000万翻一番
- 「兰博基尼」《极品飞车22:不羁》完整车型列表:有143辆车可供收集和定制
- 「三星」三星投产下一代GDDR7显存:带宽速度翻番
- 「华为」华为汽车的靴子何时落地?
- 「磁悬浮」“喊一嗓子”就能让小球悬空?不是魔法,是声音的力量
- 「美团」外卖送iPhone:美团即时零售长板太长,短板太短
- 「洋垃圾」没想到!海洋垃圾带的大部分塑料竟来自······
- 「互联网」英伟达RTX4070显卡外观初曝同为单风扇设计仅双槽厚
- 「元和」最不保值的果机iPhone14Plus免税版开卖:能便宜289元
- 「3d打印」3D打印肉又整活了!可设定肥瘦比例网友:真能吃?
猜你喜欢
- [iPhone]iPhone13promax远峰蓝128G入手
- [安卓手机]realme真我GTNeo2开箱,金刚石冰芯散热系统+E4屏,5000mAh大电池
- [贴膜]红米9爆屏更换记录,弯曲的中框修复
- [智能机器人]编程从娃娃抓起,MakeBlock程小奔上手体验
- [智能摄像机]内置大电池,无需打孔走线,小米室外摄像机给你满满的安全感
- [充电器]65w网红氮化镓一次看个够
- [电脑支架]原汤化原食,LGErgo显示器支架
- [蓝牙耳机]中端耳机音质天花板,降噪很有一手,鹿图COCO真蓝牙降噪耳机评测
- [音频播放器]关于R01主板的主观看法,和一些碎碎念
- [充电器]双口快充,满足日常需求
- [VR设备]GOOVISLite头戴影院评测
- [蓝牙耳机]魅蓝Blus耳机体验,魅蓝依旧还是当年坚持做良品的青年良品
- [安卓手机]从5988跌至2749,256GB+鸿蒙OS+7nm麒麟,从高端市场跌至中端市场
- 「轻众测|素诺智能可视冲牙器」别急,对准再冲!素诺可视冲牙器让残渣无所
- 「九号新品Nano及Air T15」萌娃初体验——Ninebot九号平衡车Nano