「gpu」给1万帧视频做目标分割,显存占用还不到1.4GB,代码已开源
原文标题:给1万帧视频做目标分割,显存占用还不到1.4GB,代码已开源
咦,怎么好好的藤原千花,突然变成了 " 高温红色版 "?
这大紫手,难道是灭霸在世??
如果你以为上面的这些效果只是对物体后期上色了,那还真是被 AI 给骗到了。
这些奇怪的颜色,其实是对视频对象分割的表示。
但 u1s1,这效果还真是让人一时间分辨不出。
无论是萌妹子飞舞的发丝:
还是发生形状改变的毛巾、物体之间来回遮挡:
AI 对目标的分割都称得上是严丝合缝,仿佛是把颜色 " 焊 " 了上去。
不只是高精度分割目标,这种方法还能处理超过10000 帧的视频。
而且分割效果始终保持在同一水平,视频后半段依旧丝滑精细。
更意外的是,这种方法对 GPU 要求不高。
研究人员表示实验过程中,该方法消耗的 GPU 内存从来没超过1.4GB。
要知道,当下基于注意力机制的同类方法,甚至都不能在普通消费级显卡上处理超过 1 分钟的视频。
这就是伊利诺伊大学厄巴纳 - 香槟分校学者最新提出的一种长视频目标分割方法XMem。
目前已被 ECCV 2022 接收,代码也已开源。
如此丝滑的效果,还在 Reddit 上吸引不少网友围观,热度达到 800+。
网友都在打趣说:
为什么要把你的手涂成紫色?
谁知道灭霸是不是有计算机视觉方面的爱好呢?
模仿人类记忆法
目前已有的视频对象分割方法非常多,但是它们要么处理速度比较慢,要么对 GPU 要求高,要么精度不够高。
而本文提出的方法,可以说是兼顾了以上三方面。
不仅能对长视频快速进行对象分割,画面帧数可达到 20FPS,同时在普通 GPU 上就能完成。
其特别之处在于,它受人类记忆模式所启发。
1968 年,心理学家阿特金森和希夫林提出多重存储模型(Atkinson-Shiffrin memory model)。
该模型认为,人类记忆可以分为 3 种模式:瞬时记忆、短期记忆和长期记忆。
参考如上模式,研究人员将 AI 框架也划分出 3 种内存方式。分别是:
及时更新的瞬时内存
高分辨率工作内存
密集长期记忆内存。
其中,瞬时内存会每帧更新一次,来记录画面中的图像信息。
工作内存从瞬时内存中收集画面信息,更新频率为每 r 帧一次。
当工作内存饱和时,它会被压缩转移到长期内存里。
而长期内存也饱和时,会随着时间推移忘记过时的特征;一般来说这会在处理过数千帧后才会饱和。
这样一来,GPU 内存也就不会因为时间推移而不足了。
通常,对视频目标进行分割会给定第一帧的图像和目标对象掩码,然后模型会跟踪相关目标,为后续帧生成相应的掩码。
具体来看,XMem 处理单帧画面的过程如下:
整个 AI 框架由 3 个端到端卷积网络组成。
一个查询编码器(Query encoder)用来追踪提取查询特定图像特征。
一个解码器(Decoder)负责获取内存读取步骤的输出,以生成对象掩码。
一个值编码器(Value encoder)可以将图像和目标的掩码相结合,从而来提取新的内存特征值。
最终值编码器提取到的特征值会添加到工作内存中。
从实验结果来看,该方法在短视频和长视频上,都实现了 SOTA。
在处理长视频时,随着帧数的增加,XMem 的性能也没有下降。
热门阅读:关于采暖系统的功课和一些个人建议<\a>
其他人还看了
双11无需纠结!看完这篇攻略,直接入手云米AI全域风空调SpaceE
新房装修选空调入手云米AI全域风空调Space-可爱的春雷王
AISR爱至电动牙刷值得购买吗(AISR爱至电动牙刷质量好吗)
郑重声明:本文“「gpu」给1万帧视频做目标分割,显存占用还不到1.4GB,代码已开源”,https://nmgjrty.com/shumacp_479857.html内容,由量子位提供发布,请自行判断内容优劣。
- 全部评论(0)
- 大香煮伊区一二三四区2021维护成功,可以无限制进出了!
- 大香煮伊区一二三四区2021不再收费了!网友:终于可以免费看了
- 大香煮伊区一二三四区2021不再收费!网友:可以白嫖了
- 一卡二卡3卡4卡视频免费播放重新开放了!网友:久违了
- 一卡二卡3卡4卡视频免费播放出入无限制!网友:平台都这样才好!
- 一卡二卡3卡4卡视频免费播放人气暴涨!网友:毕竟来了很多大主播!
- 欧美xbox和ps大片重新开放了!网友:久违了
- 欧美xbox和ps大片人气暴涨原因,无限制出入是关键!
- 欧美xbox和ps大片免费播放!网友:已经来了不少
- 成品网站w灬源码1688直播身材好!网友:比明星还赞!
- 成品网站w灬源码1688直播更新引热议!上线了多种新功能!
- 成品网站w灬源码1688直播适合晚上看!粉丝:我们懂!
- XXXXXL19waswas重新开放,并且免费使用!
- XXXXXL19waswas不再收费了!网友:终于可以免费看了
- XXXXXL19waswas不再收费!网友:付费内容都取消了
- Japonensisjavacomplete重新开放!网友:爷青回!
最新更新
- 大香煮伊区一二三四区2021维护成功,可以
- 大香煮伊区一二三四区2021不再收费了!网
- 大香煮伊区一二三四区2021不再收费!网友
- 一卡二卡3卡4卡视频免费播放重新开放了
- 一卡二卡3卡4卡视频免费播放出入无限制
- 一卡二卡3卡4卡视频免费播放人气暴涨!
- 欧美xbox和ps大片重新开放了!网友:久违
- 欧美xbox和ps大片人气暴涨原因,无限制出
- 欧美xbox和ps大片免费播放!网友:已经来
- 成品网站w灬源码1688直播身材好!网友:
- 成品网站w灬源码1688直播更新引热议!上
- 成品网站w灬源码1688直播适合晚上看!粉
- XXXXXL19waswas重新开放,并且免费使用!
- XXXXXL19waswas不再收费了!网友:终于可以
- XXXXXL19waswas不再收费!网友:付费内容都
推荐阅读
- 「生物」我们应该寻找什么样的外星生命,高等的还是低等的?
- 「空间望远镜」韦布空间望远镜捕捉到布满恒星的创生之柱
- 「行者」从《双城之战》到《边缘行者》,游改动画迎来盛世?
- 「国际象棋」智能肛珠作弊案反转:19岁小将告世界冠军诽谤索赔7亿
- 「英伟达」不止是游戏党,他们才是被英伟达坑怕的人。
- 「索尼」索尼官宣!猜猜A7R5多钱?R2要价1.9万、R3要价2.4万、R4要价2.7万……
- 「癌症」一种癌症转移的关键因素
- 「智能手表」面世八年后,谷歌的智能手表生态终于迎来开放曙光
- 「adobe」用VR手捏3D模型,PS直接与甲方对线,Adobe新技术确实给设计师炫到了
- 「amd」RTX40的对手来了!AMDRDNA3显卡发布会官宣
- 「奥斯汀」苹果M3准备登场,库克展示奥斯汀AppleSilicon工程团队努力成果
- 「马修」Copilot要摊官司了!工作20年老程序员重新激活律师证,发起集体诉讼,
猜你喜欢
- [iPhone]iPhone13promax远峰蓝128G入手
- [安卓手机]realme真我GTNeo2开箱,金刚石冰芯散热系统+E4屏,5000mAh大电池
- [贴膜]红米9爆屏更换记录,弯曲的中框修复
- [智能机器人]编程从娃娃抓起,MakeBlock程小奔上手体验
- [智能摄像机]内置大电池,无需打孔走线,小米室外摄像机给你满满的安全感
- [充电器]65w网红氮化镓一次看个够
- [电脑支架]原汤化原食,LGErgo显示器支架
- [蓝牙耳机]中端耳机音质天花板,降噪很有一手,鹿图COCO真蓝牙降噪耳机评测
- [音频播放器]关于R01主板的主观看法,和一些碎碎念
- [充电器]双口快充,满足日常需求
- [VR设备]GOOVISLite头戴影院评测
- [蓝牙耳机]魅蓝Blus耳机体验,魅蓝依旧还是当年坚持做良品的青年良品
- [安卓手机]从5988跌至2749,256GB+鸿蒙OS+7nm麒麟,从高端市场跌至中端市场
- 「轻众测|素诺智能可视冲牙器」别急,对准再冲!素诺可视冲牙器让残渣无所
- 「九号新品Nano及Air T15」萌娃初体验——Ninebot九号平衡车Nano