「效果」这个CV数据集生成器火了,支持13类复杂CV任务,DeepMind谷歌MIT等打造
精选评测好文
原文标题:这个CV数据集生成器火了,支持13类复杂CV任务,DeepMind谷歌MIT等打造
这年头,AI 玩家们想找到合适的图像数据集,简直是越来越难了。
不仅数据质量参差不齐,合适的数据类型也难找(如光流图、深度图等)。
为了解决这些问题,来自谷歌、MIT、DeepMind、MILA 和剑桥大学等11 家机构的 34 名研究人员,联手打造了一个名叫 Kubric 的数据集生成器,不仅能自己渲染,而且图像效果也非常真实。
不仅各种图像数据都能做,像语义分割、深度图或光流图这种 " 特殊数据 " 都能一键生成:
还能控制渲染的真实度,渲染出的视频可以达到以假乱真的效果:
据作者们表示,目前 Kubric 支持13 类 CV 任务的数据类型生成,效果也不比用已有数据集训练出来的差。
这样的一个数据集生成器,到底要怎么上手?
可生成 13 类 CV 任务所需数据
先来看看这个 Kubric 数据集生成器究竟是个啥。
简单来说,它有点像是一个专为图像 AI 打造的 " 数据车间 ",基于跨平台开源物理引擎PyBullet和 3D 图像渲染软件Blender打造。
其中,PyBullet 给用户提供了一个模拟 3D 物体运动的平台,例如两个球之间的弹性碰撞参数就可以用它来模拟。(当然,除了 PyBullet 以外,也可以扩展到其他物理引擎如 MuJoCo 上)
Blender 则是一个渲染 3D 动画的平台,但它的优势在于操作方便,而且既可以做出照片级逼真的渲染图像,也可以输出 3D 动画效果。(例如有设计师拿它设计服装纹理)
可能这时候你会问,Kubric 相比自己手动渲染视频或图像数据集,方便在哪?
一方面,Kubric 自带一系列预处理的基础图像数据库。
除了 11 个基础 3D 模型以外:
还内置了 Google Scanned Objects(GSO)室内家具物品数据集中的一系列模型,以及包含背景、光照、材料纹理等参数的 Polyhaven 数据集,还有 ShapeNet 数据集等(包含 55 种常见的物品类型及 51300 个 3D 模型)。
也就是说,如果你对渲染不太了解,也能利用内置的数据库快速生成想要的图像。
另一方面,Kubric 直接提供了从 " 渲染数据 " 到输出 "AI 训练数据 " 的管道,省去了将渲染图像转成特殊数据(如深度图、光流图)、或是额外收集如视场、相机参数、光照等数据的麻烦。
这也使得 Kubric 支持生成 13 类 CV 任务所需的图像数据,具体包括光流、NeRF、姿态估计、3D 重建等。
没错,即使这些生成的图像中有 2D 也有 3D 类型,需要的数据量也从 MB 到 TB 级别不等,但 Kubric 都能满足。
嗯,作者们还专门针对各种视觉任务,用 Kubric 生成的数据集一个个试了试,强调 " 用他们生成的数据集效果更好 "。
△Kubric 生成的光流图
那么,这样的数据集生成器究竟要怎么用呢?
自带 Python 接口
作者提供了一些简单的操作流程。
在安装之后,第一步就是创建默认场景:
然后,再通过这两步,分别创建一块地板、和一个球体(也可以换成其他形状):
接下来就是在场景中加一个照明,以及渲染摄像头采集图像:
导出文件后,就能获取一个 3D 球体的图像了:
△Blender 中的效果
如果需要深度图、灰度图等特殊图层的话,也是几行代码就能搞定:
比自己手动导出要更方便一些:
当然,如果还是感觉上手较难,作者也直接提供了示例代码,改改参数就能用:
在原基础上,再加 5 行代码就能直接运行出动态视频版:
看起来,做完数据集后,即使不懂渲染的也能成为半个行家了(doge)
目前新的一批内置数据集还在施工中,感兴趣的小伙伴可以先上手试玩 ~
项目地址:
https://github.com/google-research/kubric
论文地址:
https://arxiv.org/abs/2203.03570
参考链接:
https://twitter.com/taiyasaki/status/1501288630697877504
更多文章:戴森首款一个人的净化冷风扇,比普通无叶风扇更具黑科技BP01开箱报告<\a>
其他人还看了
「东京」PC版《幽灵线:东京》光线追踪实机试玩展示,将于下周五发售
「刘海屏」iPhone14Pro超清概念图曝光:独特挖孔屏、土豪金回归
「nvidia」5nm怪兽级显卡来了NVIDIA暗示GTC大会发布Hopper显卡
郑重声明:本文“「效果」这个CV数据集生成器火了,支持13类复杂CV任务,DeepMind谷歌MIT等打造”,https://nmgjrty.com/shumacp_383025.html内容,由量子位提供发布,请自行判断内容优劣。
- 全部评论(0)
- 「效果」这个CV数据集生成器火了,支持13类复杂CV任务,DeepMind谷歌MIT等打造
- 「刘海」iPhone14Pro真机渲染图曝光:挖孔屏样式变了
- 「芯片」iPhone14Pro/Max参数及售价曝光:苹果开始劝退穷人了
- 「小米」小米12Ultra跑分曝光:2022机皇称号稳了
- 「自动化」要玩转苹果全家桶,你需要这5个配件和技巧
- 「手表」2021中国可穿戴设备占比耳机一骑绝尘手环到顶了?
- 「thinkbook」3月28日上市联想推新款ThinkBook14+/16+笔记本
- 「荣耀」荣耀赵明:骁龙8是青龙偃月刀但要看拿在谁的手里
- 「谷歌」Android13重要新功能公布:应用推送消息需获用户同意
- 「ZAKER」RedmiK50Pro测评:红米的天玑9000能干翻大哥么?
- 「aqara」二合一平板届的性能小钢炮,ROG幻X上手体验
- 「谷歌」谷歌1800万投资烂尾项目,推动个人数据在不同平台迁移
- 「华为」华为推出云游家乡活动,在家看全国热门打卡景点直播
- 「微软」《光环》真人剧将至,所有XGPU用户可获30天的派拉蒙+会员
- 「罗永浩」老罗回应「交个朋友分手」:新项目已建组未起名;苹果承认万元显
- 「ps5」《GT赛车7》停服超30小时:制作人致歉,新版本更新已解决
最新更新
- 「效果」这个CV数据集生成器火了,支持
- 「刘海」iPhone14Pro真机渲染图曝光:挖孔屏
- 「芯片」iPhone14Pro/Max参数及售价曝光:苹
- 「小米」小米12Ultra跑分曝光:2022机皇称
- 「自动化」要玩转苹果全家桶,你需要这
- 「手表」2021中国可穿戴设备占比耳机一骑
- 「thinkbook」3月28日上市联想推新款ThinkB
- 「荣耀」荣耀赵明:骁龙8是青龙偃月刀但
- 「谷歌」Android13重要新功能公布:应用推
- 「ZAKER」RedmiK50Pro测评:红米的天玑9000能
- 「aqara」二合一平板届的性能小钢炮,R
- 「谷歌」谷歌1800万投资烂尾项目,推动个
- 「华为」华为推出云游家乡活动,在家看
- 「微软」《光环》真人剧将至,所有XGP
- 「罗永浩」老罗回应「交个朋友分手」:
推荐阅读
- 「刘海」iPhone14Pro真机渲染图曝光:挖孔屏样式变了
- 「芯片」iPhone14Pro/Max参数及售价曝光:苹果开始劝退穷人了
- 「小米」小米12Ultra跑分曝光:2022机皇称号稳了
- 「自动化」要玩转苹果全家桶,你需要这5个配件和技巧
- 「手表」2021中国可穿戴设备占比耳机一骑绝尘手环到顶了?
- 「thinkbook」3月28日上市联想推新款ThinkBook14+/16+笔记本
- 「荣耀」荣耀赵明:骁龙8是青龙偃月刀但要看拿在谁的手里
- 「谷歌」Android13重要新功能公布:应用推送消息需获用户同意
- 「ZAKER」RedmiK50Pro测评:红米的天玑9000能干翻大哥么?
- 「aqara」二合一平板届的性能小钢炮,ROG幻X上手体验
- 「谷歌」谷歌1800万投资烂尾项目,推动个人数据在不同平台迁移
- 「ZAKER」荣耀MagicV一周体验:2022年的折叠屏,还是花瓶吗?
猜你喜欢
- [iPhone]iPhone13promax远峰蓝128G入手
- [安卓手机]realme真我GTNeo2开箱,金刚石冰芯散热系统+E4屏,5000mAh大电池
- [贴膜]红米9爆屏更换记录,弯曲的中框修复
- [智能机器人]编程从娃娃抓起,MakeBlock程小奔上手体验
- [智能摄像机]内置大电池,无需打孔走线,小米室外摄像机给你满满的安全感
- [充电器]65w网红氮化镓一次看个够
- [电脑支架]原汤化原食,LGErgo显示器支架
- [蓝牙耳机]中端耳机音质天花板,降噪很有一手,鹿图COCO真蓝牙降噪耳机评测
- [音频播放器]关于R01主板的主观看法,和一些碎碎念
- [充电器]双口快充,满足日常需求
- [VR设备]GOOVISLite头戴影院评测
- [蓝牙耳机]魅蓝Blus耳机体验,魅蓝依旧还是当年坚持做良品的青年良品
- [安卓手机]从5988跌至2749,256GB+鸿蒙OS+7nm麒麟,从高端市场跌至中端市场
- 「轻众测|素诺智能可视冲牙器」别急,对准再冲!素诺可视冲牙器让残渣无所
- 「九号新品Nano及Air T15」萌娃初体验——Ninebot九号平衡车Nano