「ai」一句话生成3D模型,但只需2D数据训练
原文标题:一句话生成3D模型,但只需2D数据训练
用 2D 数据训练出来的模型,也能生成 3D 图像了。
输入简单的文本提示,就能生成 3D 模型,这个 "AI 画师 " 的技术如何?
直接看效果。
它生成的 3D 模型还具有密度、颜色。
并且能够在不同的光照条件进行渲染。
不仅如此,它甚至可以把生成的多个 3D 模型融合到一个场景里。
更重要的是,生成的 3D 模型还可以导出到网格中,用建模软件进一步加工。
这简直就是高阶版的 NeRF,而这个 AI 画师呢,名叫 DreamFusion,是 Google Research 的一个最新成果。
DreamFusion 名字是不是听起来有点耳熟?
没错,DreamFields!前不久,。
而这次的 DreamFusion 正是在 DreamFields 的基础上进化而来的。
那从 DreamFields 到 DreamFusion,都有哪些变化,让 DreamFusion 有如此巨大的飞跃?
扩散模型是关键
一句话来讲,DreamFusion 与 DreamFields 之间最大的不同就是计算损失的方法不同。
在最新的 DreamFusion 中,它用了一个新的损失计算方法来代替 CLIP:通过文本到图像的Imagen 扩散模型来计算损失。
扩散模型大家今年应该都很熟悉了吧,DreamFusion 由数十亿图像 - 文本对的扩散模型驱动,相当于一个由扩散模型优化之后的 NeRF,想不厉害都难。
不过要把扩散模型直接用来进行 3D 合成需要大规模的标记 3D 数据集和有效的 3D 数据去噪架构,但目前这两个都还没有,只能另谋出路。
因此在这项工作中,研究人员巧妙地避开这些限制,使用一个预先训练的二维文本到图像扩散模型来执行文本到三维合成。
具体来说,就是用 Imagen 扩散模型来计算生成 3D 图像过程中的损失,对 3D 模型进行优化,那损失是如何计算呢?
这其中有很关键的一环,研究人员引入一个新的图像采样方法:评分蒸馏采样(SDS),它在参数空间而不是像素空间中进行采样。
因为参数的限制,这种方法能够很好的控制生成图像的质量走向(下图右)。
而这里,就是用评分蒸馏采样来表示生成过程中的损失,通过不断优化最小化这种损失,从而输出质量良好的 3D 模型。
值得一提的是,DreamFusion 在生成图像的过程中,里面的参数会经过优化,成为扩散模型的一个训练样本,经过扩散模型训练之后的参数具备多尺度特性,更利于后续的图像生成。
除此之外,扩散模型带来的还有很重要的一点是:不需要反向传播,这是因为扩散模型能够直接预测更新的方向。
网友讨论
这波研究成果属实是惊呆网友了,前脚 Meta 刚发布 text-video,后脚谷歌这边就发布了 text-3D 的模型。
(还是用 2D 扩散模型输出 3D 图像)
甚至有网友发问:
下一版本的高分辨率 3D 成果什么时候会出来?两年吗?
论文的一作直接在下方调侃地评论道:
两周?
当然这个 AI 技术成果也免不了激起那个老生常谈的话题——会不会取代人类。
不过大多数人还是抱着很乐观的心态:
作为一个 3D 建模师 / 设计师,未来(AI)用于模型设计辅助的潜力也是难以置信的。
(小彩蛋)有网友挖出了 DreamFusion 的一些有趣的失败案例:
比如说生成的这只松鼠,在它的帽衫后面又多出了一只眼睛(也怪吓人的)。
团队介绍
研究团队中有三位均来自 Google Research,分别为论文的一作 Ben Poole,Jon Barron 和 Ben Mildenhall,还有一位加州大学伯克利分校的博士生。
Google Research 是 Google 公司内部进行各种最先进技术研究的部门,他们也有自己的开源项目,在 GitHub 公开。
他们的口号是:我们的团队渴望做出影响每个人的发现,我们的方法的核心是分享我们的研究和工具,以推动该领域的进展。
一作 Ben Poole 是斯坦福大学神经学博士,也是谷歌大脑的研究员,目前他的研究重点是使用生成模型改进无监督和半监督学习的算法。
参考链接:
[ 1 ] https://dreamfusion3d.github.io/index.html
[ 2 ] https://twitter.com/poolio/status/1575618598805983234
其他人还看了
双11无需纠结!看完这篇攻略,直接入手云米AI全域风空调SpaceE
新房装修选空调入手云米AI全域风空调Space-可爱的春雷王
AISR爱至电动牙刷值得购买吗(AISR爱至电动牙刷质量好吗)
郑重声明:本文“「ai」一句话生成3D模型,但只需2D数据训练”,https://nmgjrty.com/shumacp_621534.html内容,由量子位提供发布,请自行判断内容优劣。
- 全部评论(0)
- 大香煮伊区一二三四区2021维护成功,可以无限制进出了!
- 大香煮伊区一二三四区2021不再收费了!网友:终于可以免费看了
- 大香煮伊区一二三四区2021不再收费!网友:可以白嫖了
- 一卡二卡3卡4卡视频免费播放重新开放了!网友:久违了
- 一卡二卡3卡4卡视频免费播放出入无限制!网友:平台都这样才好!
- 一卡二卡3卡4卡视频免费播放人气暴涨!网友:毕竟来了很多大主播!
- 欧美xbox和ps大片重新开放了!网友:久违了
- 欧美xbox和ps大片人气暴涨原因,无限制出入是关键!
- 欧美xbox和ps大片免费播放!网友:已经来了不少
- 成品网站w灬源码1688直播身材好!网友:比明星还赞!
- 成品网站w灬源码1688直播更新引热议!上线了多种新功能!
- 成品网站w灬源码1688直播适合晚上看!粉丝:我们懂!
- XXXXXL19waswas重新开放,并且免费使用!
- XXXXXL19waswas不再收费了!网友:终于可以免费看了
- XXXXXL19waswas不再收费!网友:付费内容都取消了
- Japonensisjavacomplete重新开放!网友:爷青回!
最新更新
- 大香煮伊区一二三四区2021维护成功,可以
- 大香煮伊区一二三四区2021不再收费了!网
- 大香煮伊区一二三四区2021不再收费!网友
- 一卡二卡3卡4卡视频免费播放重新开放了
- 一卡二卡3卡4卡视频免费播放出入无限制
- 一卡二卡3卡4卡视频免费播放人气暴涨!
- 欧美xbox和ps大片重新开放了!网友:久违
- 欧美xbox和ps大片人气暴涨原因,无限制出
- 欧美xbox和ps大片免费播放!网友:已经来
- 成品网站w灬源码1688直播身材好!网友:
- 成品网站w灬源码1688直播更新引热议!上
- 成品网站w灬源码1688直播适合晚上看!粉
- XXXXXL19waswas重新开放,并且免费使用!
- XXXXXL19waswas不再收费了!网友:终于可以
- XXXXXL19waswas不再收费!网友:付费内容都
推荐阅读
- 「生物」我们应该寻找什么样的外星生命,高等的还是低等的?
- 「空间望远镜」韦布空间望远镜捕捉到布满恒星的创生之柱
- 「行者」从《双城之战》到《边缘行者》,游改动画迎来盛世?
- 「国际象棋」智能肛珠作弊案反转:19岁小将告世界冠军诽谤索赔7亿
- 「英伟达」不止是游戏党,他们才是被英伟达坑怕的人。
- 「索尼」索尼官宣!猜猜A7R5多钱?R2要价1.9万、R3要价2.4万、R4要价2.7万……
- 「癌症」一种癌症转移的关键因素
- 「智能手表」面世八年后,谷歌的智能手表生态终于迎来开放曙光
- 「adobe」用VR手捏3D模型,PS直接与甲方对线,Adobe新技术确实给设计师炫到了
- 「amd」RTX40的对手来了!AMDRDNA3显卡发布会官宣
- 「奥斯汀」苹果M3准备登场,库克展示奥斯汀AppleSilicon工程团队努力成果
- 「马修」Copilot要摊官司了!工作20年老程序员重新激活律师证,发起集体诉讼,
猜你喜欢
- [iPhone]iPhone13promax远峰蓝128G入手
- [安卓手机]realme真我GTNeo2开箱,金刚石冰芯散热系统+E4屏,5000mAh大电池
- [贴膜]红米9爆屏更换记录,弯曲的中框修复
- [智能机器人]编程从娃娃抓起,MakeBlock程小奔上手体验
- [智能摄像机]内置大电池,无需打孔走线,小米室外摄像机给你满满的安全感
- [充电器]65w网红氮化镓一次看个够
- [电脑支架]原汤化原食,LGErgo显示器支架
- [蓝牙耳机]中端耳机音质天花板,降噪很有一手,鹿图COCO真蓝牙降噪耳机评测
- [音频播放器]关于R01主板的主观看法,和一些碎碎念
- [充电器]双口快充,满足日常需求
- [VR设备]GOOVISLite头戴影院评测
- [蓝牙耳机]魅蓝Blus耳机体验,魅蓝依旧还是当年坚持做良品的青年良品
- [安卓手机]从5988跌至2749,256GB+鸿蒙OS+7nm麒麟,从高端市场跌至中端市场
- 「轻众测|素诺智能可视冲牙器」别急,对准再冲!素诺可视冲牙器让残渣无所
- 「九号新品Nano及Air T15」萌娃初体验——Ninebot九号平衡车Nano