「ai」谷歌AI生成视频两连发:720p高清+长镜头,网友:对短视频行业冲击太大
精选评测好文
原文标题:谷歌AI生成视频两连发:720p高清+长镜头,网友:对短视频行业冲击太大
内容生成 AI 进入视频时代!
Meta 发布「用嘴做视频」仅一周,谷歌 CEO 劈柴哥接连派出两名选手上场竞争。
第一位Imagen Video与 Meta 的 Make-A-Video 相比突出一个高清,能生成 1280*768 分辨率、每秒 24 帧的视频片段。
另一位选手Phenaki,则能根据 200 个词左右的提示语生成2 分钟以上的长镜头,讲述一个完整的故事。
网友看过后表示,这一切进展实在太快了。
也有网友认为,这种技术一旦成熟,会冲击短视频行业。
那么,两个 AI 具体有什么能力和特点,我们分别来看。
Imagen Video:理解艺术风格与 3D 结构
Imagen Video 同样基于最近大火的扩散模型,直接继承自 5 月份的图像生成 SOTA 模型 Imagen。
除了分辨率高以外,还展示出三种特别能力。
首先它能理解并生成不同艺术风格的作品,如 " 水彩画 " 或者 " 像素画 ",或者直接 " 梵高风格 "。
它还能理解物体的 3D 结构,在旋转展示中不会变形。
最后它还继承了 Imagen 准确描绘文字的能力,在此基础上仅靠简单描述产生各种创意动画,
这效果,直接当成一个视频的片头不过分吧?
除了应用效果出色以外,研究人员表示其中用到的一些优化技巧不光对视频生成有效,可以泛化至一般扩散模型。
具体来说,Imagen Video 是一系列模型的集合。
语言模型部分是谷歌自家的T5-XXL,训练好后冻结住文本编码器部分。
与负责从文本特征映射到图像特征的 CLIP 相比,有一个关键不同:
语言模型只负责编码文本特征,把文本到图像转换的工作丢给了后面的视频扩散模型。
基础模型,在生成图像的基础上以自回归方式不断预测下一帧,首先生成一个 48*24、每秒 3 帧的视频。
接下来,一系列空间超分辨率(Spatial Super-Resolution)与时间超分辨率(Temporal Super-Resolution)模型接连对视频做扩展处理。
所有 7 种扩散模型都使用了v-prediction parameterization方法,与传统方法相比在视频场景中可以避免颜色偏移。
这种方法扩展到一般扩散模型,还使样本质量指标的收敛速度更快。
此外还有渐进式蒸馏(Progressive Distillation),将每次迭代所需的采样步骤减半,大大节省显存消耗。
这些优化技巧加起来,终于使生成高清视频成为可能。
Phenaki:人人都能是 " 导演 "
Phenaki 的论文投了 ICLR 2023 会议,在一周前 Meta 发布 Make-a-video 的时候还是匿名双盲评审状态。
如今信息公开,原来研究团队同样来自谷歌。
在公开的信息中,Phenaki 展示了它交互生成视频的能力,可以任意切换视频的整体风格:高清视频 / 卡通,还能够切换任意场景。
还可以向 Phenaki 输入一个初始帧以及一个提示,便能生成一段视频。
这都还是开胃小菜,Phenaki 真正的大招是:讲故事,它能够生成 2 分钟以上的长视频,通过输入长达 200 多个字符的系列提示来得到。
(那有了这个模型,岂不是人人都能当导演了?手动狗头)
从文本提示到视频,计算成本高、高质量文本视频数据数量有限以及视频长度可变一直以来都是此类模型发展的难题。
以往的大多数 AI 模型都是通过单一的提示来生成视频,但若要生成一个长时间并且连贯的视频这远远不够。
而 Phenaki 则能生成 2 分钟以上的视频,并且还具备故事情节,这主要归功于它能够根据一系列的提示来生成视频的能力。
具体来说,研究人员引入了一个新的因果模型来学习表示视频:将视频视作图像的一个时间序列。
这个模型基于 transformer,可以将视频分解成离散的小表示,而分解视频则是按照时间的因果顺序来进行的。
再讲通俗一点,就是通过空间 transformer 将单个提示进行编码,随后再用因果 transformer 将多个编码好的提示串联起来。
一个提示生成一段视频,这样一来,视频序列便可以沿着提示中描述的时间序列将整个 " 故事 " 串在一起。
因为将视频压缩为离散的图像序列,这样也大大减少了 AI 处理标记视频的数量,在一定程度上降低了模型的训练成本。
提到模型训练,和大型图像系统一样,Phenaki 也主要使用文本 - 图像数据进行训练,此外,研究人员还用 1.4 秒,帧率 8FPS 的短视频文本对 Phenaki 进行训练。
仅仅通过对大量图像文本对以及少量视频文本例子进行联合训练,便能达到突破视频数据集的效果。
Imagen Video 和 Phenaki,谷歌接连放出大招,从文本到视频的 AI 发展势头迅猛。
值得一提的是,Imagen Video 一作表示,两个团队将合作进行下一步研究。
嗯,有的网友已经等不及了。
One More Thing
出于安全和伦理的考虑,谷歌暂时不会发布两个视频生成模型的代码或 Demo。
不过既然发了论文,出现开源复刻版本也只是时间问题。
毕竟当初 Imagen 论文出来没几个月,GitHub 上就出现了 Pytorch 版本。
另外 Stable Diffusion 背后的 StabilityAI 创始人兼 CEO 也说过,将发布比 Meta 的 Make-A-Video 更好的模型,而且是大家都能用上的那种。
当然,每次 AI 有了新进展后都会不可避免地碰到那个话题—— AI 会不会取代人类。
目前来说,一位影视行业的工作者表示还不到时候:
老实说,作为一个在电影行业工作了十年的人,这个话题令人沮丧。
在他看来,当前的视频生成 AI 在外行看起来已经足够惊艳,不过业内人士会认为 AI 还缺乏对每一个镜头的精细控制。
对于这个话题,StabilityAI 新任首席信息官 Daniel Jeffries 此前撰文表示,AI 最终会带来更多的工作岗位。
如相机的发明虽然取代了大部分肖像画家,但也创造了摄影师,还开辟了电影和电视这样的全新产业。
5 年后再回看的话,反对 AI 就像现在反对 Photoshop 一样奇怪,AI 只不过是另一个工具。
Jeffries 称未来是环境人工智能(Ambient AI)的时代,各个行业、各个领域都会在人工智能的加持下进行发展。
不过现在我们需要的是一个更开放的人工智能环境,也就是说:开源!
文章推荐:mate加湿套件VS米兽加湿套件<\a>
其他人还看了
谷歌推出NestWifiPro路由器:支持Wi-Fi6E,单只约1400元
联合创新28D1U显示器今晚开卖:28英寸4K分辨率,首发999元
四位分控匹配大间距孔位,aigoAC0404插线板体验如何?
设计优、用料足、品质硬,aigoAC0404不到25元太超值
谷歌首款智能手表PixelWatch问世:具有深度Fitbit集成,2481元起
郑重声明:本文“「ai」谷歌AI生成视频两连发:720p高清+长镜头,网友:对短视频行业冲击太大”,https://nmgjrty.com/shumacp_622330.html内容,由量子位提供发布,请自行判断内容优劣。
- 全部评论(0)
- 「休克」为啥总觉得自己社死瞬间多?Nature:大脑更偏向把记忆定为负面的
- 「ai」谷歌AI生成视频两连发:720p高清+长镜头,网友:对短视频行业冲击太大
- 「白矮星」罕见的双星,证明了数十年前的预测
- 「cdpr」《赛博朋克2077》续作和《巫师》新三部曲首作的开发代号公开
- ISDTPOWER2003C1A数显桌面充电站
- 聊一聊智能家居在装修中的考虑
- 尽显科技极客风,TEGICBLOCK30W移动电源体验报告
- OPPO平板办公学习的最佳助手,OPPOPencil手写笔
- 请注意手机充电安全,你的充电宝真的安全吗?
- 十一自驾出行果粉必备数码好物
- 忍不住买的智能插座,真的省心么?
- PRO使用体验
- 航嘉发布多款iPhone14安全快充,引领行业走线高品质路线
- 针对VLOG用户,消息称索尼今晚官宣新款ZV系列相机
- AppleWatchUltra野径回环开箱,不运动这也是一块不错的装饰表
- 自定义看护区域,智能日夜全彩,华为智选室外摄像头
最新更新
- 「休克」为啥总觉得自己社死瞬间多?
- 「ai」谷歌AI生成视频两连发:720p高清+长
- 「白矮星」罕见的双星,证明了数十年前
- 「cdpr」《赛博朋克2077》续作和《巫师》
- ISDTPOWER2003C1A数显桌面充电站
- 聊一聊智能家居在装修中的考虑
- 尽显科技极客风,TEGICBLOCK30W移动电源体验
- OPPO平板办公学习的最佳助手,OPPOPencil手
- 请注意手机充电安全,你的充电宝真的安
- 十一自驾出行果粉必备数码好物
- 忍不住买的智能插座,真的省心么?
- PRO使用体验
- 航嘉发布多款iPhone14安全快充,引领行业
- 针对VLOG用户,消息称索尼今晚官宣新款
- AppleWatchUltra野径回环开箱,不运动这也是
推荐阅读
- 「白矮星」罕见的双星,证明了数十年前的预测
- 「cdpr」《赛博朋克2077》续作和《巫师》新三部曲首作的开发代号公开
- 「小米」小屏旗舰做成这样,真的猛啊
- 「化学」2022诺奖|化学迈入功能主义时代!
- 谷歌推出NestWifiPro路由器:支持Wi-Fi6E,单只约1400元
- 谷歌首款智能手表PixelWatch问世:具有深度Fitbit集成,2481元起
- 「惠普战66」国庆特别推荐:大一新生该买什么笔记本?农林专业篇
- 「usb-c」欧洲强制规定!苹果后年新机在必须用USB-C接口
- 「魅族」立省350,骁龙870神机入手仅需1749元
- 「富士」拍体育与生态就选这几支镜头富士X系列无反专业用户必入!
- 「小米」小米70寸电视2022款特价仅需2249元
- 「荣耀」体验荣耀MagicBookX16:4K价位性价比最高的12代酷睿标压大屏本
猜你喜欢
- [iPhone]iPhone13promax远峰蓝128G入手
- [安卓手机]realme真我GTNeo2开箱,金刚石冰芯散热系统+E4屏,5000mAh大电池
- [贴膜]红米9爆屏更换记录,弯曲的中框修复
- [智能机器人]编程从娃娃抓起,MakeBlock程小奔上手体验
- [智能摄像机]内置大电池,无需打孔走线,小米室外摄像机给你满满的安全感
- [充电器]65w网红氮化镓一次看个够
- [电脑支架]原汤化原食,LGErgo显示器支架
- [蓝牙耳机]中端耳机音质天花板,降噪很有一手,鹿图COCO真蓝牙降噪耳机评测
- [音频播放器]关于R01主板的主观看法,和一些碎碎念
- [充电器]双口快充,满足日常需求
- [VR设备]GOOVISLite头戴影院评测
- [蓝牙耳机]魅蓝Blus耳机体验,魅蓝依旧还是当年坚持做良品的青年良品
- [安卓手机]从5988跌至2749,256GB+鸿蒙OS+7nm麒麟,从高端市场跌至中端市场
- 「轻众测|素诺智能可视冲牙器」别急,对准再冲!素诺可视冲牙器让残渣无所
- 「九号新品Nano及Air T15」萌娃初体验——Ninebot九号平衡车Nano