「英伟达」PyTorch创始人:Transformer太火很不好,AI易撞墙
原文标题:PyTorch创始人:Transformer太火很不好,AI易撞墙
选自 BusinessInsider
机器之心编译
编辑:陈萍、杜伟
Souminth Chintala 担心 Transformer 可能导致人工智能碰壁。
2017 年 Transformer 首次亮相,便迅速在 AI 领域扩散开来,CV、NLP 等任务都有其身影,越来越多的研究人员投入其中。
要说 Transformer 有多厉害,比如 OpenAI 重磅推出的 GPT-3,就是基于 Transformer 实现的。至于传播速度方面,短短 5 年,Transformer 便在 TensorFlow 、PyTorch 等主流深度学习框架支持的 AI 程序中占据一席之地。
可别小看这 5 年,假如我们把机器学习比作一个世界,毫不夸张地说,它们的 5 年相当于我们的半个世纪。
不过与高调宣传 Transformer 的学者不同,这次 PyTorch 创始人、Meta 杰出工程师 Soumith Chintala 却唱起了反调,并警告说,Transformer 如此流行,可能是一把双刃剑。
他认为,到今天为止, Transformer 已经 5 年了,这期间还没有可替代的研究出现。他表示,对占主导地位的 AI 方法(此处指 Transformer)的强烈认可,可能会产生意想不到的后果,越来越多的 Transformer 专用硬件可能会使新策略更难以流行。
Soumith Chintala
至于 Soumith Chintala 为何会有上述结论,他首先从硬件进行举例。
专用 AI 硬件不断出现,其他技术将很难出头
Transformer 自从在论文《 Attention Is All You Need 》中被首次提出,之后便在很多地方都能看到它的身影。
相应地,为 AI 定制专门的硬件开始流行起来。在 GPU 方面,英伟达一直占据重要地位,他们还发布了一个名为 Hopper 的架构,其名称来自于计算机科学先驱 Grace Hopper,该架构专门用于 Transformer。
英伟达甚至还基于 Transformer,专门优化了 H100 加速卡的设计,提出了 Transformer Engine,它集合了新的 Tensor Core、FP8 和 FP16 精度计算,以及 Transformer 神经网络动态处理能力,可以将此类机器学习模型的训练时间从几周缩短到几天。
Transformer Engine 使用每层统计分析来确定模型每一层的最佳精度(FP16 或 FP8),在保持模型准确率的同时实现最佳性能。
英伟达首席执行官黄仁勋在最近的财报电话会议上表示,Hopper 将是其战略的重要组成部分(不过,可以肯定的是,英伟达是一家规模庞大的公司,其产品远不止 Hopper)。黄仁勋还表示:预计 Hopper 将成为未来增长的下一个跳板。他还表示 Transformer 这个新模型的重要性不能被低估,也不能被夸大。
不过,英伟达一方面推出了专为 Transformer 设计的产品,同时也提供了一系列适合多种不同型号的产品,而且可能已经为新技术的出现做好了准备。尽管如此,硬件专业化仍存在锁定现代用例的风险,而不是启用新兴用例。
Chintala 对此表示,如果像英伟达这样的供应商将硬件定制得更适用于当前范式,那么其他想法将更难出头。
不止硬件,更多定制和特定于领域的技术不断出现,如谷歌的张量处理单元、Cerebras Wafer Scale 引擎等都被提出来,这进一步限制了其他技术的发展。
Chintala 还提到,最近一段时间,AI 圈一直流行着这样一种说法「PyTorch 在受欢迎程度上超越谷歌的 TensorFlow 」,对于这一结论,Chintala 是拒绝的。
Chintala 表示,PyTorch 不是为了抢走 TensorFlow 的「午餐」而诞生的,它们有各自的优点,这两种框架各自擅长不同的任务。在研究界,PyTorch 有很好的市场份额,但在其他领域,就很难说了。
不过,谷歌也意识到了 PyTorch 的威胁,他们悄悄地开发一个机器学习框架,JAX(曾是「Just After eXecution」的首字母缩写,但官方说法中不再代表任何东西),许多人将其视为 TensorFlow 的继承者。
曾一度有传言说谷歌大脑和 DeepMind 在很大程度上放弃了 TensorFlow,转而使用 JAX。谷歌很快出来打假,表示「我们继续开发 TensorFlow ,并将其作为一流的应用 ML 平台,与 JAX 并肩推动 ML 研究发展。」
至于 JAX,其擅长将复杂的机器学习任务分散到多个硬件上,极大地简化了现有工具,使其更容易管理日益庞大的机器学习问题。
Chintala 表示:「我们正在向 JAX 学习,我们也在 PyTorch 中添加了这些内容。显然,JAX 在某些方面做得更好。Pytorch 确实擅长很多事情,这就是它成为主流的原因,人们用它可以做很多事情。但作为主流框架并不意味着它可以覆盖所有内容。」
原文链接:
https://www.businessinsider.com/souminth-chintala-pytorch-tensorflow-transformers-innovation-lag-2022-9
THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com
其他人还看了
双11无需纠结!看完这篇攻略,直接入手云米AI全域风空调SpaceE
新房装修选空调入手云米AI全域风空调Space-可爱的春雷王
AISR爱至电动牙刷值得购买吗(AISR爱至电动牙刷质量好吗)
郑重声明:本文“「英伟达」PyTorch创始人:Transformer太火很不好,AI易撞墙”,https://nmgjrty.com/shumacp_621521.html内容,由机器之心提供发布,请自行判断内容优劣。
- 全部评论(0)
- 大香煮伊区一二三四区2021维护成功,可以无限制进出了!
- 大香煮伊区一二三四区2021不再收费了!网友:终于可以免费看了
- 大香煮伊区一二三四区2021不再收费!网友:可以白嫖了
- 一卡二卡3卡4卡视频免费播放重新开放了!网友:久违了
- 一卡二卡3卡4卡视频免费播放出入无限制!网友:平台都这样才好!
- 一卡二卡3卡4卡视频免费播放人气暴涨!网友:毕竟来了很多大主播!
- 欧美xbox和ps大片重新开放了!网友:久违了
- 欧美xbox和ps大片人气暴涨原因,无限制出入是关键!
- 欧美xbox和ps大片免费播放!网友:已经来了不少
- 成品网站w灬源码1688直播身材好!网友:比明星还赞!
- 成品网站w灬源码1688直播更新引热议!上线了多种新功能!
- 成品网站w灬源码1688直播适合晚上看!粉丝:我们懂!
- XXXXXL19waswas重新开放,并且免费使用!
- XXXXXL19waswas不再收费了!网友:终于可以免费看了
- XXXXXL19waswas不再收费!网友:付费内容都取消了
- Japonensisjavacomplete重新开放!网友:爷青回!
最新更新
- 大香煮伊区一二三四区2021维护成功,可以
- 大香煮伊区一二三四区2021不再收费了!网
- 大香煮伊区一二三四区2021不再收费!网友
- 一卡二卡3卡4卡视频免费播放重新开放了
- 一卡二卡3卡4卡视频免费播放出入无限制
- 一卡二卡3卡4卡视频免费播放人气暴涨!
- 欧美xbox和ps大片重新开放了!网友:久违
- 欧美xbox和ps大片人气暴涨原因,无限制出
- 欧美xbox和ps大片免费播放!网友:已经来
- 成品网站w灬源码1688直播身材好!网友:
- 成品网站w灬源码1688直播更新引热议!上
- 成品网站w灬源码1688直播适合晚上看!粉
- XXXXXL19waswas重新开放,并且免费使用!
- XXXXXL19waswas不再收费了!网友:终于可以
- XXXXXL19waswas不再收费!网友:付费内容都
推荐阅读
- 「生物」我们应该寻找什么样的外星生命,高等的还是低等的?
- 「空间望远镜」韦布空间望远镜捕捉到布满恒星的创生之柱
- 「行者」从《双城之战》到《边缘行者》,游改动画迎来盛世?
- 「国际象棋」智能肛珠作弊案反转:19岁小将告世界冠军诽谤索赔7亿
- 「英伟达」不止是游戏党,他们才是被英伟达坑怕的人。
- 「索尼」索尼官宣!猜猜A7R5多钱?R2要价1.9万、R3要价2.4万、R4要价2.7万……
- 「癌症」一种癌症转移的关键因素
- 「智能手表」面世八年后,谷歌的智能手表生态终于迎来开放曙光
- 「adobe」用VR手捏3D模型,PS直接与甲方对线,Adobe新技术确实给设计师炫到了
- 「amd」RTX40的对手来了!AMDRDNA3显卡发布会官宣
- 「奥斯汀」苹果M3准备登场,库克展示奥斯汀AppleSilicon工程团队努力成果
- 「马修」Copilot要摊官司了!工作20年老程序员重新激活律师证,发起集体诉讼,
猜你喜欢
- [iPhone]iPhone13promax远峰蓝128G入手
- [安卓手机]realme真我GTNeo2开箱,金刚石冰芯散热系统+E4屏,5000mAh大电池
- [贴膜]红米9爆屏更换记录,弯曲的中框修复
- [智能机器人]编程从娃娃抓起,MakeBlock程小奔上手体验
- [智能摄像机]内置大电池,无需打孔走线,小米室外摄像机给你满满的安全感
- [充电器]65w网红氮化镓一次看个够
- [电脑支架]原汤化原食,LGErgo显示器支架
- [蓝牙耳机]中端耳机音质天花板,降噪很有一手,鹿图COCO真蓝牙降噪耳机评测
- [音频播放器]关于R01主板的主观看法,和一些碎碎念
- [充电器]双口快充,满足日常需求
- [VR设备]GOOVISLite头戴影院评测
- [蓝牙耳机]魅蓝Blus耳机体验,魅蓝依旧还是当年坚持做良品的青年良品
- [安卓手机]从5988跌至2749,256GB+鸿蒙OS+7nm麒麟,从高端市场跌至中端市场
- 「轻众测|素诺智能可视冲牙器」别急,对准再冲!素诺可视冲牙器让残渣无所
- 「九号新品Nano及Air T15」萌娃初体验——Ninebot九号平衡车Nano