「芯片」85万核心的世界最大AI芯片打破记录,要"杀死",GPU!
精选评测好文
以造出世界上最大加速器芯片CS-2 Wafer Scale Engine闻名的公司Cerebras宣布,他们已经在利用“巨芯”进行人工智能训练上走出了重要的一步,训练出了单芯片上全世界最大的NLP(自然语言处理)AI模型。
该模型具有20亿个参数,基于CS-2芯片进行训练。
这块全世界最大的加速器芯片采用7nm制程工艺,由一整块方形的晶圆刻蚀而成。
它的大小数百倍于主流芯片,具有15KW的功率,集成了2.6万亿个7nm晶体管,封装了850000个内核和40GB内存。
图1 CS-2 Wafer Scale Engine芯片
单芯片训练AI大模型新纪录
NLP模型的开发是人工智能中的一个重要领域。利用NLP模型,人工智能可以“理解”文字含义,并进行相应的动作。OpenAI的DALL.E模型就是一个典型的NLP模型。这个模型可以将使用者的输入的文字信息转化为图片输出。
芯片
比如当使用者输入“牛油果形状的扶手椅”后,AI就会自动生成若干与这句话对应的图像。
芯片
图:AI接收信息后生成的“牛油果形状扶手椅”图片
不止于此,该模型还能够使AI理解物种、几何、历史时代等复杂的知识。
但要实现这一切并不容易,NLP模型的传统开发具有极高的算力成本和技术门槛。
实际上,如果只讨论数字,Cerebras开发的这一模型20亿的参数量在同行的衬托下,显得有些平平无奇。
前面提到的DALL.E模型具有120亿个参数,而目前最大的模型是DeepMind于去年年底推出的Gopher,具有2800亿个参数。
但除去惊人的数字外,Cerebras开发的NLP还有一个巨大的突破:它降低了NLP模型的开发难度。
「巨芯」如何打败GPU?
按照传统流程,开发NLP模型需要开发者将巨大的NLP模型切分若干个功能部分,并将他们的工作负载分散到成百上千个图形处理单元上。
数以千百计的图形处理单元对厂商来说意味着巨大的成本。
技术上的困难也同样使厂商们痛苦不堪。
切分模型是一个定制的问题,每个神经网络、每个GPU的规格、以及将他们连接(或互联)在一起的网络都是独一无二的,并且不能跨系统移植。
厂商必须在第一次训练前将这些因素统统考虑清楚。
这项工作极其复杂,有时候甚至需要几个月的时间才能完成。
Cerebras表示,这是NLP模型训练中“最痛苦的方面之一”,只有极少数公司拥有开发NLP所必要的资源和专业知识。对于人工智能行业中的其他公司而言,NLP的训练则太昂贵、太耗时且无法使用。
但如果单个芯片就能够支持20亿个参数的模型,就意味着不需要使用海量的GPU分散训练模型的工作量。这可以为厂商节省数千个GPU的训练成本和相关的硬件、扩展要求,同时这也使厂商不必经历切分模型并将其工作负载分配给数千个GPU的痛苦。
Cerebras也并未仅仅执拗于数字,评价一个模型的好坏,参数的数量并不是唯一标准。
比起希望诞生于“巨芯”上的模型“努力”,Cerebras更希望的是模型“聪明”。
之所以Cerebras能够在参数量上取得爆炸式增长,是因为利用了权重流技术。这项技术可以将计算和内存的占用量解耦,并允许将内存扩展到足以存储AI工作负载中增加的任何数量的参数。
由于这项突破,设置模型的时间从几个月减少到了几分钟,并且开发者在GPT-J和GPT-Neo等型号之间“只需几次按键”就可以完成切换。这让NLP的开发变得更加简单。
这使得NLP领域出现了新的变化。
正如Intersect360 Research 首席研究官 Dan Olds 对Cerebras取得成就的评价:“Cerebras 能够以具有成本效益、易于访问的方式将大型语言模型带给大众,这为人工智能开辟了一个激动人心的新时代。”
其他人还看了
华为Mate50E同款芯片,售价仅1259元,5000mAh+5G全网通
国产DOOGEE将进军平板电脑市场,首款T10搭载紫光展锐T606芯片和双立体声扬声器
「amd」RTX40的对手来了!AMDRDNA3显卡发布会官宣
郑重声明:本文“「芯片」85万核心的世界最大AI芯片打破记录,要"杀死",GPU!”,https://nmgjrty.com/diannaopj_484325.html内容,由上方文Q提供发布,请自行判断内容优劣。
- 全部评论(0)
- 千元级小钢炮,畅爽游戏兼顾生产力,华硕VG249Q1A
- 男朋友说用这个显示器打游戏好爽!
- 小米显示器,性价比还是挺高的
- 自媒体最佳拍档,这块飞利浦高清显示器我不信你不心动!
- 告别平庸的硬盘底座!OIRCO这款“集装箱”,速度快玩法超多
- W4K显示器
- 朗科(Netac)NV70001TPCIe40SSD固态硬盘测试
- Linus考虑让Linux内核放弃支持英特尔80486处理器
- 13代i7暴打12代i9!憋屈太久了,牙膏厂疯起来真的挺吓人
- 超高性价比的选择,锐可余音“夏至”三件套之CX5电竞声卡体验
- 225元的105寸一线通便携屏SurfaceGO2同款屏幕
- 矿难确定不当回开扎古的真男人么
- 闲置固态硬盘的完美解决方案!奥睿科USB40固态硬盘盒实测分享
- 华硕推出新一代ROGRyuoIII240/360ARGB“龙王”水冷散热器1799元起
- 秒懂1U、2U、4U服务器和42U机柜
- 2022年了,我才开始用先马趣造
最新更新
- 千元级小钢炮,畅爽游戏兼顾生产力,华
- 男朋友说用这个显示器打游戏好爽!
- 小米显示器,性价比还是挺高的
- 自媒体最佳拍档,这块飞利浦高清显示器
- 告别平庸的硬盘底座!OIRCO这款“集装箱
- W4K显示器
- 朗科(Netac)NV70001TPCIe40SSD固态硬盘测试
- Linus考虑让Linux内核放弃支持英特尔80486处
- 13代i7暴打12代i9!憋屈太久了,牙膏厂疯
- 超高性价比的选择,锐可余音“夏至”三
- 225元的105寸一线通便携屏SurfaceGO2同款屏幕
- 矿难确定不当回开扎古的真男人么
- 闲置固态硬盘的完美解决方案!奥睿科
- 华硕推出新一代ROGRyuoIII240/360ARGB“龙王”
- 秒懂1U、2U、4U服务器和42U机柜
推荐阅读
- 矿难确定不当回开扎古的真男人么
- 「英伟达」不止是游戏党,他们才是被英伟达坑怕的人。
- 「amd」RTX40的对手来了!AMDRDNA3显卡发布会官宣
- 「奥斯汀」苹果M3准备登场,库克展示奥斯汀AppleSilicon工程团队努力成果
- 「小米」终于来了,这绝对是今年最猛的新机
- 消息称英伟达将推RTX4090移动版:基于次旗舰GPUAD103
- 海外网友在Newegg购买RTX4090显卡,拆开包装发现仅有两块配重块
- IBM推出AI处理器AIU:采用5nm工艺,包含230亿个晶体管
- EVGA宣布不生产显卡后,其GPU超频软件更新支持RTX4090
- AMD新一代旗舰笔记本GPU爆料:RX7900M将达到RX6950XT桌面显卡性能
- 海鲜市场捡漏“真香”?9000元预算纯白12代风冷主机达成分享
- 华硕率先公布自家RTX3060TiG6X非公卡
猜你喜欢
- [机箱]ITX装机初体验
- [机箱]机箱界的铝厂,支持240水冷与长显卡的乔思伯V8ITX机箱装机点评
- [机箱]安钛克驱逐者DF600FLUX
- [机箱]Thermaltake发布Divider300TG机箱
- [机箱]Zen3架构基础款单核锤爆10900K?AMD锐龙55600X评测
- [机箱]也许是最小MATX主机的完美走线
- [机箱]30系列已到,机电有升级的必要吗?
- [机箱]女王的ITX新电脑上篇之复刻lousuITX机箱
- [机箱]最小ATX乔思伯RM2及风道改造
- [机箱]bequiet!德商必酷发布PureBase500DX机箱
- [机箱]修理机箱耳机插孔
- [机箱]大容积的小钢炮
- [机箱]乔思伯A4水冷机箱+R53600RX5700升级装机
- [机箱]TtLevel20GT全塔机箱开封解析
- [机箱]Dell戴尔小机箱内部升级记