「ai」芯片巨头正在偷偷研发这些新AI技术，不比拍照有意思

精选评测好文

原文标题：芯片巨头正在偷偷研发这些新AI技术，不比拍照有意思

不知道你们有没有这样一种感觉，芯片性能要遇上瓶颈了。

光就芯片制程来看，从 7nm 卷到 5nm 再卷到 3nm，已经越来越逼近摩尔极限。

于是，不少厂商开始试着用 AI 给芯片性能提供灵感，从神经拟态到用AI 设计芯片，各种技术路线都有人在尝试。

这种情况下，哪些新 AI 技术最可能被应用到下一代芯片当中？

对此，我们采访了一下高通工程技术副总裁侯纪磊。

侯纪磊博士毕业于加州大学圣迭戈分校，在高通已经工作了 19 年，目前是高通公司 AI 研究项目负责人，负责高通 AI 研究（Qualcomm AI Research）的技术创新规划。

在采访中，侯博士分享了高通 AI 研究在基础、平台和应用三个研究方向的一些首创技术成果。

其中，基础研究主要针对前沿性、基础性的 AI 技术进行研究，例如神经压缩和 AI+ 量子计算相关领域的探索；

平台研究则主要是从平台能力和创新的角度，推动 AI 技术的发展并提升能效、进行端侧学习，例如量化技术和联邦学习；

应用研究包括移动端视频 AI 技术和 3D+AI 技术等，涵盖智能手机、XR、自动驾驶等各个行业应用领域的技术研究。

同时，侯博士还分享了不少 "AI 落地狂魔 " 高通，将 AI 技术快速应用到芯片上的秘诀。一起来看看。

芯片厂商悄悄研发这些新 AI

虽然高通最广为人知的 AI 技术是量化，不过要看最新的技术，还得从高通 AI 研究的顶会论文中去找。

从论文来看，高通相对着重的 AI 基础技术可能是以下四个方向：神经增强、弱监督学习、神经推理和量子 AI。

先来看看神经增强（neural augmentation）技术，目前高通已经将之用到了无线通信中。

平时处理无线通信信号主要有两种方法，一种是用传统滤波器搞一套公式出来，另一种是用 AI 直接训练并预测结果，前者精度不高，后者训练数据量太大。

高通选择将二者结合起来，在保留传统滤波器的基础之上，让 AI 自己学习调参。

没错，就是教会AI 自己当调参侠，熟练应用并掌握那些看起来晦涩难懂的公式，类似于应用卡尔曼滤波器的场景中，让 AI 自己学会调整其中的 QR 参数。

再或者以麦克斯韦方程为例，高通选择保留 y=x*H 模型的线性，同时采用 AI 学习 H 的分布：

要是类似的技术能用于手机无线通信基带上，信号说不定还能再进一步增强。

而神经增强还只是高通神经推理研究的一部分。如果 AI 真的同时具备了逻辑思维和抽象能力，那距离芯片性能突破也不远了。

再说到弱监督学习，这个方向一直是解决长尾问题、以及 AI 技术落地新场景的一大趋势之一。

就像是 " 让 AI 自己学习 " 一样，这项技术旨在避免数据标记错误导致的 AI 精度下降、以及降低标记成本等，来利用少量标记数据，实现与监督学习接近甚至超过监督学习的精度效果。

侯博士介绍了在去年 MWC，高通做的一个演示，用弱标记的方法，训练出相对精确度高的定位的模型。

而且最令人惊讶的是，这种定位的模型它不是通过视觉的方式，而是通过射频信号来进行定位的学习，使用了弱监督和自监督的学习方法。

室内定位场景所需的信号数据标记比较复杂，通过射频感知的方法，使用弱监督学习能比较有效地节省成本、提升效率。

嗯，现在老板只需要通过无线信号，就知道你在哪个办公室和同事摸鱼聊天了（手动狗头）。

再来看看神经推理（Neural Reasoning）技术。

事实上，这里的推理并不是指单纯的模式识别，而更像是教 AI 学会 " 逻辑推断 "，概念上和 Yoshua Bengio 之前提到的 system2（逻辑分析系统）有些相似。

那么，神经推理和芯片有什么关系，可以应用在哪些方向，高通又进展到哪一步了？

据侯博士介绍，神经推理是一种将符号推理和神经网络优势结合起来的思路，让模型兼具并行性和串行性，而这个思路对于计算硬件而言同样具有借鉴性，目前高通已经利用自回归语言模型做出了一些首创成果。

最后来看看量子 AI 技术。

目前高通主要有进行两个方面的研究，一个是基于 AI 加速构建量子计算机，另一个是让 AI 更快在量子计算机上运行的新方法。

其中，基于 AI 加速构建量子计算，主要研究方向在群等变卷积神经网络上。

研究人员通过引进群等变卷积神经网络，提出了一种新的解码方式，比传统解码器运行效率更高、性能也更好。

而高通登上 ICML 2021 的一项新研究，还提出了一种基于量子场论，在光学量子计算中运行神经网络的新思路。

如果未来真的能用量子计算运行 AI，那大模型快速运算也不是梦了。

所以问题来了，高通正在进行的这些基础研究，究竟有没有落地的可能？

距离我们用上还有多久？

技术之终极意义，还是要看向应用。

实际上，高通 AI 研究关注前沿科技背后，更加重视的是这些技术具体如何落地。

例如在早些年 AI 领域还在关注图像处理的时候，高通就已经在布局视频 AI 技术的落地了，并产生了不少相应的首创成果。

包括在移动端将视频超分到 4K 100+FPS，就是高通率先实现的。

那么在这个过程中，高通是如何实现将 AI 论文落地到芯片应用中的呢？

这就得说回高通 AI 研究的三大布局：

基础研究，涉及量子 AI、强化学习、群等变卷积神经网络等，着眼于遥远的未来，通常更具有基础性。

平台研究，包括软硬件协同设计、AI 模型效率工具包以及模型量化、压缩和神经架构搜索等，来实现最佳的能效、性能和时延。

应用研究，是指利用 AI 基础研究和平台研究的成果在某些特定用例中，包含视频识别与预测、指纹图谱、图形深度学习、视觉质量提升等。

一方面，高通一直以平台研究技术带动应用研究的落地。

以模型量化为例。

这是高通 AI 研究这几年钻研的核心技术之一，目的就是给 AI 模型做个 " 瘦身 "。

在实际应用场景中，由于电量、算力、内存和散热能力受限，手机使用的 AI 模型和 PC 上的 AI 模型有很大不同。

在 PC 上，GPU 动辄上百瓦功率，AI 模型的计算可以使用 16 或 32 位浮点数（FP16、FP32）。而手机 SoC 只有几瓦功率，也难存储大体积 AI 模型。

这时候就需要将 FP32 模型缩小成 8 位整数（INT8）乃至 4 位整数（INT4），同时确保模型精度不能有太大损失。

以 AI 抠图模型为例，我们以电脑处理器的算力，通常能实现十分精准的 AI 抠图，但相比之下，如果要用手机实现 " 差不多效果 " 的 AI 抠图，就得用到模型量化的方法。

值得一提的是，基于模型量化快速部署，高通在 2020 年开源的 AI 模型增效工具包（AIMET）。

这其中包含了同年以及上年被 ICML、ICCV 收录的技术方法。

量化的结果之一就是，更多应用方向的 AI 模型被 " 压缩 " 并优化，然后加速部署到芯片中。

比如视频语义分割上，首次在移动端上以 FHD 分辨率实现实时街景；神经视频压缩方面，首次在移动端实现了实时高清解码……

从这些行业首次落地的成果中可以直观感受到，高通 AI 研究在结合前沿学术、应用需求上的考量。

侯纪磊博士在采访中表示，高通的 AI 技术从最初发现到形成开源或商业化生态，只需要2-3 年时间。

另一方面，从应用和平台需求上反过来 push 基础研究技术的进展，催生出更多交叉领域。

比如联邦学习、图像预内核优化，就是基础与平台研究相交叉产生的领域；音视频压缩、面向无线领域和射频感知的 AI 等，则是基础和应用研究相结合的体现。

也就是说，高通在基础、平台、应用三方面上的研究，完整地将 AI 技术落地所需的算法模型、数据、软硬件、应用场景几大要素囊括其中，以支持边缘 AI，走的是全栈 AI 研究的路线，并首次在移动终端上演示了概念验证。

以此，高通希望能通过研究 " 可以应用并落地的 AI"，快速推动技术落地的进程。

侯博士表示，其实高通本身在平台和应用上投入比重就会更大，此外在基础研发过程中，产品团队还会深度参与，方便技术人员更加了解应用需求。从 AI 研究到落地往往非常复杂，需要考虑更多现实世界中的问题（如长尾场景等）。

高通 AI 研究的目的不仅在于技术创新，也是实际场景应用中的创新。

目前，高通光是实现落地的 AI 首创研究成果，就有这么多：

由此可见，高通 AI 研究在首创技术之外，更致力于将这些成果成功运行到终端上。

例如前段时间发布的骁龙 X70，就是经过这样的历程问世的。作为全球首款引入 AI 处理器的 5G 调制解调器及射频系统系统，骁龙 X70 预计后续会集成到骁龙年度的 8 系旗舰平台上。

猜猜，下一代 5G 手机的信号、图像、音视频处理等技术会不会更强？

你最期待哪些顶会 AI 技术应用到手机上呢？

参考链接：

[ 1 ] https://www.youtube.com/watch?v=Tavl2nWHKU8&t=938s

[ 2 ] https://www.qualcomm.com/research/artificial-intelligence/ai-research

文章推荐：摩飞亲肤冷暖风机，让这个冬天有温暖还不干燥<\a>

「ai」AI做题家卷疯了！高数考试正确率81%，竞赛题成绩超过计算机博士

「一加」一加10T手机外观曝光比一加10Pro好看多了

「卡拉ok」唱K何必去KTV？在家也能有专业K歌体验——惠威ET1000有源卡拉OK音箱评

「芯片」HiFi迷福音，月光宝盒播放器只要379元

「小米」小米RedmiNote115G手机活动到手价1199元

哎呦不错哦，赞！(571)

打赏 打赏给作者

郑重声明：本文“「ai」芯片巨头正在偷偷研发这些新AI技术，不比拍照有意思”，https://nmgjrty.com/shumacp_474325.html内容，由量子位提供发布，请自行判断内容优劣。

上一篇：「ai」AI做题家卷疯了！高数考试正确率81%，竞赛题成绩超过计算机博士

下一篇：没有了