「小红书」多模态大咖齐刷刷翻开小红书
精选评测好文
原文标题:多模态大咖齐刷刷翻开小红书
The following article is from 小红书技术团队 Author 小红书技术团队
在现实世界中,人类通过综合运用视觉、听觉、触觉、嗅觉等多种感官,来接触和理解大千世界。我们通过不同感官获得的信息,就是天然地以 " 多模态 " 形式存在的。
从这个意义上说,人工智能的发展就是向人的智能靠近的过程。多模态学习是一个绕不开的发展方向。
多模态学习带来全新应用场景
在互联网信息爆发且形式愈加丰富的时代,图文及短视频内容在互联网内容中所占比例不断提高。单一模态,往往难以提供对图文、视频等信息的完整描述。与此同时,在应用领域对内容的理解贯穿了整个搜索、推荐系统。
正如,我们已经习惯在购物 APP 上用 " 识图 " 代替文字搜索;在智能家居领域,语音交互、手势交互正在成为流行趋势;与智能机器人的交流也不再是机械式的文字对话,而进入到更深层次的语音理解、图片理解阶段。
我们需要从多个粒度去理解内容,如何融合多个模态的特征信息,逐渐成为多个领域广泛存在的新挑战。因此,关注多模态技术的发展已经是当今学界和工业界的共识。
如今的挑战
尽管多模态从上个世纪 70 年代诞生至今,经历了几十年的发展,但在当下的工业界多模态的落地依然面临着诸多挑战,以致于一些场景呈现 " 伪多模态 " 的应用状态,从而影响了用户体验——
" 语义鸿沟 " 依然存在;
如何掌握大量匹配的多模态数据;
多模态信息中的不确定性;
不同模态之间的精细对齐;
多模态预训练的有效架构等等。
所以,如今当学界和业界再次高度聚焦多模态的时候,究竟在讨论什么?
大咖解读等你来听
4 月 20 日 19:00,由小红书技术团队出品的直播节目「REDtech 来了」第一期就将围绕多模态话题开讲。
上半期小红书技术团队邀请到了来自上海交通大学电子信息与电气工程学院副教授、博导谢伟迪,北京航空航天大学教授、博导刘偲,上海科技大学信息学院副教授、博导高盛华就多模态内容理解的相关研究展开分享。
预计在 4 月 27 日举办的下半期直播将聚焦多模态理解与创作,中国科学院自动化所研究员赫然,浙江大学 " 百人计划 " 研究员、博导周晓巍,悉尼理工科技大学 ReLER 实验室讲师朱朝霖,将接棒带来学界对多模态的最新研究成果。
上述高校学者将分享 "跨模态图像内容理解和视频生成","语言指导的视觉定位","多模态视觉内容生成","多模态检索、定位与生成的方法","便捷的三维数字化技术","自监督学习在多模态内容理解中的技术与应用" 等议题,欢迎到直播间互动提问!
解锁小红书多模态密码
除此之外,小红书多模算法组负责人汤神也将以小红书的实践为例,重点介绍小红书在内容质量评价、多模态搜索与交易内容理解等领域对多模态技术的探索与研发应用。
小红书智能算法组负责人张德兵则会带来多模态技术在智能创作中的应用和挑战,一同探讨如何让理解更精细,让创作更有个性化、多样性、表现力、便捷性。
作为国内独树一帜的内容社区,截至 2021 年 10 月,小红书月活跃用户数已经超过 2 亿。如何处理和理解如此大规模的 UGC 内容,进行更精准高效的分发,正是多模态技术最大的应用方向之一。
还可以看到,目前国内的互联网应用中,小红书的内容以图文笔记和短视频为主流,每天都会产生大规模的分享笔记,以及海量的用户即时行为。这给多模态人机交互留下了很大的想象空间。
这种生态中诞生了非常多的有价值、且极具有挑战的问题,涉及到视觉、NLP、音频、用户行为等多个模态信息的理解和综合利用。因此,小红书也是讨论如何更好定义多模态,和充分发挥多模态核心价值的绝佳实践场景。
对内容的多模态理解贯穿了小红书整个搜索、推荐与交易系统。目前小红书技术团队已经在短视频理解、内容质量评价、多模态检索、交易内容理解、三维数字化、智能创作等领域对多模态技术展开了研发应用。
独一无二的社区生态,广泛、复杂、高实时、真实的用户场景,海量的多模态数据,复杂多变的即时性用户行为,这些因素共同创造了小红书在多模态实践方面得天独厚的优势。小红书的创新和探索也将为多模态的真正落地提供新的方向和范式。
关注【小红书技术团队】,准时开播,不见不散。
我们将在微信群内发布直播链接、嘉宾演讲精华和抽奖活动, 可提问互动,问题有机会被嘉宾 pick 解答哦。
REDtech@xiaohongshu.com
直播交流群
小助手
* 本文系量子位获授权刊载,观点仅为作者所有。
— 完 —
量子位 QbitAI
' ' 追踪 AI 技术和产品新动态
一键三连「分享」「点赞」和「在看」
科技前沿进展日日相见 ~
热门文章:极致的衣服护理精致的个人形象<\a>
其他人还看了
「小红书」小红书辟谣裁员20%:正常人员汰换、在一对一协商赔偿
郑重声明:本文“「小红书」多模态大咖齐刷刷翻开小红书”,https://nmgjrty.com/shumacp_427232.html内容,由量子位提供发布,请自行判断内容优劣。
- 全部评论(0)
- 「oculus」Meta驰名「双标」:吐槽30%苹果税,自己抽一半
- 「芯片」莫让造芯成为营销噱头自研芯片路在何方
- 「骗子」到底是哪些大冤种,在网上买野生大象?
- 「美团」焦虑、抗拒和依赖,餐饮老板对美团的复杂心理
- 「amd」AMD下一代APU据传图形性能出色:中端显卡迎来强大对手
- 「oppo」阵痛的OPPO:门店失灵,难入高端
- 「无线充电」欧盟要求USB-C作为通用充电端口,包括苹果以及所有科技公司
- 「小米」小米Civi1S图赏:延续BlingBling光效,还是小米手感最好的手机
- 「usb-c」全新Mac接口速率不达标都是雷电4的锅?
- 「it之家」华硕发布RX6400DUAL/Phoenix显卡,售价1349元起
- 「google」新PlayStore策略将封杀所有第三方通话录音应用
- 「宇航员」Ax-1宇航员将于周六离开国际空间站,SpaceX下一次任务推迟至26日
- 「美的」微信热搜榜正在内测中列举近期热点事件和热点搜索
- 「ZAKER」小米Civi1S测试报告:轻薄手机是你的菜吗?
- 「便秘」肠道菌群的机制还没研究明白,就被拿来卖钱了?
- 「研究所」报告显示中国已成Steam最大市场,年收入666亿元
最新更新
- 「oculus」Meta驰名「双标」:吐槽30%苹果税
- 「芯片」莫让造芯成为营销噱头自研芯片
- 「骗子」到底是哪些大冤种,在网上买野
- 「美团」焦虑、抗拒和依赖,餐饮老板对
- 「amd」AMD下一代APU据传图形性能出色:中
- 「oppo」阵痛的OPPO:门店失灵,难入高端
- 「无线充电」欧盟要求USB-C作为通用充电
- 「小米」小米Civi1S图赏:延续BlingBling光效
- 「usb-c」全新Mac接口速率不达标都是雷电
- 「it之家」华硕发布RX6400DUAL/Phoenix显卡,
- 「google」新PlayStore策略将封杀所有第三方
- 「宇航员」Ax-1宇航员将于周六离开国际空
- 「美的」微信热搜榜正在内测中列举近期
- 「ZAKER」小米Civi1S测试报告:轻薄手机是
- 「便秘」肠道菌群的机制还没研究明白,
推荐阅读
- 「尼康」尼康Z9大固件登场&索尼将开发布会
- 「三星」横扫iF设计奖!三星狂揽71个奖项ZFlip35G获金奖
- 「戴尔」首发4KIPSBlack技术,戴尔U2723QE显示器体验
- 「长焦」影像旗舰不知如何选择?这四款手机总能让你满意
- 「荣耀」不抢手慢无荣耀Magic4Pro上午开启预售
- 「openxr」HTC为ViveFocus3推出OpenXR公开测试计划
- 「分辨率」天玑8000加持!OPPOK10入网:保留了这个“上古”配置
- 「钟楼」VR游戏《TheLastClockwinder》将于今夏推出
- 「荣耀」5499元起!荣耀Magic4Pro今日开启预售:骁龙8Gen1加持
- 「英特尔」2021年全球芯片销售总额增长26%三星重返第一名
- 「miui」低配机也能流畅运行!小米MIUIGo新系统曝光或用于4GB以下内存手机
- 「airpods」AppleAirPods3真无线蓝牙耳机到手1199元
猜你喜欢
- [iPhone]iPhone13promax远峰蓝128G入手
- [安卓手机]realme真我GTNeo2开箱,金刚石冰芯散热系统+E4屏,5000mAh大电池
- [贴膜]红米9爆屏更换记录,弯曲的中框修复
- [智能机器人]编程从娃娃抓起,MakeBlock程小奔上手体验
- [智能摄像机]内置大电池,无需打孔走线,小米室外摄像机给你满满的安全感
- [充电器]65w网红氮化镓一次看个够
- [电脑支架]原汤化原食,LGErgo显示器支架
- [蓝牙耳机]中端耳机音质天花板,降噪很有一手,鹿图COCO真蓝牙降噪耳机评测
- [音频播放器]关于R01主板的主观看法,和一些碎碎念
- [充电器]双口快充,满足日常需求
- [VR设备]GOOVISLite头戴影院评测
- [蓝牙耳机]魅蓝Blus耳机体验,魅蓝依旧还是当年坚持做良品的青年良品
- [安卓手机]从5988跌至2749,256GB+鸿蒙OS+7nm麒麟,从高端市场跌至中端市场
- 「轻众测|素诺智能可视冲牙器」别急,对准再冲!素诺可视冲牙器让残渣无所
- 「九号新品Nano及Air T15」萌娃初体验——Ninebot九号平衡车Nano