「生物」电子科大95后研发首款单耳生物传感器,53个特征点进行实时面部三维重构,无需光学成像也能检测表情
原文标题:电子科大95后研发首款单耳生物传感器,53个特征点进行实时面部三维重构,无需光学成像也能检测表情
图 | BioFace-3D 耳戴式设备(来源:MobiCom 2021)
日前,该团队设计出一款全新耳戴式设备,可持续收集用户生物信息,并可对其面部活动进行 3D 准确还原 [ 1 ] 。据其介绍,这是第一款基于生物信号、并能准确、持续、无侵入式地进行面部追踪和还原的耳戴式设备。
图 | 基于耳戴式设备的多种表情面部还原(来源:MobiCom 2021)
日前,相关论文以《BioFace-3D:通过轻型单耳生物传感器连续进行三维面部重建》(BioFace-3D: Continuous 3D FacialReconstruction Through Lightweight Single-ear Biosensors)为题,发表在计算机网络及移动计算领域国际顶级会议 ACM MobiCom2021 上,美国田纳西大学刘健教授课题组 MoSIS Lab 博士生武艺担任第一作者。
图 | 相关论文(来源:MobiCom 2021)
他认为,基于摄像头的传统面部追踪系统存在许多限制,进而会带来诸多不便:" 摄像头是获取面部信息时最直观的使用方法。但是,必须保证光照充足,脸部也要时刻对准镜头,并且镜头必须没有遮挡。
图 | 武艺(来源:武艺)
此外,摄像头的高功耗和隐私安全也亟待解决,这导致摄像头在某些场景很难投入使用,比如漆黑环境中、人物戴着口罩时、以及体验 VR 游戏需要进行大量身体活动时。"
图 | 基于摄像头的面部动态捕捉系统的诸多限制(来源:MoSIS Lab@UTK)
基于此,该团队设计出首款可摆脱这些限制、并能持续进行面部追踪还原的耳戴式设备。耳机中包含一个接地电极插槽,并与环绕在脑后的头带集成。针对不同的头型,他们设计了大中小三种尺寸的原型。
头带中还包含一个电路盒,用来储存各种硬件。耳戴式设备的所有组件均由 PLA (聚乳酸)的 3D 打印技术制造而成,因此机身重量较轻。BioFace-3D 主要基于德州仪器 ADS1299 芯片的生物放大器电路、OpenBCI 公司的 Cyton Board、以及粘在用户皮肤上的氯化银电极表面电极,上面还集成了蓝牙模块。
其原理是,当脸部做活动时,肌肉会进行收缩从而产生微弱的电信号,在医学上这叫肌电图(EMG)。该耳戴式设备上的生物传感器,在捕捉到这些电信号并经过放大器放大后,可通过蓝牙将信号发给计算机。接着,计算机上的深度学习算法即可开始工作,持续不断地将未经处理的生物信号、以每秒 20 帧的速度转换为 53 个表现面部特征的特征点。
不同面部动作,会牵扯到不同肌肉组织,从而产生不同的肌电图。而深度学习算法可精确捕捉到这些差别,借此还原出使用者的面部表情。在经过卡尔曼滤波的处理后,这些面部特征点经由一个事先训练好的头部模型,即可转化为 3D 的虚拟形象。
图 | 不同的面部动作对应不同的肌肉组织(来源:MobiCom 2021)
研究中,该团队召集 16 名志愿者,来参与测试该耳戴式设备。实验结果表明,在平均 1.85 毫米的绝对误差下,该设备可准确还原 53 个表现用户表情的面部特征点,这可与大多数最先进的基于摄像机的解决方案相媲美。
视频 | 系统演示(来源:MoSIS Lab@UTK)
当用户戴上口罩,该系统仍能以 1.93 毫米的绝对误差对面部做以准确还原。在实验结束后,武艺还让志愿者填写体验问卷,结果显示有 13 名参与者对该设备持积极态度并愿意使用它。此外,该系统的功耗为 118 毫瓦,在一块锂电池的作用下可连续 8 小时采集并发送生物信号。
图 | 用户调查问卷的结果(来源:MobiCom 2021)
通过生物信号,可生成 53 个特征点的坐标
回忆研究流程,其表示第一步是获取高信噪比的生物信号,来保证用户面部信息可被有效捕捉到。同时为提高用户体验,不仅要保证生物传感器的数量尽可能地少,还要保证这些传感器可被设置在非敏感面部区域。
测试之后,该团队将 5 个生物传感器设置在佩戴者耳部附近,该区域可在不牺牲信噪比的同时提高使用体验。基于这五个生物传感器的位置,他们完成了耳戴式设备的设计和 3D 打印工作。
下一步是通过构建算法,来从未处理的生物信号中,准确地还原面部特征点。这时就得用到深度学习,它能通过算法找出不同信号之间的联系,从而达成人类无法做到的事情。
要想把模型训练成功,首先要收集大量生物信号、以及与之对应的面部特征点的真值。在采集生物信号的同时,武艺等人使用摄像头记录下用户面部活动,进而通过预先训练好的高精度视觉神经网络,来从视觉信号中获取面部特征点的真值。
经过反复测试,该系统最终选择了基于含有 98 个面部特征点的 WFLW 数据集训练的视觉模型,并从 98 个特征点中选择 53 个代表性特征点, 包含眉毛、眼睛、鼻子和嘴巴,并可展现出 8 种不同的面部表情,如无表情、高兴和生气等。这些提取出来的特征点坐标,将用来训练以生物信号为输入的神经网络。
在测试阶段,该系统不仅无需使用摄像头,而且仅凭生物信号即可生成 53 个特征点的坐标,即可达成和基于摄像头的方法相媲美的效果。
由于持续收集的生物信号,从本质上来说就是时间序列,为此该团队设计了基于一维卷积的神经网络,以此来将生物信号以每秒 20 帧的速度转换为 53 个特征点。武艺表示,从未处理的时间序列信号中,一维卷积神经网络可快速提取代表性特征,并进行高效准确的面部还原。
图 | 从预先训好的视觉神经网络中提取真值,再通过以生物信号为输入的网络进行还原(来源:MobiCom 2021)
在一块英伟达 2080Ti 显卡的运作下,神经网络能以 0.033 毫秒一帧的速度,迅速生成面部特征点。为保证生成的 3D 脸部动画的稳定性,该系统对生成的面部特征点序列,进行了卡尔曼滤波,以提升 3D 动画的最终视觉效果,即视觉观感更顺滑。经过滤波后的特征点,会经过预先训练好的模型生成对应的虚拟形象。
可用于阿兹海默症的早期预警等
该设备可摆脱必须在用户面前放一台摄像头的限制,涉及的系统也能和诸多新兴技术进行有效结合。例如,该系统可作为 VR 头盔的扩展,就算你戴着 VR 头盔也可被实时获取面部表情。
把这些表情实时导入 VR 社交软件中,即可将表情还原出来,并能提升沉浸感,从而让虚拟世界更真实。
类似地,在疫情期间即使大家都戴口罩,该系统也可捕捉到人们的表情。也可作为人机交互的无声语音接口,让用户通过做表情就能给电子产品发出指令。
该设备也有用于健康监控的潜在能力,通过长期监测用户表情,即可评估其认知功能,进而可用于阿兹海默症的早期预警。
图 | 可能的应用市场(来源:MoSIS Lab@UTK)
据悉,此次论文也是武艺博士期间以一作身份发表的首篇顶会论文。在提交论文的截稿日几天前,他经历了一个小插曲:字号用错了。MobiCom 要求 10 号字体及以上,而临到头他才发现一直使用 9 号字。如果没有发现及时,论文很有可能被拒稿,并导致团队努力付之东流。为此,武艺和团队连夜进行大幅删减、修改,赶在截稿日前一天完成全部论文写作。他说这个插曲给自己敲响了永生难忘的警钟。
武艺和该论文的另一位作者李倬航,目前均是田纳西大学 EECS 系的博士生, 在刘建教授课题组 MoSIS Lab
攻读博士学位。他俩从本科时便是同学,均毕业于电子科技大学,硕士则毕业于罗格斯大学计算机工程系。
未来,该项目团队计划将通过设计定制型数据收集板,来进一步提高系统的能源效率,也将使用更紧凑的模拟和更少的通道。团队还计划开发一个与主要 AR/VR 平台(如 OpenVR)兼容的 API 库和一款 App,以便去支持各种移动设备。
推荐阅读:昂吉EK900净化器评测<\a>
其他人还看了
魅族16s怎么提高定位准确性(魅族16s提高定位准确性教程)
Win10系统时间不准怎么办?Win10系统时间不准确的解决方法
郑重声明:本文“「生物」电子科大95后研发首款单耳生物传感器,53个特征点进行实时面部三维重构,无需光学成像也能检测表情”,https://nmgjrty.com/shumacp_235877.html内容,由DeepTech深科技提供发布,请自行判断内容优劣。
- 全部评论(0)
- 亚洲欧洲VAT更新了!网友:没错,更精彩了
- 亚洲欧洲VAT免费播放!网友:已经来了不少
- 亚洲欧洲VAT很多女主播加入!网友:这里没有任何限制
- 亚洲欧洲VAT不收费了!平台主播:今天开始免费!
- 天干天干天啪啪夜爽爽av被盛赞,网友们纷纷求续集!
- 日本linodeiphone69内容区开放了!网友:可以白嫖了
- 日产一区日产2区 维护成功,可以无限制进出了!
- Vodafonewififreehd晚上偷偷看!粉丝:低调一点!
- W永久939W乳液人气暴涨原因,无限制出入是关键!
- 大香煮伊在2020一二三久又开放了,还不限制出入!
- HAYAXURAX18永不失联!网友:还可以使用!
- 939w78v78w乳液永久w免费播放!网友:已经来了不少
- PRUBURBHD内容区开放了!网友:可以白嫖了
- 亚洲欧洲VAT出入无限制!网友:平台都这样才好!
- 精品无人乱码一区二区三区在开放视频!网友:确实开放了!
- 天天躁恨恨躁夜躁2020晚上偷偷看!粉丝:低调一点!
最新更新
- 亚洲欧洲VAT更新了!网友:没错,更精彩
- 亚洲欧洲VAT免费播放!网友:已经来了不
- 亚洲欧洲VAT很多女主播加入!网友:这里
- 亚洲欧洲VAT不收费了!平台主播:今天开
- 天干天干天啪啪夜爽爽av被盛赞,网友们
- 日本linodeiphone69内容区开放了!网友:可
- 日产一区日产2区 维护成功,可以无限制
- Vodafonewififreehd晚上偷偷看!粉丝:低调一
- W永久939W乳液人气暴涨原因,无限制出入
- 大香煮伊在2020一二三久又开放了,还不限
- HAYAXURAX18永不失联!网友:还可以使用!
- 939w78v78w乳液永久w免费播放!网友:已经
- PRUBURBHD内容区开放了!网友:可以白嫖了
- 亚洲欧洲VAT出入无限制!网友:平台都这
- 精品无人乱码一区二区三区在开放视频!
推荐阅读
- 「生物」我们应该寻找什么样的外星生命,高等的还是低等的?
- 「空间望远镜」韦布空间望远镜捕捉到布满恒星的创生之柱
- 「行者」从《双城之战》到《边缘行者》,游改动画迎来盛世?
- 「国际象棋」智能肛珠作弊案反转:19岁小将告世界冠军诽谤索赔7亿
- 「英伟达」不止是游戏党,他们才是被英伟达坑怕的人。
- 「索尼」索尼官宣!猜猜A7R5多钱?R2要价1.9万、R3要价2.4万、R4要价2.7万……
- 「癌症」一种癌症转移的关键因素
- 「智能手表」面世八年后,谷歌的智能手表生态终于迎来开放曙光
- 「adobe」用VR手捏3D模型,PS直接与甲方对线,Adobe新技术确实给设计师炫到了
- 「amd」RTX40的对手来了!AMDRDNA3显卡发布会官宣
- 「奥斯汀」苹果M3准备登场,库克展示奥斯汀AppleSilicon工程团队努力成果
- 「马修」Copilot要摊官司了!工作20年老程序员重新激活律师证,发起集体诉讼,
猜你喜欢
- [iPhone]iPhone13promax远峰蓝128G入手
- [安卓手机]realme真我GTNeo2开箱,金刚石冰芯散热系统+E4屏,5000mAh大电池
- [贴膜]红米9爆屏更换记录,弯曲的中框修复
- [智能机器人]编程从娃娃抓起,MakeBlock程小奔上手体验
- [智能摄像机]内置大电池,无需打孔走线,小米室外摄像机给你满满的安全感
- [充电器]65w网红氮化镓一次看个够
- [电脑支架]原汤化原食,LGErgo显示器支架
- [蓝牙耳机]中端耳机音质天花板,降噪很有一手,鹿图COCO真蓝牙降噪耳机评测
- [音频播放器]关于R01主板的主观看法,和一些碎碎念
- [充电器]双口快充,满足日常需求
- [VR设备]GOOVISLite头戴影院评测
- [蓝牙耳机]魅蓝Blus耳机体验,魅蓝依旧还是当年坚持做良品的青年良品
- [安卓手机]从5988跌至2749,256GB+鸿蒙OS+7nm麒麟,从高端市场跌至中端市场
- 「轻众测|素诺智能可视冲牙器」别急,对准再冲!素诺可视冲牙器让残渣无所
- 「九号新品Nano及Air T15」萌娃初体验——Ninebot九号平衡车Nano