「分辨率」可调节的真实场景图像超分辨率,腾讯ARCLab利用度量学习来解决
精选评测好文
原文标题:可调节的真实场景图像超分辨率,腾讯ARCLab利用度量学习来解决
机器之心专栏
作者:Chong Mou
来自腾讯 ARC Lab 的研究者们提出利用无监督的度量学习 , 来训练现实场景下可调节的图像超分辨率任务。
现实世界超分辨率 ( Real-world super-resolution ) 是指从包含真实退化的低分辨率图像中复原得到高分辨率的图像 . 可调节的现实世界图像超分辨率是一个很有挑战的任务 , 因为降质 ( degradation ) 过程复杂且未知,可调节的交互机制很难通过有监督的训练来完成。
对于可调节的图像超分辨率 , 之前的工作主要在经典退化的仿真数据上进行研究,也就是说我们已知了退化类型和退化强度。虽然这种设计在仿真数据上有不错的表现,但在现实场景下的应用仍然存在很多问题:
经典的仿真退化很难模拟复杂的现实世界退化,训练出的网络在现实世界数据上重建效果较差。同时,这种设定下训练得到的可调节交互机制在现实世界数据上的调节效果也会大打折扣。
虽然高阶退化可以用来仿真现实世界的低清图像,但这种仿真退化下的退化强度是未知的,很难通过有监督的训练来构建这种可调节交互机制。
最近无监督的对比学习在底层视觉领域受到越来越多的关注。这类方法方便了复杂降质特征的提取,这给来自腾讯 ARC Lab 的研究者们提供了一个思路 : 是否可以利用对比的方式无监督的构建现实场景下图像超分辨率的可调节交互机制 ?
论文:MM-RealSR: Metric Learning based Interactive Modulation for Real-World Super-Resolution
论文地址 : https://arxiv.org/pdf/2205.05065.pdf
开源代码:https://github.com/TencentARC/MM-RealSR
Colab Demo: https://colab.research.google.com/drive/1pIpHK4g2uKdbYXIuskusL9WdwQVZAz1q
这篇工作的核心是利用度量学习在高阶仿真退化中,通过对比不同样本退化强度大小的方式无监督地构建退化强度的度量空间。度量空间中的退化得分不代表真实的退化强度,但可以反映退化强度的相对大小。本篇文章提出的方法(MM-RealSR)通过度量空间中的退化得分来构建现实场景下图像超分辨率的可调节交互机制。
本文提出了在复杂的退化空间中,划分两个度量空间,分别是广义 noise 和广义 blur。因为这两种退化因素是真实场景下最为常见的也是人们最关注,和最需要调节的。MM-RealSR 在现实场景下可以达到如下图 1 的调节效果。相比于近几年其他可调节复原方法 , MM-RealSR 不仅实现了现实场景下的可调节图像超分辨率 , 整体重建结果也更加自然。
图 1. MM-RealSR 在真实场景下的可调节超分辨率效果
现有可调节复原方案的回顾与对比
如图 2 所示,首先来看,现有方案针对的图像退化设定是低阶的,需要已知退化类型和退化强度的。本文提出的方案面向现实场景,退化过程是高阶的,未知退化类型和退化强度的。
图 2. 本文提出方案与现有方法的对比
MM-RealSR 结构
本文关注真实场景中最常见的两种退化因子,广义 noise 和广义 blur,并对这两种退化因子做了一般化的定义如图 3 所示。其中 noise 包含高斯噪声、泊松噪声,和 JPEG 压缩等;blur 包含各向同性、各向异性,以及随机尺寸变换等模糊因素。
图 3. 退化因子的定义
针对这两种退化因子,本文提出的无监督退化估计模块如图 4 所示。通过度量学习,该模块将难以量化的现实世界退化强度映射到两个独立的度量空间之中。通过不同退化强度之间的大小对比,构建度量空间中的距离关系。本文额外通过一个锚点损失函数限制度量空间的分布。虽然度量空间中的退化得分无法反映真实的退化强度,但可以体现退化强度的相对大小关系。本文将无监督的退化估计模块和图像超分辨率模块进行联合训练,来构建退化得分和重建结果之间的可调节关系。
图 4. 基于度量学习的无监督退化估计模块
本文提出的总模型结构如图 5 所示。由退化估计模块、状态变量生成模块,以及重建模块构成。其中状态变量生成模块将预测到的退化得分转化成一组状态变量,并将这组状态变量以仿射变换的方式注入图像重建模块当中去,起到调节重建结果的作用。实验证明,本文提出的方法兼顾优越的重建效果和可调节能力。
图 5. 基于度量学习的可调节现实世界图像超分辨率网络
损失函数
本文通过 L1,Perceptual 和 GAN 复原损失函数来保证图像重建质量,通过度量损失函数(margin ranking losses)来训练噪声度量空间和模糊度量空间。度量损失函数的表达式 :
为了控制度量空间中评分的分布,本文还提出了一个锚点损失函数:
和现有的现实世界图像超分辨率工作 Real-ESRGAN 类似,本文采用高阶退化的仿真数据作为训练数据。更多的细节请参见论文。
实验结果
研究者们在现实世界的低质量数据上做了重建效果的测试 :
可以看到,本文提出的方法在具备交互能力的基础上,超分辨率的性能也达到了 SOTA 的水平,主观结果也更加美观自然。
研究者们在现实世界数据上对无监督退化评分器的评分能力进行了测试:
可以看到,无监督退化评分器可以较好地评估现实场景下的退化强度。
研究者们在现实世界数据上对网络的交互重建能力进行了测试:
可以看到,对比现有方法,MM-RealSR 在交互重建能力上有更好的表现。它的交互范围更大,重建效果更好。
小结
本文提出了在真实场景下,可调节的维度主要是广义 noise 和广义 blur 两方面。通过无监督的度量学习,首次实现了真实场景下可调节的图像超分辨率。提出的方法在调节能力和超分辨率性能上都取得了优异的表现。
掌握「声纹识别技术」:前 20 小时交给我,后 9980 小时……
《声纹识别:从理论到编程实战》中文课上线,由谷歌声纹团队负责人王泉博士主讲。
课程视频内容共 12 小时,着重介绍基于深度学习的声纹识别系统,包括大量学术界与产业界的最新研究成果。
同时课程配有 32 次课后测验、10 次编程练习、10 次大作业,确保课程结束时可以亲自上手从零搭建一个完整的声纹识别系统。
其他人还看了
「锐龙」AMD独家技术DDR5内存可一键超频性能瞬间提升11%
LG发布新款IPSBlack面板显示器:27英寸4K分辨率,USB-C一线连
LG上架新款49WQ95C显示器:5120*1440分辨率/144Hz刷新率,12999元
「iphone」IDC:iPhone14有望巩固苹果高端手机市场优势
郑重声明:本文“「分辨率」可调节的真实场景图像超分辨率,腾讯ARCLab利用度量学习来解决”,https://nmgjrty.com/shumacp_597643.html内容,由机器之心提供发布,请自行判断内容优劣。
- 全部评论(0)
- 「分辨率」可调节的真实场景图像超分辨率,腾讯ARCLab利用度量学习来解决
- 「amd」性能暴涨!AMD新一代小钢炮R57600X初步评测出炉
- 「抖音」2个程序员半个月开发出的工具火了,连造火箭、游戏开发等100+公司都
- 「一加」一加Ace12GB大内存手机只要2000多
- 「锐龙」AMD独家技术DDR5内存可一键超频性能瞬间提升11%
- 「固态硬盘」老电脑再战三年,京造480GBSATA3固态地板价
- 「小米」小米12SUltra至尊版曝光徕卡加持
- 「ios」iPhone14Pro的“灵动岛”设计,到底强在哪?
- 「中兴」苹果这次的灵动岛,又被玩坏了
- 「以太坊」以太坊合并,去中心化世界迎来“大考”
- 「乐视」五年没有新债务的乐视,想卖出更多的电视手机
- 「安卓」安卓可抄难得精髓!朱海舟评价iPhone14系列灵动岛
- 「intel」第12代酷睿悄然涨价?还好暂时只是虚惊一场
- 「死神」2022年的“霸权”,都在10月新番里?
- 「中兴」中兴“嘲讽”iPhone灵动岛设计:无岛设计比灵动更灵动
- 佳能与淘宝发布《电商直播高画质开播指南》,1-2万元可打造高画质直播间
最新更新
- 「分辨率」可调节的真实场景图像超分辨
- 「amd」性能暴涨!AMD新一代小钢炮R57600
- 「抖音」2个程序员半个月开发出的工具火
- 「一加」一加Ace12GB大内存手机只要2000多
- 「锐龙」AMD独家技术DDR5内存可一键超频性
- 「固态硬盘」老电脑再战三年,京造480
- 「小米」小米12SUltra至尊版曝光徕卡加持
- 「ios」iPhone14Pro的“灵动岛”设计,到底
- 「中兴」苹果这次的灵动岛,又被玩坏了
- 「以太坊」以太坊合并,去中心化世界迎
- 「乐视」五年没有新债务的乐视,想卖出
- 「安卓」安卓可抄难得精髓!朱海舟评价
- 「intel」第12代酷睿悄然涨价?还好暂时只
- 「死神」2022年的“霸权”,都在10月新番
- 「中兴」中兴“嘲讽”iPhone灵动岛设计:
推荐阅读
- 「amd」性能暴涨!AMD新一代小钢炮R57600X初步评测出炉
- 「抖音」2个程序员半个月开发出的工具火了,连造火箭、游戏开发等100+公司都
- 「一加」一加Ace12GB大内存手机只要2000多
- 「锐龙」AMD独家技术DDR5内存可一键超频性能瞬间提升11%
- 「固态硬盘」老电脑再战三年,京造480GBSATA3固态地板价
- 「小米」小米12SUltra至尊版曝光徕卡加持
- 「ios」iPhone14Pro的“灵动岛”设计,到底强在哪?
- 「中兴」苹果这次的灵动岛,又被玩坏了
- 「以太坊」以太坊合并,去中心化世界迎来“大考”
- 「乐视」五年没有新债务的乐视,想卖出更多的电视手机
- 「安卓」安卓可抄难得精髓!朱海舟评价iPhone14系列灵动岛
- 「intel」第12代酷睿悄然涨价?还好暂时只是虚惊一场
猜你喜欢
- [iPhone]iPhone13promax远峰蓝128G入手
- [安卓手机]realme真我GTNeo2开箱,金刚石冰芯散热系统+E4屏,5000mAh大电池
- [贴膜]红米9爆屏更换记录,弯曲的中框修复
- [智能机器人]编程从娃娃抓起,MakeBlock程小奔上手体验
- [智能摄像机]内置大电池,无需打孔走线,小米室外摄像机给你满满的安全感
- [充电器]65w网红氮化镓一次看个够
- [电脑支架]原汤化原食,LGErgo显示器支架
- [蓝牙耳机]中端耳机音质天花板,降噪很有一手,鹿图COCO真蓝牙降噪耳机评测
- [音频播放器]关于R01主板的主观看法,和一些碎碎念
- [充电器]双口快充,满足日常需求
- [VR设备]GOOVISLite头戴影院评测
- [蓝牙耳机]魅蓝Blus耳机体验,魅蓝依旧还是当年坚持做良品的青年良品
- [安卓手机]从5988跌至2749,256GB+鸿蒙OS+7nm麒麟,从高端市场跌至中端市场
- 「轻众测|素诺智能可视冲牙器」别急,对准再冲!素诺可视冲牙器让残渣无所
- 「九号新品Nano及Air T15」萌娃初体验——Ninebot九号平衡车Nano