「效果」二次元最懂二次元：B站开源动漫画质修复模型超分辨率画质更好

原文标题：二次元最懂二次元：B站开源动漫画质修复模型超分辨率画质更好

为了让你能高清重温童年的 XXX，AI 近来没少努力。

最近我们就发现了一个专为动漫图像而生的画质修复模型：

Real-CUGAN。

这个开源模型在今天登上了 GitHub 热榜，还来自 b 站官方。

它的效果也比此前俩个挺火的超分模型要更进一步，推理速度、兼容性什么的也都更快、更好。

" 老二刺猿 " 了就是说。

结构魔改自 Waiuf2x

Real-CUGAN，全名 Real Cascade U-Nets for Anime Image Super Resolution。

其结构魔改自此前大火的图片无损放大 / 降噪神器—— Waiuf2x （GitHub 标星 23k），并可以与之无缝兼容；训练代码基本来自腾讯去年刚出品的 RealESRGAN （GitHub 标星 9.1k）。

Waiuf2x 出自日本的一位 " 技术宅 "，原理大概就是把一堆二次元图片缩小再和原图放一起，通过算法让模型自己学会了如何放大拉伸图片。

Waiuf2x 有免费的网页版供大家使用。

RealESRGAN，主要通过模拟高分辨率图像变低分辩率过程中的各种 " 退化 " 过程，然后让模型看到一张糊图后倒推出来它的高清图。

它是对超分 " 前辈 "ESRGAN 的进一步改进，后者曾赢得 ECCV2018 PIRM-SR 挑战赛中的第一名。

相比这两位，Real-CUGAN 都有什么独到之处呢？

首先在训练集方面，前两者都是采用私有二次元训练集，量级与质量未知，Real-CUGAN 则用了百万级高清的二次元数据集。

在推理耗时方面（目标为 1080P），如果以 Waiuf2x 为基线，RealESRGAN 要耗费 2.2x 的时间，Real-CUGAN 则只需 1x。

在强度调整方面，Waiuf2x 可以支持多种降噪强度，RealESRGAN 没法调整，Real-CUGAN 则支持 4 种降噪强度与保守修复，未来还会提供不同程序的去模糊、去 JPEG 伪影、锐化等功能。

此外，Waiuf2x 只能实现 1 倍和 2 倍分辨率修复，RealESRGAN 只支持 4 倍，Real-CUGAN 则 2～4 倍都可以（1 倍还在训练中）。

当然，最最最重要的还是效果。

来看一些最直观的对比图：

可以看到，Real-CUGAN 和 Waiuf2x 的结果都差不多，但是 RealESRGAN 却没有处理好地板纹理。

在这组对比图中，Waiuf2x 明显不如后两者线条清晰，而相比 Real-CUGAN，RealESRGAN 中人物嘴巴和下颚处的线条是虚的，有杂线。

而在这组 " 极致渣清型 " 图片的超分效果中，Waiuf2x 仍然明显不够清晰。

而 RealESRGAN 整体清晰是清晰，却仍然出现了杂线，以及和明显的伪影——只有 Real-CUGAN 画面干干净净，表现最好。

面向 4 类玩家提供不同参数配置

为了方便更多的创造者，Real-CUGAN 面向 4 类群体开源了不同的推理参数设置。

-Windows 玩家

Real-CUGAN 为 Windows 用户打包了一个可执行环境（下载链接可在文末的仓库里自取）。

通过 congfig 文件可进行通用参数设置：在 mode 中填写 video 或者 image 决定超视频还是超图像。

模型分三类，具体选哪种也给了参考：

-Waifu2x-caffe 玩家

提供了两套参数：Real-CUGAN2x 标准版 ( denoise-level3 ) 和 Real-CUGAN2x 无切割线版。

-Python 玩家

需 torch>=1.0.0，配备 numpy、opencv-python、moviepy 模块。

-VapourSynth 玩家（专业视频压制）

这个就不细说了，相应的读者可以参见仓库的 Readme 说明～

最后，Real-CUGAN 也正在计划更新更多：包括快速模型、简单的 GUI、一步超到任意指定分辨率功能以及对本身效果的改进（优化纹理保留，削减模型处理痕迹）。

心动的朋友可以戳下方链接试试手：点此跳转

推荐阅读：芬兰LIFAair全智能净化加湿器<\a>