图像修复--论文阅读笔记（小白）_图像修复论文2023-程序员宅基地

技术标签：论文阅读笔记计算机视觉图像处理

LaMa: 基于傅立叶卷积的分辨率鲁棒的大掩模修复

WACV 2022论文

原论文：https://arxiv.org/abs/2109.07161
源代码（用于图像修复的代码）：https://github.com/saic-mdal/lama

引言：

问题描述：目前的图像修复算法在大块缺失区域、复杂几何结构以及高分辨率图像上的修复效果差强人意。

原因分析：在修复网络和损失函数都缺少有效的感受野。

解决方案： large mask inpainting（lama）

1）使用 fast Fourier convolutions（FFCs）以获取更大（wide）的感受野；

2）使用一个更大（high）感受野的 perceptual loss（感知损失）；

3）训练的时候采用更大（large）的 mask 来验证前 2 步改进的效果。

实验结果：超过了以往的 SOTA 模型，鲁棒性更好（即使在比训练的分辨率 256x256 更高的图像上也有很好的效果），参数量和时间也更少。

模型的主要架构：

原始彩色图片（3通道），mask图片（1通道），先将mask取反和彩色图片相乘，得到带有mask的彩色图片。然后将其和mask图片基于通道进行叠加，得到一个4通道的图片。

网络会首先进行下采样操作，然后经过快速傅立叶卷积处理，最后再上采样输出修复后的图像。

其中，在FFC的处理过程中，会将输入tensor基于通道分为2部分分别走2个不同的分支。一个分支负责提取局部信息，另一个分支负责提取全局信息。在global分支中会使用FFC提取全局特征。最后将局部信息和全局信息进行交叉融合，再基于通道进行拼接，得到最终的输出结果。

损失函数：

原始的监督损失要求生成器尽可能地去还原 Ground Truth。但是当遮挡区域很大时，已有的可见区域的信息不足以还原，因此模型会做出很多模棱两可的判断，从而导致模糊。

本文提出了 high receptive field perceptual loss（HRF PL）--高感受野感知损失，利用一个基本的预训练模型来评估预测图和目标图之间的距离。因为针对 large mask 的修复问题的重点是理解图像的全局结构，因此不需要精确的还原，允许有一定的变化。

其中[·−·]2是逐元素运算，其中 M 是层内均值和层间均值的2stage均值运算，ϕHRF(·)则可以用傅里叶或空洞卷积来实现。

基于局部patch的生成器，判别器的损失：

式中: x为数据集样本，m为综合生成的掩膜，xˆ = fθ(x') i为x'= stack( x⊙m,m)的修复结果，sgvar停止梯度, L Adv为联合损失进行优化。

判别器的梯度惩罚:

最终的损失函数是对 HRF PL 和其他几个损失函数（包括对抗损失）的融合:

训练集中的 mask 生成:

训练模型时采用了一种激进的 large mask 生成策略，随机生成遮挡面积较大的 wide 或 box 遮挡.

来自不同训练 mask 生成策略的样例。作者认为 mask 生成方式会极大地影响最终的修复效果。

实验结果表明，使用 large mask 策略会提高模型的性能，无论是在 narrow 亦或是 wide mask 上进行评估.

评估：

优于绝大多数的模型，指标好的没lama算法的参数量少，参数量少的没lama算法指标好.

研究人员在Places,CelebA-HQ数据集上的图像修复进行了实验，采用可学习感知图像斑块相似性（LPIP）和FID作为定量评估指标。与LaMa傅立叶模型相比，几乎所有的模型的性能都更弱（红色上箭头）。表中还包括了不同的测试掩码生成的不同策略的度量，即窄掩码（narrow）、宽掩码（wide）和分段掩码（segmentation），LaMa傅里叶的性能仍然更强，表明了实验方法更有效地利用了可训练参数。

该表显示了使用窄掩模或宽掩模训练不同修复方法的性能指标。这个▲ 表示劣化，以及▼ 表示由对应方法的宽掩模训练引起的分数的提高。LaMa和RegionWise修复显然受益于使用宽口罩的训练。这是一个经验证据，表明积极的掩模生成可能对修复系统有益。

模型效果：

将修复模型迁移到更高分辨率的图像上。随着分辨率的提高，基于传统卷积的模型开始产生致命的伪影，而基于 FFC 的模型继续生成精细的语义一致的图像。

作者还提出了Big Lama

Big lama傅立叶与拉lama傅立叶在三个方面不同：生成器的深度；训练数据集；以及批次的大小。它有18个残差块，全部基于FFC，产生51M个参数。该模型是在Places Challenge数据集中450万张图像的子集上进行训练的。正如lama的标准基础模型一样，Big LaMa仅在约512×512图像的低分辨率256×256作物上进行训练。Big LaMa使用的批量更大，为120（而不是我们其他型号的30）。尽管我们认为这个模型相对较大，但它仍然小于一些基线。它在八个NVidia V100 GPU上进行了大约240小时的训练。Big LaMa模型的修复示例如图1和图5所示。

本文链接：https://blog.csdn.net/lgy18785500219/article/details/130155974

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

c# 调用c++ lib静态库_c#调用lib-程序员宅基地

文章浏览阅读2w次，点赞7次，收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案，在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建：添加Visual C++ , Win32 项目这......_c#调用lib

deepin/ubuntu安装苹方字体-程序员宅基地

文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体，挺好看的。注重颜值的网站都会使用，例如知乎：font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang

html表单常见操作汇总_html表单的处理程序有那些-程序员宅基地

文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--method将表单中的数据传送给服务器处理，get方式直接显示在url地址中，数据可以被缓存，且长度有限制；而post方式数据隐藏传输，_html表单的处理程序有那些

PHP设置谷歌验证器（Google Authenticator）实现操作二步验证_php otp 验证器-程序员宅基地

文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证（即Google Authenticator服务）后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器

【Python】matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距-程序员宅基地

文章浏览阅读4.3k次，点赞5次，收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距

docker — 容器存储_docker 保存容器-程序员宅基地

文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节，实现了多层数据的堆叠，为用户提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制（CoW）策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的，不建议用于生成环境。_docker 保存容器

随便推点

网络拓扑结构_网络拓扑csdn-程序员宅基地

文章浏览阅读834次，点赞27次，收藏13次。网络拓扑结构是指计算机网络中各组件（如计算机、服务器、打印机、路由器、交换机等设备）及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式，也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn

JS重写Date函数，兼容IOS系统_date.prototype 将所有 ios-程序员宅基地

文章浏览阅读1.8k次，点赞5次，收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时，通常的做法是：new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的，而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠，也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑，需要做一些额外的特殊处理，笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数，一劳永逸，避免每次ne_date.prototype 将所有 ios