渐进式图像重构网络：像画画一样重构图像

绘画的时候，我们一般会先勾勒出轮廓，然后再一步步细化、上色，最终完成画作。图像生成是否也可以遵循这个步骤呢？研究人员受此启发，构建了渐进式图像重构网络。该网络仅根据稀疏边缘和颜色域，按照模拟、重构、微调三个阶段生成了详细的逼真图像。

Demo 演示动图

引言

图像重构（IR）对物理与生命科学领域的图像应用软件来说至关重要，其目的在于根据 ground truth 图像抽取出的的各类信息对图像进行重构。

一般而言，一幅图像由内容和样式组成。提取自图像或者手工绘制的草图是草图-图像（sketch-to-image，S2I）合成领域的常见内容。但是，包含线条粗细和边缘强度（boundary intensity）等密集详细信息的草图很难编辑或绘制。具有梯度的二值等值线图也可以表示图像，但仅限于图像编辑领域。简而言之，上述方法所提取的内容并不足够稀疏，也不便于控制。

近来，在图像到图像（I2I）转化领域，Pix2Pix等可以从稀疏的二值边缘图中合成逼真图像，并根据条件生成对抗网络（cGAN）部署循环框架。这些方法将图像的内容和样式解耦，以便分别提取。但是，在边缘到图像（edge-to-image，E2I）转化领域，示例引导的样式输入无法在输出中准确地重构高保真样式或颜色。

上述限制因素使我们考虑如何解决更稀疏输入和更可控样式空间这两者间的矛盾。本文在一定程度上受到了绘画过程的启发，绘画过程又可以概括为三部分：临摹、初始绘画和微调。绘画界建议有抱负的年轻画家在初学绘画的时候可以通过临摹大师的画作来加强自己的基础技能。在绘画初始的阶段，简单几笔轮廓和背景填充提供了一幅图画基本要素和结构信息。在微调阶段，随着图画颜色层次感的不断提升带来的光影效果，整个画作得以逐步细节化。

与这种绘画过程类似，研究人员提出了一种通用的图像重构方法，以便展示具有二值稀疏边缘和平面颜色域（color domain）的细节图像。二值边缘和颜色域的输入足够稀疏和简单，因而可以提取（图 1（a））、可以手绘（图 1（b））或者可以编辑（图 1（c））。为了提高图像样式的可控性和可解释性，研究人员没有像在 I2I 转化中那样提取隐含的潜在样式向量，而是输入颜色域作为显式的样式特征。具体来说，研究人员构建的基于生成对抗网络的模型也包含三个阶段：模拟阶段、生成阶段和微调阶段，三者分别对应绘画过程的三部分内容。如图 1 所示，在 E2I 转化域内，模型 PI-REC 在稀疏输入的用户自定义样式测试中表现良好。相较于以往的方法，模型 PI-REC 可以生成更准确的、具有颜色风格的内容细节。

论文代码参见：https://github.com/youyuge34/PI-REC/

本文的主要贡献如下：

• 提出了一种新颖的通用图像重构架构，其中所使用的渐进式策略使模型 PI-REC 能够从稀疏输入重构高保真图像。

• 研究人员没有提取 I2I 转化中常用的潜在隐式向量，而是将平面颜色域用作显式的样式输入，从而提高了可控性和可解释性。

• 研究人员提出了针对模型 PI-REC 的超参数混淆（HC）操作，进而获得了显著的手绘草图转化结果，希望此研究能推动自动绘画技术的发展。

图 1：（a）图像重构结果。本文中的方法能够从提取的稀疏边缘和平面颜色域中重构逼真图像。（b）手绘草图转化。本文中的方法可以在手绘草图的基础上合成准确和微调图像。（c）用户自定义 E2I 转化。用户可以将自定义和像素级的样式图像注入模型 PI-REC 中以便精准获得期望输出。

论文：PI-REC: Progressive Image Reconstruction Network With Edge and Color Domain

论文地址：https://arxiv.org/pdf/1903.10146.pdf

研究人员提出了一种通用的图像重构方法以展示仅根据二值稀疏边缘和平面颜色域重构的详细图像。受绘画过程启发，研究人员构建了基于生成对抗网络的框架，该框架由三个阶段组成：旨在初始化网络的模拟阶段、重构初始图像的生成阶段以及微调初始图像以生成最终详细输出的微调阶段。该框架允许模型根据稀疏输入信息生成大量高频细节。

研究人员还探讨了从图像中隐式分解样式潜在空间的缺陷，表明模型中显式的颜色域在可控制性和可解释性方面表现更好。在实验中，研究人员在重构真实图像以及将手绘草图转化为令人满意的图像方面都取得了突出结果。此外，在边缘到图像（E21）的转化任务中，研究人员构建的模型 PI-REC 成为目前定量和定性评估真实性和准确性的最佳方法。

PI-REC

本文的最终目的是仅根据二值稀疏边缘和颜色域重构逼真的图像。因此，研究人员提出了 PI-REC 模型架构，它由三个阶段构成：模拟阶段、生成阶段和微调阶段，这些阶段都仅用一个生成器和一个判别器。在训练期间，在同一个生成器�