NTU华人学生发布GAN模型，130毫秒生成动漫肖像！LeCun点赞：超越梵高

---

  新智元报道  

来源：外媒

编辑：LRS

AgileGAN模型是一个能对肖像图进行风格化的模型，论文发表在计算机图形学顶级会议 SIGGRAPH 2021上。

当把Yann LeCun的照片输入到模型中，会发生什么？（Lecun本人会回复你）

LeCun的肖像画输入到AgileGAN中，以三种形式（卡通、漫画、油画）输出，获得了LeCun本人极高的评价：比梵高画的还好！

对于这三张图片，网友表示，最后一张漫画风格图和孙悟空很像！

肖像画作为一种艺术形式，已经从传统的现实主义描绘演变为其他大量的创作风格。

尽管在肖像自动风格化方面已经取得了实质性进展，但是生成高质量的肖像画仍然是一个挑战，即使是使用最近流行的Toonify，在用于输入真实的图像时也遭受了一些瑕疵的困扰。

这种基于StyleGAN的方法着重于寻找最佳的隐空间映射来重建输入图像。但是，我们发现这并不能很好地作用出不同的肖像风格。

因此，论文提出了AgileGAN，这是一个可以通过隐射一致隐空间的转移学习生成高质量风格肖像的框架。引入了一种新颖的分层变分自编码器，以确保映射隐空间分布符合原始的高斯分布，同时将原始空间扩展为多维度隐空间，以便更好地编码不同级别的细节。

为了更好地捕获面部特征生成，我们还提出了一种属性感知生成器，并采用了一种动态停止策略，以避免过度拟合小型训练数据集。

我们的方法在创建高质量和高分辨率（1024×1024）肖像风格化模型方面提供了更大的敏捷性，只需要有限数量的风格样本（~100）和较短的训练时间（~1小时）。

我们收集了几个用于评估的风格数据集，包括 3D 卡通、漫画、油画和名人。

结果表明，通过定性、定量和通过用户调研研究进行的比较，可以实现优于以前最先进方法的肖像风格化质量。

文中还将演示该方法的两种应用，图像编辑和风格视频生成。

给定单个输入图像，AgileGAN可以快速（130 毫秒）并自动生成各种艺术风格的高质量（1024×1024）风格人像 。对于一种新风格，我们的敏捷训练策略仅需要大约100个训练样本示例，并且可以在1小时内完成训练。

模型的主要流程是一个分层VAE，由一个编码器和生成器组成，带有表示不同训练数据流的不同颜色箭头基于StyleGAN2。蓝色箭头表示图像embedding，橙色箭头表示迁移学习。黑色边框表示块权重，从FFHQ数据集上预先训练的StyleGAN2得到的预训练权重，在训练期间参数保持不变。输入由Erin Wagner（public domain）提供。

为了生成样式化的肖像，模型使用一个相对风格范例的小集合。主要框架基于StyleGAN2，但增强了多路径结构，以更好地适应与已知属性相对应的不同特征，如性别等。

为了缓解解决数据集的特征问题，更好地保留用户身份，训练过程采用了迁移学习和早期停止策略来训练生成器。

属性感知（attribute-aware）生成器网络的体系结构。每个潜在编码

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/