酷应用

简笔草图「一秒」生成真实人脸，这款人像生成AI，究竟有多厉害？

百家作者：新智元 2020-09-23 10:43:30

新智元报道

来源：学术头条

编辑：白峰

【新智元导读】随着人工智能技术的发展，其用途也变得丰富多样，而在与图像结合方面，AI 面部识别技术和创建逼真图像的算法一直备受关注。

近日，这一领域似乎又取得了新的突破：一种名为 DeepFaceDrawing 的 AI 图像转换器能够根据简单的素描草图，创建出足以以假乱真的人脸图像，并取得了不俗的成果。

AI与图像：逼真的假象

其实，当下已经有一种 AI 算法，可以帮助我们绘制出 3D 物体的平面图片。该算法使用图论（graph theory），首先获取 3D 模型作为输入，并逐步进行细分，最后绘制出这一 3D 对象的平面图像作为输出。

但是，如果将这个过程倒转过来，我们就能得到另外一种算法——该算法可以从粗糙的绘画图纸中获得逼真的图像。虽然这看起来像是科幻小说中的场景，但一年半前，NVIDIA 的科学家就已经开始使用它了。

人们可以从左边下侧的选项中选择要绘制的内容，并在右侧获得逼真的图像输出，然后能够得到摄影般的风景图像。但是它也具有局限性——不能创建出逼真的人脸。

实际上，为了达到这一目标，科学家们也做出了许多努力，然而多数类似的AI算法框架都需要详细的、绘制良好的草图。因此实用性、普遍性都不够高。

而一个全新的AI算法正在解决这些问题，这就是 DeepFaceDrawing：从素描草图中深度生成面部图像。

据了解，该项目由北京中国科学院和香港城市大学的一个团队创造，DeepFaceDrawing 也是迄今为止最先进的图像生成器之一。

手残党也能画出摄像级人脸

DeepFaceDrawing 实际上是一种基于深度学习的图像-图像转换技术，从非常简单粗糙的素描草图开始，创建出逼真的人脸图像，这一设计旨在帮助那些绘图经验很少的人。

根据该团队的说法，“我们的主要想法是从真实的面部素描图像中隐式地学习一个合理的面部描写空间，并在该空间中找到最接近的点来模拟该输入草图。”

DeepFaceDrawing 的深度学习框架使用模块来生成图像-CE（组件嵌入），FM（功能映射）和IS（图像合成）。CE模块本质上可以识别一些最突出的面部特征，例如眼睛，鼻子，嘴巴和目标面部的“剩余”部分。然后，FM和IS模块一起“将组件特征向量映射到逼真的图像”。

使用这一技术时，用户只需要绘制一张草图作为参考图像，而后就能获得与您的草图相匹配的接近照片般逼真的人脸。有趣的是，在绘制毛发之前，它还会自动提供一些绘画起点。但是，如果我们选择自己创造想要的发型，它也会按照我们的图纸如实地进行。

不仅如此，它还提供了更多惊人的功能，例如：可以帮助用户调整不同的面部特征，并且一处调整可以同时映射到许多可能的人脸上。

它还具有一个有趣的功能——用户可以不画任何东西，只需要选择几个自己喜欢的面部特征，就可以得到它们组成的理想的脸。这就是所谓的人脸复制粘贴（Face Copy-Paste）。

新突破，新用途，新 BUG

这一 AI 转换器能够创建一些令人难以置信的逼真的人脸图像。但是，仍有一些问题需要解决。

例如，一个女人的素描中，两只眼睛大小不一，而在AI对应着产生的图像中，眼睛的不同甚至导致了面部其他特征发生变化，这显然不是绘画者最初的目的。

而且，DeepFaceDrawing 似乎也主要产生以白种人或拉丁美洲对象为特征的图像。但是，解决这些问题也只是时间问题。

在实际生活中，这项技术也可能有许多用途。该团队指出，他们的框架在“犯罪调查，角色设计，教育培训等”方面特别有用。

此外，也有人坚信，数字艺术家们将在不久的将来采用这种技术，它将帮助艺术家们将自己的艺术构想变为现实，这不仅能够提高契合度，还有利于缩短实际的执行时间。

参考资料：
https://futurehubnet.blogspot.com/2020/09/ai-to-help-you-create-real-human-faces.html
https://hothardware.com/news/ai-turns-sketches-into-portraits