AI 轻松实现动漫角色转换真人，《飞屋环游记》中的小罗竟酷似他……

《超人总动员》里的「飞毛腿」巴小飞也太可爱了吧，真人版与原版非常相似。

不光如此，他还把画作里的人物变「回」现实。比如蒙娜丽莎：

上：弗里达·卡罗的自画像（左）与转换后的「真人版」；下：弗里达·卡罗的照片。

这是怎么做到的呢br>
Nathan表示他使用了一个叫做pixel2style2pixel的框架，在与源图像形状匹配的StyleGAN FFHQ潜在空间中快速找出「真人版」人脸图像，而且pixel2style2pixel的速度很快！

论文地址：

https://arxiv.org/pdf/2008.00951.pdf
GitHub地址：

https://github.com/eladrich/pixel2style2pixel

pixel2style2pixel 框架

今年8月，来自Penta-AI 和以色列特拉维夫大学的Elad Richardson、Yuval Alaluf等人发表论文，提出了一个图像到图像转换的通用架构——Pixel2Style2Pixel (pSp)。该架构基于一种新型编码器 络构建，可以直接生成一系列风格向量，然后输入到预训练好的StyleGAN生成器，形成可扩展的W+ 潜在空间。

该研究首先展示了编码器可以直接将真实图像嵌入到W+ 潜在空间，且不需要额外的优化。然后介绍了身份损失（identity loss），它可以在输入图像重建中实现更高的性能。

pSp是一个简单的架构，通过利用训练好的固定生成器 络，可以很容易地应用于广泛的图像转换任务。通过风格表示解决图像转换任务，这种方法带来了不依赖局部像素到像素对应的全局方法，且该方法通过风格重采样支持多模态合成。

值得注意的是，pSp架构可以在没有任何标注数据的情况下，将人脸图像与正面姿态对齐，为模糊任务生成多模态结果，如基于分割图的条件人脸生成、基于低分辨率图像构建高分辨率图像。

pSp架构首先对ResNet主干 络应用标准特征金字塔，提取特征图；然后，对于每一个目标风格分别训练小型映射 络map2style，以基于对应特征图提取学得的风格；接着，将每一个生成向量输入到StyleGAN中。

pSp的应用场景

1. StyleGAN Inversion

pSp架构在预训练StyleGAN生成器的潜在域中寻找真实图像的潜码。

下图4展示了不同方法在CelebA—HQ数据集上的对比。实验结果表明，pSp方法能够在保留图像身份的同时重建细节，如面部光线、发型和眼镜等。

由实验结果可以看出，当用相同的数据训练时，pix2pixHD无法收敛到令人满意的结果，因为它更依赖于输入和输出对之间的对应关系。而pSp能够很好地处理任务，生成逼真的脸部正面图像，与更复杂的RotateAndRender（R&R）方法效果相当。

3. 条件图像合成

条件图像合成即基于特定输入类型生成逼真图像。研究者在两个条件图像生成任务上对pSp架构进行了测试，分别是基于草图和语义标签图生成高质量的人脸图像。

对于基于草图生成高质量人脸图像任务，该研究对pSp、pix2pixHD、DeepFaceDrawing进行了对比，pSp实现了不错的效果：

4. 超分辨率

研究显示，pSp方法可以根据相应的低分辨率（LR）输入图像来构建高分辨率（HR）面部图像。下图11展示了使用该方法与以往方法的生成图像的视觉对比效果：

友：图像分辨率很高，细节需要改进

这一研究工作引起了 友的热议。有人感叹：「图像分辨率实在太高了」、「做好病毒式传播的准备吧」。

该研究有什么实际用处呢人畅想：「在若干年内，我们能够以这种方式进行整部影片的转换，那该多酷啊。一部影片看5遍，每次都有不同的风格。」

不过，转换后的图片有时存在一些瑕疵，比如上文提到的小罗，转换后不仅帽子消失了，头发变成了金黄色，耳朵也没有了。