动漫人物也能变“真人”？PaddleGAN帮你找到“撕漫”的TA

项目介绍

技术原理

对应的真人图片（标签）/动漫照片（原图）

2.自定义生成器和判别器

生成器采用Unet结构，输入目标轮廓，经过编码解码生成着色的目标图像，判别器采用PatchGAN对生成假图像和真实图像进行判别，把图像分成切片patch，分别判断每个patch的真假，再平均最后的结果。

3.定义超参数进行训练

我们可以查看一下训练过程中学习的效果，如下图所示。

大家可以想象一下，图上两个动漫人物的“真实”面貌会是什么样子呢p>

项目效果

测试结果可视化

左：中：右=测试图：生成图像：测试图标签

我们可以看到，测试图生成的效果已经非常接近标签图像，尽管有一些小细节没有完整呈现，但“真人”人像大致的容貌还是能够很好地复现出来。不知道刚刚你想象的“真人”面貌和测试效果有多大的出入呢p>

问题与改进方向

待优化的问题

• 数据集风格较为单一（特征简单），使用不同动漫风格的照片进行图像生成，可能会导致生成效果较差。这是因为模型泛化性能仍存在优化空间。另外，目前本项目所采用的数据集只有女性一种性别，无法对男性进行生成图像。

• 原图阴影部分对应生成部分效果一般会比较差。此外，也存在光照敏感度不强烈的问题。

改进方向

• 可以尝试优化数据集，即增加数据集风格种类、性别，并且保持一定数量的增加。

• 可以更换更好的生成器模型，以加强 络学习更多细节的信息。

欢迎交流

• 点击获得项目链接：

  https://aistudio.baidu.com/aistudio/projectdetail/3450122

• 更多趣味体验欢迎访问：

  https://github.com/PaddlePaddle/PaddleGAN

文章知识点与官方知识档案匹配，可进一步学习相关知识OpenCV技能树首页概览11574 人正在系统学习中