教你怎么画出一幅印象派的画

如何把一张图片变成一幅印象派画作呢？

日本东京的Reiichiro Nakano小哥哥开源了一个项目，画富士山、大本钟，金门大桥……风格温暖美丽，令人着迷。

不论是山川建筑，还是萌物爱宠，都可以用蜡笔一样的质感，描绘成层次丰富、色彩细腻的画面。

技术细节

项目作者说，这算法是风格迁移。但和以前不同的点是这里是笔刷决定了风格。生成的画作选用的所有画笔，不论粗细，都带着些许沧桑的毛边，才能画出蜡笔的效果。把选好的画笔输入给GAN或是VAE，就能生成AI用的一套笔刷了。

• 生成笔刷

VAE生成笔刷：训练变分自动编码器（VAE）以学习笔刷的潜在空间。然后，我们训练一个单独的网络，将动作映射到潜在空间中与预期的笔画相对应的点。

 

GAN生成笔刷：VAE生成的笔刷最大的弱点是它对笔触的“污迹”效应。VAE选择使它们平滑，而不是准确地重建较大笔触的虚线纹理。根据任务的不同，这种不准确可能导致不太理想的结果。GAN能生成比VAE更清晰的图像，这种特性可以帮助神经画家产生准确的笔刷。

 

• AI学习怎样对着一幅照片来画画

借鉴了前辈SPIRAL生成明星脸的经验，只是把需要大量运算的强化学习方法，改成了普通的对抗训练。训练之后，AI可以用人类的照片，生成非常粗糙的画。这时候的AI还没把刚刚造出的一套画笔，科学地用起来。

• 学习人类的笔触

就是在刚才的对抗训练之前，增加一个预处理(Preconditioning) 的步骤。这一步，是避免AI从一大套画笔里面，随机选择笔刷开始训练。通过识别图像的特征，限定好一套初始笔刷再开始训练才会更加自如。

最后一步，让画笔决定画风。画风不是在生产“蜡笔”的时候就决定了么？但那只是一部分。

现在是另一部分：蜡笔画，毕竟没办法保留照片那么清晰的细节，所以在学习照片特征的时候，就要改变方式。只保留那些高层特征，扔掉细枝末节，生成的画面才会更有味道。

于是，作者提出了Intrinsic Style Transfer (内部风格迁移) 的新概念。改变损失函数，目标变成只把内容损失 (Content Loss) 最小化。

项目使用

论文地址：https://arxiv.org/pdf/1904.08410v1.pdf

github地址：https://github.com/reiinakano/neural-painters

运行下面这个Colab笔记，想法就可以变成现实：

https://colab.research.google.com/github/reiinakano/neural-painters/blob/master/notebooks/intrinsic_style_transfer.ipynb

前面都不用修改，一路运行下来，到下面这段代码时：

# Load from a URL
#CONTENT_IMAGE = load("https://storage.googleapis.com/tensorflow-lucid/static/img/notebook-styletransfer-bigben.jpg")[..., :3]  # Remove transparency channel
​
CONTENT_IMAGE = load("https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1557669538756&di=991fdf609a24ffb3e78d76b710a7bd1d&imgtype=0&src=http%3A%2F%2Fimg.mp.itc.cn%2Fupload%2F20160803%2F9de4e93be8914c0481801e63e04a4c6f_th.jpg")[..., :3]  # Remove transparency channel
​
show(CONTENT_IMAGE)

把这里的是红色的URL地址改成自己图片的URL地址，尝试了好几次，发现模型对于没有层次感，线条不明朗的图片处理的效果并不好。

生成的效果如下：