arxiv Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

/documents/77711/

基本信息

文件基本信息

名称
Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization
描述
Gatys等人最近推出了一种神经算法,可以将一幅内容图像渲染为另一幅图像的风格,实现所谓的风格迁移。然而,他们的框架需要缓慢的迭代优化过程,这限制了其实际应用。已经提出了使用前馈神经网络的快速逼近来加速神经风格迁移。不幸的是,速度的提高是有代价的:网络通常与一组固定的样式绑定,无法适应任意的新样式。在本文中,我们提出了一种简单而有效的方法,首次实现了实时任意风格迁移。我们方法的核心是一个新颖的自适应实例归一化(AdaIN)层,它将内容特征的均值和方差与风格特征的均值和方差对齐。我们的方法实现的速度与最快的现有方法相当,并且不受预定义样式集的限制。此外,我们的方法允许灵活的用户控制,例如内容风格权衡、风格插值、颜色和空间控制,所有这些都使用单个前馈神经网络 ...