你听说过图像情感迁移吗?这是计算机视觉领域中的一项新兴任务。
罗切斯特大学的罗杰波教授及其团队提出了这一研究课题。图像情感迁移的挑战在于需要对图像中每个物体进行个性化的情感更新。研究团队开发了一种灵活且高效的物体级图像情感迁移框架,并引入了新模型 SentiGAN,实验结果表明该框架在物体级情感迁移上表现优异。
图像情感迁移是一项尚待深入探索的研究任务。与其他视觉任务不同,它着眼于对图像整体外观和情感的高级、抽象修改,而不改变图像的基本场景内容。例如,要赋予输入图像积极情感,可以将海水处理为清澈的蓝色,并将海鸟渲染为色彩斑斓的样子。
为应对这一挑战,研究团队提出了一种有效的框架,能够在物体级别实现情感迁移。整个过程分为两个步骤,该方法的互补性显著提升了情感迁移的效果。
为了解决现有的不足,研究中引入了新方法 SentiGAN。该模型采用了物体级损失函数,并与图像级损失共同训练,表明 SentiGAN 能够有效地进行图像粗粒度的情感迁移。
科研团队设计了三个任务来评估图像情感迁移模型的性能,这三个任务基于50张从测试集中选取的输入图像,具备精确的物体掩码和相对中性的情感信息。
第一个任务旨在评估模型在执行图像粗粒度情感迁移时的表现,SentiGAN 在平均真正率和真负率方面表现最佳。
第二个任务验证了物体级情感迁移的效果。在大多数情况下,志愿者认为生成的目标级情感迁移图像最为真实。
第三个任务则是评估迁移图像与参考图像之间的情感一致性。SentiGAN 在选中率上遥遥领先,显示出其在迁移参考图像情感方面的最佳性能。
罗杰波教授团队还提出了一种基于全局的图像情感迁移方法,感兴趣的读者可以查阅原论文以获取更多细节。
[[[IMG_1]]]
[[[IMG_2]]]
[[[IMG_3]]]
[[[IMG_4]]]
[[[IMG_5]]]
