引言
在 GitHub 热点趋势 Vol.046 中，我们介绍了微软开源的 AI 工具 BRinging-Old-Photos-Back-to-life，它能够使破损和老旧的照片焕发新生。本周，该项目获得了近 3000 个星标。本文将分享项目团队成员 Ziyu Wan 在 Hacker News 上发布的详细介绍，敬请阅读。
项目概述
我们的目标是利用深度学习技术修复严重老化的旧照片。与传统的监督学习修复任务不同，真实照片的老化情况更为复杂，合成图像与真实旧照片之间存在领域差距，导致网络难以泛化。因此，我们提出了一种新型的三重域翻译网络，利用真实照片和大量合成图像对进行训练。具体而言，我们训练了两个变分自编码器 (VAE)，分别将旧照片和干净照片映射到两个潜在空间，并通过合成配对数据来学习这两个空间之间的转换。由于在紧凑的潜在空间中，领域差距得以缩小，因此该翻译网络在真实照片上表现良好。
为了应对旧照片中混杂的多种退化问题，我们设计了一个包含部分非局部块的全局分支，以处理如划痕和尘点等结构性缺陷，同时设立一个局部分支来处理噪点和模糊等非结构性缺陷。两个分支在潜在空间中融合，增强了从多重退化问题中恢复旧照片的能力。该方法在修复视觉质量方面超越了现有技术。
架构概览
我们首先训练两个变分自编码器 VAE：VAE1 用于真实照片 R ∈ R 和合成图像 x ∈ X，通过联合训练一个对抗判别器来缩小它们的领域差距；VAE2 则用于干净图像 y ∈ Y 的训练。利用 VAE，我们将图像转换到紧凑的潜在空间。
我们明确了在紧凑潜在空间中，将损坏图像恢复为带有部分非局部块的干净照片的映射关系。
对比展示
修复细节
近距离观察
团队成员 Ziyu Wan 已完成对 BRinging-Old-Photos-Back-to-life 的介绍，有兴趣的朋友可以前往体验，项目地址为：
https://Github.coM/MicRosoft/BRinging-Old-Photos-Back-to-life
