让模糊的脸有照片级的真实感

点击

上方“IEEE电气电子工程师”即可订阅公众号。网罗全球科技前沿动态，为科研创业打开脑洞。

图片去马赛克算法很好，但AI研究人员发现了它固有的分辨率上限。

好莱坞电影的科幻场景现在至少已经部分称为科学现实。你可能曾经看过：为了拯救世界，特工有时需要从非常模糊，颗粒状或像素化的图像中恢复出来高分辨率人脸照片。

现在，人工智能已经为这样的场景提供了部分（尽管可能最终无济于事）方案。但这只能部分成功，因为Claude Shannon的信息熵理论总是笑到最后。正如一种新算法现在向所有人展示的那样，从低分辨率原始图像“升采样”的AI生成的有真实感的面部图象可能看起来与真人非常不同，甚至根本没有相似之处。

非常抱歉，源图像中的少数几个像素就包含这么点信息。AI令人信服地渲染了虚构的面孔，计算机生成的面孔与真人相去甚远，因为原始图像实际上是信息稀疏的。

但这还不是故事的结尾，北卡罗来纳州达勒姆杜克大学计算机科学教授Cynthia Rudin说，她和同事们开发的人工智能算法可能还有其他类型的价值可以提取。

Rudin表示，对于初学者来说，我们已经证明你无法从模糊图像中进行人脸识别，因为存在很多可能性。因此，缩放和增强都不可能超过某个阈值水平。

然而，Rudin补充说，PULSE（她的小组开发的Python软件）可能具有广泛的应用范围。它不仅仅只是个在去像素化的过程中出现“过采样”问题的没用软件。（尽管将其误用于面部识别目的必然会产生问题）毫无疑问，PULSE还有许多未经探索的艺术和创作可能性。

Rudin和杜克大学的四位合作者通过潜在空间探索算法（近日在2020年计算机视觉和模式识别会议上进行了演示）开发了他们的照片上采样技术，以应对挑战。

Rudin说，过去，许多算法都试图从低分辨率/高分辨率对比中恢复高分辨率图像。但是据她说，这可能是错误的方法。此采样问题的大多数实际应用将涉及仅访问低分辨率原始图像。那将是尝试重新创建与低分辨率原始图像相同的高分辨率的起点。

Rudin说：“当我们最终放弃尝试提出基本事实时，我们便能够拍摄低分辨率的图片，并尝试构建许多非常好的高分辨率图像。”她说，因此，尽管PULSE看起来在面部识别应用上是失败的，但它仍然可以在处理自身模糊图像的领域中找到应用场合，其中包括天文学，医学，显微镜和卫星图像。

不过，Rubin警告说：只要使用PULSE的人都了解它会生成拥有广泛可能性的图像，而其中的任何一个都可能是模糊图像的源头，PULSE就有可能使研究人员更好地了解给定的想象空间。

比如说，天文学家有一个黑洞的模糊图像。再加上能产生天文图像的人工智能成像工具，脉冲可以呈现出许多可能的天体物理场景，这些场景可能产生低分辨率的照片。

目前，PULSE针对人脸进行了优化，因为NVIDIA已经开发了一种人工智能“生成对抗网络”（generative antivative network，GAN），可以创建逼真的人脸。因此，PULSE小组探索的应用建立在NVIDIA的StyleGAN算法之上。

换句话说，PULSE提供了位于GAN之上的分类和浏览工具，它可以无意识地喷出无数的任何经过..的图像。

Rudin还认为在建筑和设计领域可能有PULSE的应用场合。她说：“目前，StyleGAN还不具备其他功能。” “能够生成房间图片真是太好了。如果您只有几个像素，而它能够对整个房间进行全图显示。那肯定很棒。这种应用可能即将会到来。任何时候只要有了这种模型，就可以使用PULSE搜索整个空间。”

往期推荐