微信扫一扫
分享到朋友圈

AI「照妖镜」:不仅知道你P过图,还知道你P图前长啥样

作者:机器之心 来源:机器之心 公众号
分享到:

06-15

机器之心报道

机器之心编辑部

识别 PS 照片的问题,还是需要依靠推出 PS 的公司 Adobe 来解决。

现在的社交媒体上充斥着各种自拍,而且其中大部分人物都长得挺好看。但大家心知肚明的是,这些照片大多被 P 过。有很多人甚至因为 P 得一手堪比「整容」的照片而走红。


虽然只是出于爱美之心,但不可否认的一个事实是,这些「照骗」的盛行,的确让我们对社交媒体的信任日渐下降。


随着技术的发展和流行,制作这种假照片的门槛越来越低,几乎人人都可以是修图大师,更不用说手机厂商和科技公司已经有实时 AI 美颜技术了。


如果有人利用 P 过的图来行骗,成功率估计也会相应提高。


那我们要如何识别这些被 P 过的照片呢?


众所周知,PS 是美国公司 Adobe 推出的一款专业图形编辑软件 Photoshop 的简称。自 1990 年发布之后,Photoshop 已经成为创造力和艺术表达进步的重要组成部分,甚至广泛影响了我们的视觉文化。但谁曾想到作为「万恶之源」的 Adobe 也在研究破解 PS 的方式。


最近,Adobe 的研究人员和来自 UC Berkeley 的合作者开发了一种检测图像 PS 痕迹的方法。该方法效果如何呢?请先看下图:

如果对比左右两张图,你可能会发现右图的脸颊更宽,而左图中更瘦,尤其是靠近下巴一块;右图的嘴角下垂,而左图嘴唇是微笑的状态。


但如果只看左图呢?你能看出来脸颊被 P 过的痕迹吗?可能下巴左边 P 得过了点,往里凹了一块,有点明显;但右边 P 得算是不错了,不太明显,小编看了半天才发现(可对比右脸下方边缘至旁边白色圆圈的距离)。


但是你看中图的检测分析,该方法圈出了右边嘴角和左脸颊下方的 PS 痕迹,且右脸颊下方用红色标注了。


此外,研究人员通过实验对比发现,人工检测 PS 照片的准确率仅为 53%,而他们提出的方法检测 PS 照片的准确率高达 99%。


准确率对比。


算法原理


这项研究利用卷积神经网络识别「修」过的人脸图片,由 Adobe 研究科学家 Richard Zhang、Oliver Wang 以及 UC Berkeley 的 Shen-Yu Wang、Andrew Owens 与 Alexei A. Efros 参与完成。


Adobe 之前对 PS 图像的检测工作主要集中在拼接、移除、复制方面,而这项研究主要针对 Adobe Photoshop 自带的功能「脸部感知液化」(Face Aware Liquify)。


脸部感知液化可以先识别人脸五官,然后用户可以使用它进行相应的修改,如眼睛大小、额头宽窄、瘦脸、鼻高等,还可以轻松调出微笑唇。


Liquify 工具堪称修图神器,而且使用起来也非常简单。


果然是「以子之矛攻子之盾」啊,Adobe 这项新研究对自己之前推出的「美颜」功能下手了!


根据 Adobe 博客介绍,这项新研究试图解决以下基本问题:


  • 是否可以创建一个比人类识别「修图」还可靠的工具?

  • 该工具能否指出到底「修」了哪儿?

  • 能否撤回对原图的「修改」?



还是以上文的人脸图像为例,右一为原图,左一为 PS 后的图像(Manipulated photo),左二展示了 Adobe 这项新研究的功力:它发现了修图的具体位置(Detected manipulations),那么右二是什么呢?


仔细观察右一和右二,区别大吗?


Adobe 这项新研究把修过的地方又修回去了


对比左一、右二和右一,可以看到,三张图存在一些细微差别。三张图的嘴角弧度不同,原图很明显是下垂的,而修过的图片则是微笑唇,撤销修图后的图片嘴角弧度则处于中间状态。


这些图像被 P 过吗?


研究人员训练了一个卷积神经网络,以识别出修改过的人脸图像。具体而言,他们使用为 ImageNet 分类任务训练的 ResNet50 [13] 架构,然后针对该任务进行微调。


另外,他们通过编写 Photoshop 脚本创建了图像训练集,以在数千幅抓取自网络的照片上进行脸部感知液化调整。


研究人员随机选择这些照片的子集进行训练。他们还请了一名美术师来手动修改一些图像,并将这些图像混入了数据集中。这样的做法拓宽了测试集中图像的修改和技术范围,超出了那些合成图像。


该研究所用数据集的具体数据。


训练数据集中的随机样本示例如下图所示:



Adobe 研究人员 Oliver 表示:「我们首先向人们展示一对图像(修改前和修改后),他们知道其中一幅图像被修改过。若我们的方法能够行之有效,那它在识别编辑过的人脸时效果应显著优于人类。」


实验对比发现,人工检测 PS 照片的准确率仅为 53%,而他们提出的方法检测 PS 照片的准确率高达 99%。


到底动了哪儿?能还原回去吗?


这个工具还能确定面部修改的特定区域和方法。此外,在实验中,该工具可以将修改后的图像还原至它们初始状态,还原效果相当不错。


具体而言,研究人员预测从原图 X_orig ∈ R^(H×W×3) 到修改后的图 X 的光流场(optical flow field)Uˆ ∈ R^(H×W×2)。之后,研究人员尝试「撤销」修改,将图像恢复为原图。


研究人员训练了一个光流场预测模型 F 来预测像素扭曲场(perpixel warping field),衡量其与每个样本真实光流场 U 之间的距离(通过计算原图和修改后的图之间的光流得到)。


下图展示了光流场的一些示例。



损失函数公式如下所示:



其中,X 是修改后的图像,U 是真值光流场,L_epe 表示光流场之间的误差。


研究者试图使光流场更加平滑流畅,于是使用以下损失函数:



UC Berkeley 的教授 Alexei A. Efros 说道:「这听起来似乎是不可能的,因为面部几何形状存在着大量的变化。但如果深度学习能够查看低级图像数据(如扭曲伪像)和高级线索(如面部布局),那这种方法似乎是行之有效的。」


那么如何「撤回」对图像的修改呢?


我们现在已经预测到了原始图像到修改图像的光流场,基于此,就可以通过「逆扭曲」来恢复原图。重建损失函数为:



而直接使用该重建损失函数会导致低纹理区域出现模糊和伪影,于是研究者联合训练以上三个损失函数:



总之,在架构层面上,研究人员使用在 ImageNet 数据集上训练的 Dilated Residual Network variant (DRN-C-26) [37] 作为基础网络,来进行局部预测。


至于光流场回归网络,研究者首先将该问题重塑为多项式分类,然后再针对光流场回归进行微调。在计算真值光流场时,研究者使用的是 PWC-Net [32]。


应用何时上线?


Richard 补充道:「制作一个神奇的「撤销」按钮来恢复图像编辑的想法离现实还很遥远。但在我们生活的这个世界里,人们越来越难以信任自己消费的数字信息,所以我们非常期待这一领域的进一步研究。」


我们看到的明星照片大多经过了 PS。


与此同时,Adobe 正在进行大量研究项目,以帮助验证自身产品所创建的数字媒体的真实性,并识别和阻止滥用现象。


Adobe Research 负责人 Gavin Miller 表示:「该方法在检测某些类型的图像编辑领域迈出了重要一步,同时撤销功能的效果也出奇得好。但除了这种人脸识别方法,有经验的公众才是最好的图像鉴定者。」


Adobe 目前还没有立即将这项研究成果转变为商业产品的计划,一位发言人表示,这只是 Adobe 在更好地检测图像、视频、音频和文档操作方面的众多努力之一。


不过算法已经推出,应用还会远吗?看来解决 AI 造假的问题还是要靠 AI。


参考内容:

https://theblog.adobe.com/adobe-research-and-uc-berkeley-detecting-facial-manipulations-in-adobe-photoshop/

https://www.theverge.com/2019/6/14/18678782/adobe-machine-learning-ai-tool-spot-fake-facial-edits-liquify-manipulations

https://arxiv.org/pdf/1906.05856.pdf



市北·GMIS 2019全球数据智能峰会7月19日-20日在上海市静安区举行。本次峰会数据智能为主题,聚焦最前沿研究方向,同时更加关注数据智能经济及其产业生态的发展情况,为技术从研究走向落地提供借鉴。

本次峰会设置主旨演讲、主题演讲、AI画展、「AI00」数据智能榜单发布、闭门晚宴等环节,已确认出席嘉宾如下:

大会早鸟票已开售,我们也为广大学生用户准备了最高优惠的学生票,点击阅读原文即刻报名。

阅读8235
照妖镜 
举报0
关注机器之心微信号:almosthuman2014

用微信扫描二维码即可关注
声明

1、头条易读遵循行业规范,任何转载的稿件都会明确标注作者和来源;
2、本文内容来自“机器之心”微信公众号,文章版权归机器之心公众号所有。

评论
更多

文章来自于公众号:

机器之心

微信号:almosthuman2014

邮箱qunxueyuan#163.com(将#换成@)
微信编辑器
免责声明
www.weixinyidu.com免责声明    商务合作1758059460
版权声明:本站收录微信公众号和微信文章内容全部来自于网络,仅供个人学习、研究或者欣赏使用。版权归原作者所有。禁止一切商业用途。其中内容并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。如果您发现头条易读网站上有侵犯您的知识产权的内容,请与我们联系,我们会及时修改或删除。
本站声明:本站与腾讯微信、微信公众平台无任何关联,非腾讯微信官方网站。
粤ICP备16075700号-1