微信扫一扫
分享到朋友圈

谁说偷窥一定要趴墙头?这个系统可用声波「看见」墙后物体

作者:机器之心 来源:机器之心 公众号
分享到:

06-18

机器之心报道

参与:路、张倩

传统的非视距成像方法多是利用光波进行图像重建,最近斯坦福和英特尔实验室的研究者提出一种新方法,用声波的方式进行穿墙探测,并进行图像重建。该研究表示,声学方法可以「看到」墙那面的多个事物,且允许的距离范围较大,同时成本较低、时间较短。相关研究已被 CVPR 2019 接收。


我站在墙前,想看到拐角处我视线范围之外的事物,除了伸长脖子或者走过去,还有别的方法吗?


非视距成像(Non-line-of-sight (NLOS) imaging)技术利用角落或障碍物周围墙壁反射的光波,重建出图像,从而看到视线之外的事物。但这种光学方法中用到的硬件非常昂贵,且对距离的要求较高。


那么,如果不使用光波,转而使用声波呢?


来自斯坦福大学与英特尔实验室的研究人员想要试试看,他们构建了一个硬件原型 :一个装有现成麦克风和小型汽车扬声器的垂直杆,参见下图:


原型系统图。该原型包括一个垂直安装在 1 米平移台上的 16 个扬声器和麦克风线性阵列。功率放大器和一组音频接口驱动扬声器并从麦克风录音。


在实际操作中,扬声器会发出一串啾啾声,声音以一定角度弹到附近的墙壁上,然后撞到另一面墙上的隐藏物体:一张字母 H 形状的海报板。然后,科学家们一点一点地移动设备,每次都发出更多的声音,最后声音以同样的方式反弹回麦克风。


2D 声学 NLOS 扫描系统的可视化。


接下来,研究人员使用地震成像的算法,对字母 H 的外观进行粗糙重建。


地震学中有类似的问题,利用冲击波进行探测并重建地下结构的图像。


该研究对字母 H 的重建结果如下图所示:



上图只是一个「隐藏物体」的图像重建结果,那么如果有多个隐藏物体,系统也能够很好地执行图像重建吗?


答案是:YES!


下图展示了该系统对 4 个隐藏物体的图像重建结果:



从这些实验结果上来看,利用声音信号进行 NLOS 成像是可行的。那么,它的效果能不能比得上基于光波的 NLOS 成像方法呢?


研究者也进行了对比。如下图所示,给出两个字母 L 和 T,光学方法需要使用的设备比较昂贵,且只能生成 T 的图像,对于距离较远的字母 L 则没有成功重建图像,此外,该方法需要花费的时间较长,超过一小时。


相比之外,该研究所提出的声学方法能够重建出两个字母的图像,且时间较短,只用了四分半钟!距离也比光学方法高出 2 倍。



这项技术距离应用还需要数年的时间,但作者表示,该技术的超声波版本最终可能会应用于自动驾驶汽车上,用来探测看不见的障碍物。或者,你可以用它来监视隔板另一边的同事(可怕!


原理介绍


研究者参数化了声学波场,使得发射扬声器和接收麦克风位于 {(x, y, z)∈R×R×R | z = 0} 平面上。该波场是 τ (x_t, y_t, x_r, y_r, t) 的 5D 函数,其中,x_t、y_t 表示扬声器的空间位置,x_r、y_r 表示麦克风位置,t 表示时间(见图 1 和图 2)。


图 1. 该研究提出的声学 NLOS 成像方法概览图。调制声波从扬声器发出,穿过墙角到达隐藏物体,在反射回来时由一个麦克风记录下来。处理后的测量值(左下)包含峰值,表示声音从扬声器直接传播到麦克风的路径长度(A,峰值被剪切)、传播到墙并回返的路径长度(B),以及到隐藏物体并回返的路径长度(C)。从一系列扬声器和麦克风的位置捕捉这些测量值,用于重建隐藏物体的 3D 几何形状(右下)。


图 2:场景几何和测量值捕获示意图。声阵列发出声信号,该声信号通过墙壁反射到隐藏物体,然后反射回来。由于墙壁在声波波长上的镜面散射,测量数据似乎是从位于墙壁后面的镜像体中捕获的,就好像墙壁是透明的一样。发射信号的频率随时间而线性变化。对于单个反射器来说,返回信号是延迟版的发射信号(右上角)。接收和发射信号混合在一起并进行傅里叶变换,在与反射器距离成正比的频率上产生一个波峰(右下角)。


图 1 和图 2 进一步显示了测量值的几何结构。在声学波长上,墙充当一个类似镜面的反射器,将发射信号 g 散射到拐角,到达隐藏物体,然后返回到声波阵列。


由于墙的镜面散射,在测量中,隐藏物体似乎位于墙外的一个位置。因此研究者选择忽略墙,以使图像重建步骤建模从位于透明墙后面的虚拟对象捕获的测量值。对于同样具有镜面散射的光滑隐藏物体,研究者假设虚拟物体的表面法线指向声阵,这样就可以观测到信号。这一假设也被提出,例如,雷达系统通过墙壁成像并捕获镜面散射 [1, 3, 42]。


如何利用声音


声波散射


下图 3 概述了声波散射双向反射分布函数(BRDF):


图 3:声波散射 BRDF 示意图。在大于波长的平坦表面上进行镜面散射(中左)。在等于波长的墙角几何结构上进行逆反射散射(retroreflective scattering,中右)。对于小于波长的表面,物体周围的衍射会导致漫散射(右)。


信号随距离的衰减


对比光学 NLOS 成像中常见的漫反射,声学信号衰减与 1/(r_t+r_r)^2 成正比,而光学信号衰减与  成正比。研究者在图 4 中通过实验验证了这种衰减。


图 4:信号衰减(左)和分辨率分析(右)。研究者利用 log-log 尺度上的线性回归,绘制了角反射器和平面镜面散射目标的测量值。角反射器的信号衰减约为 d^ −1.92,而平面目标的信号衰减约为 d^−1.89,与预期的 d^−2 衰减基本吻合。图中还展示了漫反射光学 NLOS 成像的 d^−4 衰减。与典型的光学方法相比,该研究给出了一系列声信号带宽范围下不同距离对应的横向分辨率(lateral resolution)。


传输信号


下图 2 描述了信号传输的过程。



如何生成图像


当信号发射位置和接收位置相同时,即 x_t = x_r,y_t = y_r,研究者使用闭合解(closed-form solution)进行图像重建。也就是光学 NLOS 成像方法中所说的「共焦」扫描。研究者对空间位置接近的扬声器和麦克风进行声学共焦测量。


共焦测量能够对隐藏物体的 3D 几何形状进行高效的重建,但是在更常见的非共焦测量情况下如何进行高效重建呢?


研究者首先调整非共焦测量,使其模拟共焦采样网格捕捉到的共焦测量。然后再执行常规的地震成像步骤,即动校正(NMO, normal moveout correction)和倾角时差校正


图 5:动校正和倾角时差校正图示。


下图 6 展示了如何通过非共焦测量,来改善信号质量、提升空间采样。


图 6:在有两个隐藏物体时,图像重建的流程。


实现


除了本文开头所提原型系统所需的硬件设施之外,在软件方面,该系统中所有步骤都使用 Python 实现。目前,该研究已经开源,包含研究所用数据集和软件。


GitHub 地址:https://github.com/computational-imaging/AcousticNLOS


关于该研究更多内容,参见以下视频:



参考链接:

https://www.sciencemag.org/news/2019/06/scientists-use-sound-see-around-corners
http://www.computationalimaging.org/publications/acoustic-non-line-of-sight-imaging/
http://www.computationalimaging.org/wp-content/uploads/2019/03/cvpr_2019_2059.pdf



本文为机器之心报道,转载请联系本公众号获得授权

✄------------------------------------------------

加入机器之心(全职记者 / 实习生):hr@jiqizhixin.com

投稿或寻求报道:content@jiqizhixin.com

广告 & 商务合作:bd@jiqizhixin.com

阅读7634
举报0
关注机器之心微信号:almosthuman2014

用微信扫描二维码即可关注
声明

1、头条易读遵循行业规范,任何转载的稿件都会明确标注作者和来源;
2、本文内容来自“机器之心”微信公众号,文章版权归机器之心公众号所有。

评论
更多

文章来自于公众号:

机器之心

微信号:almosthuman2014

邮箱qunxueyuan#163.com(将#换成@)
微信编辑器
免责声明
www.weixinyidu.com免责声明    商务合作1758059460
版权声明:本站收录微信公众号和微信文章内容全部来自于网络,仅供个人学习、研究或者欣赏使用。版权归原作者所有。禁止一切商业用途。其中内容并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。如果您发现头条易读网站上有侵犯您的知识产权的内容,请与我们联系,我们会及时修改或删除。
本站声明:本站与腾讯微信、微信公众平台无任何关联,非腾讯微信官方网站。
粤ICP备16075700号-1