加州大学圣巴巴拉分校(UC)圣巴巴拉分校(UC)教授亚萨明·莫斯托菲(Yasamin Mostfi)的实验室研究人员首次能够确定，墙后的人是否是出现在给定视频片段中的同一个人，只在外面使用两台WiFi收发器。

这种新颖的视频-WiFi跨模态步态识别系统，他们称之为xmodal-id(发音为交叉-modal-id)，可以有多种应用，从监视和安全到智能家居。例如，假设执法部门有一段抢劫的录像。他们怀疑抢劫犯藏在一所房子里。房子外面的两个无线收发器能确定房子里的人和抢劫视频里的人是否是一样的吗？像这样的问题激发了这项新技术。

莫斯托菲说：“我们提出的方法可以确定墙后的人是否和视频中的人一样，只需要在外面使用一对现成的WiFi收发器。”“这种方法只使用接收到的WiFi链路的功率测量。它不需要被识别人员的任何先前的WiFi或视频培训数据，也不需要任何有关操作区域的知识。”

提议的方法和实验结果将在10月22日举行的第25届移动计算和网络国际会议上发表。

在团队的实验中，一个WiFi发射器和一个WiFi接收器位于墙后面，在一个人正在步行的房间外面。发射机发送其接收功率由接收机测量的无线信号。然后，给定来自另一个区域的人的视频镜头，并且通过仅使用这样的接收到的无线功率测量，接收器可以确定墙后面的人是视频素材中看到的同一人。

这项创新建立在莫斯托菲实验室之前的工作基础上，自2009年以来，该实验室就率先使用无线网络等日常射频信号进行感知。

"然而,从候选视频镜头中识别一个人通过墙壁是相当困难的问题,"说莫斯托菲。她实验室在这一努力中的成功是由于他们所提出的新的建议方法。

“我们每个人的移动方式都是独一无二的。但我们如何正确地捕捉和比较视频和WiFi信号的步态信息内容，以确定它们是否属于同一个人？”

研究人员首次提出了一种将视频步态内容转换为无线域的新方法。

"我们的方法是多学科的,从无线通信和视觉领域,"说，ChitraKaranam是三个博士之一。在这个项目上的学生。给定一些视频片段，团队首先利用人类网格恢复算法来提取描述人体外表面的3-D网格作为时间的函数。然后他们使用出生的电磁波近似来模拟如果此人在WiFi区域中行走时产生的RF信号。

接下来，他们使用自己的时频处理方法，从真实的WiFi信号(在墙后测量)和基于视频的模拟信号中提取关键步态特征。然后对这两个信号进行比较，以确定WiFi区域中的人是否是视频中的同一个人。

为了得到接收信号的谱图，研究人员的处理流水线涉及一系列数学函数，包括短时傅里叶变换和Hermite函数。另一位参与这项工作的博士生BelalKorany解释说：“谱图中包含着信号的频率时间内容，它隐含着人的步态信息。”

然后从光谱图中提取几个重要的步态特征，并进行适当的比较，以确定视频中的人是否在墙后。

“我们已经在我们的校园里对这项技术进行了广泛的测试，”该项目的第三名博士生HerbertCAI说。该实验室在1，488个WiFi视频对上测试了他们的新技术，该技术由8人组成，分布在三个不同的墙后区域，在正确识别墙后的人方面达到了84%的总体准确率。