仅仅通过视觉(如在屏幕上)或仅仅通过触摸来感知一个物体，有时会限制我们对它的推断。然而，人类有一种天生的能力，可以整合视觉和触觉刺激，利用任何可用的感官数据来完成他们的日常任务。

利物浦大学(University of Liverpool)的研究人员最近提出了一种新的框架，可以生成跨模态的感觉数据，这有助于在视觉和触觉信息无法直接获取的情况下复制视觉和触觉信息。例如，他们的框架可以让人们在视觉和触觉上感知屏幕上的物体(例如电子商务网站上的衣服)。

“在我们的日常经验中，我们可以根据触觉反应，或通过观察物体表面纹理的触觉反应，来认知地创造出物体的视觉效果，”参与这项研究的研究人员罗山博士告诉TechXplore。这种知觉现象被称为联觉，一种感觉的刺激会导致一种或多种其他感觉的不自主反应，这种联觉可以用来构成一种不可接近的感觉。例如，当一个人抓住一个物体时，我们的视觉会被手挡住，但是会产生一个触摸反应来‘看到’相应的特征。”

罗博士所描述的感知现象通常发生在感知源不可用时(例如，摸到袋子里的东西却看不见)。在这种情况下，人类可能会“用触觉去看”或“用视觉去感觉”，基于用其他感官收集的信息来解释与特定感觉相关的特征。如果复制到机器上，这种视觉-触觉机制可能会有几个有趣的应用，特别是在机器人和电子商务领域。

如果机器人能够将视觉感知和触觉感知结合起来，那么它们就可以根据正在处理的对象的视觉特征(如形状、大小等)更有效地规划它们的抓取和操作策略。换句话说，机器人在抓取物体之前，利用摄像机收集的视觉信息感知物体的整体触觉属性。另一方面，当他们抓住相机视野之外的物体时，他们会利用触觉般的反应来弥补视觉信息的不足。

罗博士和他的同事们提出的这个框架，如果搭配上一种尚未开发出来的触觉装置，也可以用于电子商务，比如，让顾客在购买衣服之前先感受一下布料。考虑到这一应用，研究人员使用条件生成对抗网络利用触觉数据生成伪视觉图像，反之亦然(即利用视觉数据生成触觉输出)。

“在网上市场，顾客通过浏览衣服或其他物品的图片来购物，”罗博士说。然而，他们无法触摸这些物品来感受材料。购物时感受物品是非常重要的，尤其是购买内衣等精致物品时。我们在论文中提出的跨模态感知数据生成方案可以帮助电子商务客户做出更明智的选择，它允许用户在家感觉物品，使用一种尚未开发的触觉设备。

罗博士和他的同事在VITac数据集上评估了他们的模型，该数据集包含100种不同面料的宏观图像和触觉读数(使用GelSight传感器捕捉)。他们发现，利用与另一种感觉相关的数据，它可以有效地预测一种感觉(即视觉或触觉)的感官输出。

“我们以纹理感知为例:使用织物纹理的视觉输入图像生成对同一块织物的伪触觉读取;相反，布的触觉读数被用来预测同一块布的视觉形象，”罗博士解释说。“织物的纹理，即的纱线分布模式，在视觉图像和压力分布(即触觉)读数中表现相似。然而，考虑到这两个领域的差异，这项工作也可以扩展到实现对其他物体属性感知的跨模态视觉-触觉数据生成。”

罗博士和他的同事们在没有触觉或视觉信息的情况下，为不同的织物制作出逼真的触觉和视觉图案，取得了显著的效果。利用他们的框架，研究人员利用视觉数据成功地“复制”了织物的触觉元素，反之亦然。

“据我们所知，这项工作是首次尝试实现机器人的跨模式视觉-触觉数据生成，它也可以扩展到其他模式的跨模式数据生成，”罗博士说。“我们研究的实际意义是，我们可以利用其他感官来创造一种不可企及的感官。”

在未来，罗博士和他的同事提出的框架可以用于改善机器人的抓握和操作策略，以及增强网上购物体验。他们的方法还可以用来扩展分类任务的数据集，生成感官数据，否则这些数据是无法访问的。