摘要
最新研究推出了一种名为SonicSense的系统，赋予机器人通过振动解读物体的能力。机器人指尖配备麦克风，能够通过敲击、抓握或摇晃物体来检测声音，从而判断物体的材料类型、形状和内容。借助人工智能，SonicSense使机器人能够识别新物体，并以超越视觉的深度和准确性感知环境。这一系统标志着机器人感知技术的重大飞跃，使机器人能够在动态、非结构化的环境中与物理世界互动。

关键事实

• SonicSense使机器人能够通过振动和声音“听”物体。

• 机器人通过敲击或摇晃物体检测材料、形状和内容。

• 人工智能技术使机器人能够以更高的准确性识别未知物体。

来源：杜克大学

机器人感知的新维度

想象一下，你坐在黑暗的电影院里，想知道超大杯里还剩多少苏打水。与其打开盖子查看，你拿起杯子轻轻摇晃，听听里面冰块的声音，从而判断是否需要续杯。放下杯子后，你随意地敲了敲扶手，想确认它是否由实木制成。然而，听到空心的回声后，你断定它是塑料的。

这种通过物体发出的声波振动来解读世界的能力，是人类无需思考就能做到的。如今，研究人员正将这种能力赋予机器人，以增强其快速增长的感知能力。

SonicSense系统的诞生

在即将于2024年11月6日至9日在德国慕尼黑举行的机器人学习会议（CoRL 2024）上，杜克大学的研究团队将展示一项名为SonicSense的新系统。该系统使机器人能够以人类的方式与周围环境互动。

论文的第一作者、杜克大学机械工程与材料科学教授Boyuan Chen实验室的一年级博士生Jiaxun Liu解释道：“如今的机器人主要依赖视觉来解读世界。我们希望开发一种解决方案，能够处理日常生活中复杂多样的物体，赋予机器人更丰富的‘感知’和理解世界的能力。”

SonicSense系统配备了一个四指机器人手，每个指尖都嵌入了接触式麦克风。这些传感器检测并记录机器人敲击、抓握或摇晃物体时产生的振动。由于麦克风与物体接触，机器人能够屏蔽环境噪音。

基于互动和检测到的信号，SonicSense提取频率特征，并利用其先验知识和人工智能的最新进展，判断物体的材料和三维形状。如果是一个从未见过的物体，系统可能需要20次不同的互动才能得出结论。但如果物体已在其数据库中，它只需四次互动即可正确识别。

超越视觉的感知能力

Chen教授表示：“SonicSense为机器人提供了一种新的听觉和触觉方式，类似于人类，这可以改变当前机器人感知和与物体互动的方式。虽然视觉至关重要，但声音提供了额外的信息层，可以揭示眼睛可能忽略的细节。”

在论文和演示中，Chen及其实验室展示了SonicSense的多种能力。通过摇晃装有骰子的盒子，它可以计算骰子的数量和形状；通过摇晃水瓶，它可以判断里面的液体量；通过敲击物体外部，它能够构建物体的三维形状并确定其材料。

尽管SonicSense并非首次尝试这种方法，但它通过使用四个手指、接触式麦克风屏蔽环境噪音以及先进的人工智能技术，比以往的研究走得更远，表现更出色。这种设置使系统能够识别由多种材料组成的复杂几何形状、透明或反光表面以及对视觉系统具有挑战性的材料。

面向未来的应用

Liu表示：“虽然大多数数据集是在受控实验室环境或人工干预下收集的，但我们需要机器人在开放的实验室环境中独立与物体互动。这种复杂性很难在模拟中复制。受控数据与现实世界数据之间的差距至关重要，而SonicSense通过使机器人能够直接与物理世界的多样性互动，填补了这一差距。”

这些能力使SonicSense成为训练机器人在动态、非结构化环境中感知物体的强大基础。其成本也极具竞争力：使用与音乐家录制吉他声音相同的接触式麦克风，结合3D打印和其他商用组件，整个系统的构建成本仅略高于200美元。

未来，研究团队计划增强系统与多个物体互动的能力。通过整合物体跟踪算法，机器人将能够处理动态、杂乱的环境，使其在现实任务中更接近人类的适应能力。

Chen教授补充道：“这只是开始。未来，我们设想SonicSense将用于更先进的机器人手，具备灵巧的操作技能，使机器人能够执行需要细腻触觉的任务。我们期待探索如何进一步发展这项技术，整合压力、温度等多种感官模式，以实现更复杂的互动。”

资助声明：本研究由陆军研究实验室STRONG计划（W911NF2320182、W911NF2220113）和DARPA的FoundSci计划（HR00112490372）及TIAMAT计划（HR00112490419）支持。

关于这项机器人研究的新闻

• 作者：Ken Kingery

• 来源：杜克大学

• 联系人：Ken Kingery – 杜克大学

• 研究发布：研究结果将在2024年机器人学习会议（CoRL 2024）上展示。