在《哈利·波特与魔法石》电影中，随着漂浮咒的脱口而出，霍格沃兹魔法学校的学生可以利用魔法棒隔空控制羽毛在空中漂浮，画面美丽动人。这让刚刚入学的哈利·波特等人体验到了魔法的魅力。
今天我们将报道一种同样神奇的操作。不需要魔法棒，不需要咒语，通过裸手就可以非接触控制具有大量自由度的软体机器人，还可以进行各类复杂的操作。
能够将复杂的软体机器人的运动控制变得大众可及，得益于北京航空航天大学仿生机器人研究团队文力教授课题组最新提出的基于双模态智能传感界面的软体机器人非接触交互示教方法。
在该研究中，基于研究团队所研发多模态柔性传感界面，示教者利用裸手可以非接触交互式地示教软体机器人（如连续体软体臂）实现复杂三维运动。
其主要原理是利用“隔空”条件下交互界面与人手表面电荷产生的静电感应原理，将人手和软体机器人之间的距离信号转换为传感信号进而“诱导”机器人的运动。这类基于多模态柔性感知的非接触的示教方法可以显著扩展人类与软体机器人交互方式。
该工作最近发表在最新一期的《自然·通讯》（Nature Communications）上。该论文第一作者为北航机械工程及自动化学院博士研究生刘文博，朵有宁、刘嘉琦、袁菲阳为共同第一作者，文力教授为论文通讯作者。清华大学计算机系，中国科学院北京纳米能源与系统研究所为本研究的合作单位。
瞄准领域痛点问题
软体机器人因其在日常中的巨大应用潜力而受到越来越多的关注。与生俱来的高度适应性，使得软体机器人在与人互动方面比刚性机器人具有更加安全的优势。
然而，由于软件机器人在建模和编程方面具有挑战性，非专业人员在使用软件机器人实现特定动作和执行特定任务时常常面临不可忽视的障碍。交互式示教方法，可以高效和灵活地“教”软机器人的进行运动，这将促进软体机器人于在室内、生产线和其它非结构化环境中的应用。
攻克两大研究挑战
在传统刚性机器人上常用到的拖拽示教的方式，不过由于软体机器人顺应性高、具有无限自由度的特性，直接进行“拖拽”会使软体机器人产生很大的被动变形，无法实现有效的示教。如果想检测这些被动变形需要在软体机器人上布置大量传感器。想要为解决软体机器人示教交互问题，目前面临着两大挑战。
（1）一种柔性多模态智能传感器-能够在适应软体机器人大变形的前提下，对多种环境信息（距离、压力以及材质等）做出响应。
（2）一种友好的无需编程的软体机器人示教系统-能够简单高效地将人的指令传递给软体机器人。
挑战一：多模态柔性传感器
由于操作人员在与软体机器人交互过程中可能产生多种信号，且传感器应适应软体机器人自身柔软的特性，因此用于人机交互的传感器应具有检测多模态信号、柔软可变形的特点。
课题组基于摩擦纳米发电机原理和液态金属的压阻效应提出了一种能够对非接触信号和接触信号进行实时感知和解耦的柔性双模态智能传感器（flexible bimodal smart skin, FBSS）。该传感器结构上主要包括柔性介电层、柔性电极层、激励层、液态金属图案和封装层组成。其自身具有较强的柔性和可拉伸性。
研究团队对柔性双模态智能传感器进行了系统的实验测试，研究结果表明该传感器可以灵敏地检测外界物体与传感之间的距离以及接触压力，并且能够实时解耦这两种模态。此外该传感器利用不同材质得失电子能力不同，还可以对接触物体的材质进行检测。最后实验研究表明传感器的具有一定环境抗干扰能力以及良好的稳定性和耐久性。
研究团队所提出的柔性双模态智能传感器可以有效地检测外部物体的接近和接触信息，比如高速下落的网球。在整个过程传感器可以实时感知和区分网球的接近和击中传感器的过程。
还可以检测一个羽毛的飘落过程。随着羽毛逐渐接近，传感器输出的非接触信号逐渐增加。
该柔性双模态智能传感器还能够感知人手的接近和按压信号，无需在手上增加任何外接设备。研究人员将该传感器连接进入LED灯控制电路，利用人手的接近信号控制控制红色LED灯亮度，接触信号控制蓝色LED灯亮度。
在此基础上，课题组人员尝试将多模态柔性传感器与一些简单的软体机器人结合，实现了软体机器人与环境、人的初步交互。
将柔性多模态传感器与气动折纸结构软体手结合，即使软体手完全埋进沙子也能感知附件玩具昆虫的接近信息，并对其进行准确的抓取。
将柔性多模态智能传感器放置在一段软体驱动器末端，通过人手就可以非接触控制驱动器的弯曲和收缩。这给人一种魔法般的体验。
挑战二：针对软体机器人的示教交互方式
基于多模态柔性传感器，课题组针对10自由度（软体臂主体由9根波纹管式气动驱动器组成，末端有一气动软体手）气动软体机械臂提出了一种非接触示教交互方式，利用人手的接近信号进行非接触控制，软体机械臂运动的步长大小对应非接触信号的大小，人手的按压信号用于控制末端软体手的开合。
操作人员无需额外的穿戴设备，通过裸手即可与软体机械臂进行交互。并且为了实现对软体机器人复杂姿态的控制，研究团队提出了“变换传感器位置&示教”的方法。在传感器的背部以及软体机器人上放置小的圆形磁铁，利用磁力快速改变传感器在在软体机器人上的位置，实现对软体机器人各个驱动段的位姿控制。
为简单验证该示教控制系统的可行性，课题组人员控制软体机械臂进行二维、三维空间物体抓取任务。其重复过程能够很好地对示教过程进行复现。该示教方式可以实现对空间内高、中、低大范围内的目标物进行抓取。
由于交互控制系统能够完整记录示教交互过程的控制步长数据，操作人员可以控制复现过程的速度。根据人们的需求进行合理的调整。
并且，研究人员在软体机械臂每一段末端和贴附传感器的弧形片上贴上小磁片，方便于交互过程中传感器位置的切换。通过简单快速地更换传感器的位置，实现了对每一段的高效交互控制，最终实现了整个软体复杂位姿的简单控制。
除了简单的控制软体机器人完成空间物体抓取工作，还可以通过非接触交互示教的方式与软体机器人完成更加复杂和有挑战性的任务。比如，通过示教方式操作软体机械臂进行咽拭子采样。
在软体臂末端安装一根水彩笔，通过示教方式“教会”软体机械臂走迷宫。
为充分展示软体机械臂的灵活性和示教交互方式的有效性，课题组人员在软体机械臂和目标物之间放置一块障碍物，通过示教方式，“教会”软体机械臂越过障碍并成功抓取一朵花。
研究团队提出一种基于多模态柔性传感的软体机器人的“非接触示教”方法。基于所研发多模态柔性传感界面，示教者利用裸手可以非接触交互式地示教软体机器人（如连续体软体臂）实现复杂三维运动。
这类基于多模态柔性感知的非接触的示教方法可以扩展人类与软体机器人交互方式。这种简单、高效以及友好的非接触交互示教方式，为软体机器人在非结构化环境中的交互控制提供了一种新的范式。
软体机器人非接触交互示教概念图。图片作者：莫砚如
此研究得到国家自然科学基金（Nos. 91848206, 92048302, T2121003）和国家重点研发计划（Nos. 2018YFB1304600, 2019YFB1309600, 2020YFB1313003）等项目的资助。
参考链接：
论文链接：https://www.nature.com/articles/s41467-022-32702-5
实验室主页：http://softrobotics.buaa.edu.cn/
来源：魔法般的隔空操控！北航团队Nature Communications发布软体机器人“非接触式交互示教”最新进展-机器人大讲堂
