苏黎世联邦理工学院机器人系统实验室研发的 ANYmal 四足机器人在各种富有挑战性的环境中展现出了强大的运动能力，它征服了多种城市和野外环境，包括松软的地面，重重迷雾中的楼梯，崎岖的鹅卵石路......

松软的地面

崎岖的道路

缺乏光线的复杂环境

图1 ANYmal “征服”大地

其中，集成到 ANYdrive 驱动器中的串联弹性元件，能为驱动器提供额外的支撑扭矩，在 ANYmal 四足机器人完成各种运动的过程中具有重要作用。不过，性能如此卓越的 ANYmal 机器人仍有进步空间，苏黎世联邦理工学院的机器人系统实验室近期正在研究如何充分发掘弹性单元在驱动器中的作用，并将其用于膝关节的运动控制。

图2 带平形弹簧驱动器的四足机器人 

AoPS研究人员在 ANYmal 机器人的膝关节上安装了一个平行弹簧机构，并利用无模型强化学习预先调节相关设计参数，通过深入分析平行弹簧驱动器(Parallel-Elastic Actuators, PEA)的弹簧机构，设计出具有更强运动能力的四足机器人 AoPS。

与ANYmal 相比，AoPS 的平方扭矩效率提高了33%，在不影响跟踪性能的情况下，最大关节扭矩降低了30%，在平坦地形上的操作时间延长了11%。该项研究以 Learning-based Design and Control for Quadrupedal Robots with Parallel-Elastic Actuators 为题，在 IEEE Robotics and Automation Letters 期刊上发表。

▍星星之火：平行弹簧驱动器 PEA

当前大部分关于弹簧驱动器的研究都提到了通过增加弹性元件节省能量的可能性，比如 HyQ 机器人的膝盖和脚之间设有串联弹性元件，以减少触地过程中脚的抖动；STEPPR 机器人的臀部和脚踝处各有1个平行弹性弹簧，使得机器人总体功耗降低了13%，其中关节处消耗的电能减少31%。不过，大多数现有的弹簧驱动器都是基于启发式方法设计的，未能充分利用弹性元件的性能。因此，研究人员基于 ANYmal 四足机器人的本体，设计了一种带 PEA 的膝关节，如图3所示。

图3 AoPS 的腿部设计及各部位零件

▍千锤百炼：无模型的优化参数整定

在对各类结构进行直观设计的基础上，一种常见的优化方法是从自然界中对应的模仿物获得启发，比如 Atrias 和 Birdbot 的灵感来源是鸵鸟和鸸鹋。但是，为了准确模拟目标动物，生物启发式设计需要进行大量实验以保证设计的准确性，这个过程通常会忽略多个参数对机器人性能的影响以及参数之间存在的相互作用。因此，文章在设计 PEA 膝关节结构的基础上，提出采用无模型强化学习和贝叶斯优化算法对弹簧设计参数和运动控制器进行协同优化，实现了带 PEA 关节机器人的高效运动控制。

图4 参数优化策略框图

针对 PEA 的参数优化策略如图4所示。在每组给定的设计参数环境中，作者利用设计条件策略模拟凸轮轨迹，并通过蒙特卡罗估计定义待优化的目标函数。通过该方法，可以评估 PEA 的一组设计参数在不同初始状态、干扰和命令中的表现，进而获得多种可行的 PEA 设计实例。在此基础上，作者采用由设计条件策略（教师策略）以及部署策略（学生策略）构成的神经网络训练方法，来逼近控制器的最优性能，保证了每个设计实例都有对应的最优控制器来充分释放 PEA 的性能。

▍初露锋芒：首次对实验室环境以外的带 PEA 行走机器人进行综合评估

研究人员在山区、森林和苏黎世市区的粗糙地形上进行的多次运动测试，证明了 AoPS 的鲁棒性和更加突出的运动能力。

图5 AoPS 在多种野外复杂环境下的运动性能测试

研究表明，给定一组设计参数，AoPS 能最优地执行指定任务。通过协同优化设计参数和运动控制器，文章设计的并联弹性膝关节驱动器可以显著减少运动时的关节力矩，提高运动效率的同时保证机器人的指令跟踪性能和鲁棒性。

▍继往开来：装配 PEA 的四足机器人优势与未来之路

AoPS 控制器采用随机化弹簧参数的特权学习方法进行训练，无需精确的弹簧校准程序，使得控制器对不确定性模型具有更好的鲁棒性，这也显示了基于强化学习控制方法的优势。另外，与 ANYmal 相比，AoPS 的执行效率和续航能力显著提升。

PEA 在腿式机器人的应用具有的巨大潜力，相关的优化设计方法值得深入研究，主要体现在以下方面：研究中假设 CoTr 的测量与机器人的电池寿命成比例，忽略了实际环境中存在的电气和机械损耗等问题，存在建模误差；文中采用的设计条件策略不能保证训练条件对所有的设计参数都有效，即策略的泛化性能有待提升；目前的 PEA 设计方式会极大地限制膝关节的工作空间，需要更加巧妙的方法改进 PEA 的设计以解决这一短板。

原文信息：

Filip Bjelonic; Joonho Lee; Philip Arm; Dhionis Sako; Davide Tateo; Jan Peters; Marco Hutter. Learning-based Design and Control for Quadrupedal Robots with Parallel-Elastic Actuators. IEEE Robotics and Automation Letters (2023).

下载地址：

https://ieeexplore.ieee.org/document/10008034

作者 | 孙靖宇  周乐来

编辑 | 唐 秋  郭萌萌

审核 | 许力琴  张 勤