Nature子刊 | 通过模拟学习实现无实验外骨骼辅助

最新推荐文章于 2025-04-23 15:30:37 发布

脑机接口社区

最新推荐文章于 2025-04-23 15:30:37 发布

阅读量1.5k

点赞数 16

文章标签：学习人工智能深度学习机器学习算法

本文链接：https://blog.csdn.net/zyb228/article/details/140365720

版权

外骨骼技术作为一种提高人类运动能力和辅助康复的重要手段，近年来得到了广泛的关注和研究。传统的外骨骼开发方法通常依赖大量的实验数据和手工设计的控制算法，以适应不同的使用场景。然而，这种方法存在诸多局限性，如实验成本高、开发周期长、个体适应性差等。因此，如何开发出一种无需大量人类实验且能自动适应多种运动模式的外骨骼控制系统，成为研究人员关注的焦点。

模拟学习，特别是强化学习，近年来在机器人控制和人机交互领域展现了强大的潜力。通过在虚拟环境中训练模型，可以大大减少对真实人体实验的依赖，并提高系统的适应性和泛化能力。这一方法为外骨骼技术的发展提供了新的思路和解决方案。

本文提出了一种基于模拟学习的无实验外骨骼控制方法。该方法利用动态感知的肌肉骨骼和外骨骼模型，以及数据驱动的强化学习，旨在消除对人类实验的依赖，并在不同运动模式下提供有效的辅助。通过这一框架，所学习的控制器在定制的髋部外骨骼上部署，实现了步行、跑步和爬楼梯活动中代谢率显著降低。

研究方法

数据驱动组件

数据驱动组件由三个相互连接的多层感知器神经网络组成，分别用于运动模仿、肌肉协调和外骨骼控制。该框架从运动捕获数据集中学习人类行走、跑步和爬楼梯的运动学轨迹数据。具体来说，每项活动使用10秒的参考数据，这些数据来自一个代表性受试者。基于这些数据，神经网络外骨骼控制器通过数百万次的肌肉骨骼模拟进行训练，目标是通过最大化奖励（即减少肌肉激活）来提高人类的运动表现。

图1：a：现有的基于实验的外骨骼控制器开发和实际部署策略。训练后列表示在实际应用中部署控制器所需的调整时间。b：所提出的无实验方法称为仿真学习。c：基于神经网络的控制器训练模拟8小时（左），以及无需进一步训练即可在无绳外骨骼上立即部署自主学习控制器（右）。d：由所学控制器协助行走、跑步和爬楼梯。e：通过自适应学习控制器降低三项活动（步行、跑步和爬楼梯）的代谢成本。e中的值是平均值和标准差（e中的实验是独立重复的;n=8表示步行，n=8表示跑步，n=8表示爬楼梯）。

控制策略的训练在GPU（RTX3090 NVIDIA）上运行，每次8小时，以便控制器学习对所有三种活动的有效辅助。这种数据驱动的方法使得框架能够从大量的运动捕获数据中提取运动学特征，并通过神经网络进行处理和优化。

动态感知组件

为了提高仿真保真度和训练数据效率，动态感知组件结合了一个50自由度的全身肌肉骨骼模型，该模型包含208个下肢和上肢的骨骼肌肉。此外，还结合了用于本研究的定制髋关节外骨骼的力学模型。由于模拟学习的数据需求很高，计算成本也相应增加，通过将物理模型整合到学习过程中，框架能够引导学习过程，从而提高效率。

强化学习与物理模型结合

模拟学习是有名的数据需求高，相对应的计算成本很高。通过将物理模型整合到学习过程中，研究者们能够引导学习过程，从而提高效率。他们使用线性弹性模型模拟真实的人机接触，以方便控制器设计。同时训练肌肉骨骼模型和外骨骼控制器，在外骨骼辅助下产生高保真的生物力学反应，最终在纯模拟中获得跨三个活动及其过渡的统一控制器。

图2：a，由208块肌肉组成的全身肌肉骨骼人体模型。b，基于物理的外骨骼模型。c，数据驱动和动力学感知的人体外骨骼模拟中的强化学习，包括用于多功能活动的运动模仿神经网络、用于复制人类肌肉反应的肌肉协调神经网络和用于自动生成连续辅助扭矩曲线的外骨骼控制神经网络。d，在物理系统中部署学习的控制器。

端到端控制

他们的模拟学习框架实现了端到端控制，因为它将机器人的传感器输入映射到辅助扭矩，而无需任何中间步骤。学习控制器具有计算效率，由三层全连接网络组成，因此可以在微控制器上实现。与需要昂贵的设备和大量人体测试来调整设备的人相比，他们的控制器需要易于从便携式可穿戴传感器获得的运动学测量，即每个大腿上的一个九轴惯性测量单元传感器，并且可以自动容纳三个活动和过渡，而无需手工控制。

生成的辅助扭矩剖面可适应每个用户在每个活动中的不同运动学模式（大腿角度和大腿角速度）。由于控制策略是在仿真中训练和优化的，因此该控制器具有计算效率和有效性，这与物理世界的动力学和生物力学非常相似。

图3：a，实验装置示意图。b，0.75,1时行走的辅助扭矩曲线（按体重归一化）。25 和 1.75 m s-1 并以 2 m s-1 的速度跑步，作为步态阶段的函数。每条线代表八名参与者中一名的协助情况，平均每 30 步。c，每项活动的最大辅助扭矩。在箱形图中，中心线表示中位数，箱形极限表示第 25 个和第 75 个百分位数，晶须表示最大值和最小值（n = 8;单个参与者）。对于每个速度，b和c中的实验分别重复。最大屈曲时间、最大伸展扭矩和步态持续时间的结果见补充图 1。

活动自适应多功能控制

为了证明控制器适应不同运动活动的能力，他们进行了跑步机实验，以三种不同的速度行走和跑步。控制器网络中的权重和偏置直接取自仿真，输入为大腿角度以及通过安装在大腿上的一个IMU传感器测量的角速度。这些可穿戴传感器输入用于解码人类意图并产生所需的外骨骼辅助扭矩。控制器由三层神经网络组成，在运行Simulink Realtime的台式计算机上实现。他们的方法不需要中间的活动检测或步态周期检测。辅助扭矩是在每个时间步长（100Hz，即0.01s）使用当前大腿角度和大腿角速度加上过去0.03s（对应三个时间步长）的历史数据实时生成的。

图4：a，在一项试验中，代表性参与者在连续转换活动期间的快照。b，c，在步行（约 0.8 m s-1）、跑步（约 2 m s-1）和爬楼梯之间的运动过渡期间，由学习控制器自主产生的连续辅助扭矩（b）和机械功率（c）曲线。

控制策略的学习和优化

通过在模拟中的训练，他们的控制器学会了将人体运动视为一个连续的过程，并产生适当的实时辅助扭矩，不仅在稳态运动中，而且在过渡阶段，辅助扭矩对用户运动都是协同的。为了便于与文献对比，他们进行了不同速度的步行和跑步实验。他们选择跨步态速度进行测试，以证明控制策略的泛化性。仿真中学习到的控制器产生的辅助转矩能够适应不同速度下的行走和奔跑。每个参与者的扭矩曲线在每个活动中形状略有不同，因为他们的控制器适应每个参与者的不同运动学运动模式。步行和跑步之间的扭矩分布的大小也随着运动速度的增加而增加，这表明它有能力为不同强度的活动提供协同辅助。

补充图1：a，b，仿真学习架构（a）和在线部署控制结构（b）的示意图。

补充图2：基于人体运动学输入和关节扭矩命令输出的数据集中参考运动（步行、跑步、爬楼梯）的自主学习框架示意图。

连续辅助性扭矩剖面

为了证明控制器对三个活动及其过渡产生平滑和协同辅助的能力，他们在现实世界中对一位参与者进行了活动变化实验。参与者从缓慢行走开始，加速到跑步，然后减速，最后开始平稳地爬楼梯。跑步机实验中使用的相同神经网络控制器在分层机电系统架构上实现，该架构具有高级微控制器（树莓派4），该微控制器将扭矩命令发送到位于腰装控制盒中的低级微控制器。在行走、跑步和爬楼梯过程中，扭矩轮廓在轮廓形状和辅助程度上表现出明显的变化。外骨骼的机械功率也随着运动强度的变化而变化，证明了控制器为用户提供协同辅助的能力。此外，由于软的可穿戴绑带，IMU传感器的读数不能准确反映大腿的实际运动，因此存在几个较小的负功率峰值。然而，这些负功率峰值很小（对应于每个步态周期平均3.47%的机械功），持续时间很短（约0.04-0.08s，对应于6-8%的步态周期），这对外骨骼辅助的整体效益的影响可以忽略不计。

补充图3：基于人体关节扭矩输入和人体肌肉驱动输出的肌肉协调神经网络示意图。

图4：基于外骨骼状态历史输入和关节扭矩命令输出的外骨骼控制神经网络示意图。

图5：a–c，整个系统（a）、执行器（b）和电子设备（c）的整体视图。

总结

本文提出的无实验仿真学习框架，通过动态感知和数据驱动的强化学习，实现了多模态运动辅助控制策略的学习和部署。该方法不仅显著降低了用户的代谢率，提高了运动表现，还展示了其在不同用户和活动中的通用性和适应性。此框架为外骨骼及其他助力机器人的开发提供了一种高效、可扩展的解决方案，具有广泛的应用前景。

未来的研究可以进一步探索此方法在其他助力设备中的应用，以及优化控制策略以适应更复杂的运动模式和环境。例如，可以将该方法应用于上肢外骨骼、全身外骨骼以及其他类型的助力设备，以进一步提升人类的运动能力和生活质量。此外，随着计算能力和传感技术的不断进步，可以通过更高精度的仿真和更多样化的数据来优化控制策略，从而实现更高效、更智能的外骨骼辅助。综上所述，本文通过详细分析和实验验证，展示了无实验仿真学习框架在外骨骼技术中的巨大潜力。通过持续的研究和开发，这种高效、智能的控制方法将为外骨骼技术的发展和应用提供强有力的支持，助力实现人类运动能力的全面提升。

—— End ——

仅用于学术分享，若侵权请留言，即时删侵！