跨越栅栏(震撼中国人形机器人学会跑酷，跳上40公分高台，仅需小成本运转)

5月10日，清华大学交叉信息院MARS Lab尝试在宇树人形机器人（宇树将参与本次2024中国人形机器人开发者大会，点击文末“阅读原文”报名）身上，仅采用一块CPU，机载视觉，和电池动力，让机器人学会了自主跨越栅栏，并能够跳上40公分高台，跳过间隙，完成上下楼梯以及各种动作。

跨栏与不平整地形：

40cm高台：

跳过间隙：

上下楼梯最后摔倒：

▍难点在哪？

跑酷作为一种极限运动，对参与者的身体感知、手脚协同控制能力和敏捷性提出了很高的要求。

对于机器人来说，跑酷则更是一个巨大的挑战。人形机器人自主跑酷不仅需要机器人平台具有足够的稳定性和灵活性，能够具备运动能力、能量供应、安全性能，以应对如跳跃、攀爬等跑酷过程中的各种挑战，而且需要机器人学习基于视觉且多样化的通用技能，例如配备各种传感器（如视觉传感器、力传感器等）和驱动器（如电机、伺服器等），以实现精准的控制和感知并迅速做出反应。

为了适应复杂的场景，这往往还进一步需要人形机器人的控制系统具备足够计算能力，以实时处理传感器数据，并做出快速、准确的决策，同时机器人需要提供灵活的编程接口，以便开发者可以根据具体需求进行编程和调试。

由于跑酷活动能很好测试机器人的运动能力、动态姿态调整能力、感知-控制连接等关键技术，为此机器人研发者们，一直试图让机器人跑酷，从而帮助机器人探索和学习如何在复杂环境中快速、有效地移动和克服障碍。

此前波士顿动力公司经常发布他们Atlas 的仿人类机器人跑酷的视频，Atlas能够在跑酷中进行各种跳跃、平衡、越过障碍，还完成了后空翻。其实这不仅仅是展示了它们机器人的全身运动控制能力，而且还展示了机器人如何在各种快速变化的高能量活动中保持其平衡。

但波士顿动力所开发的 Atlas 人形机器人没有使用强化学习，而是采用经典机器人技术，主要通过 LIDAR 地形扫描来识别障碍物，采用多平面分割算法进行高级地图构建，然后使用优化问题计算出安全脚步区域和脚步序列，再通过运动学和重心动力学计算调整动态运动规划轨迹和动作模板，才实现了较好的控制和状态估计、调整。

如今，在深度学习技术进一步发展后，研发者发现可以让机器人尝试小成本跑酷技能训练，推动了机器人自主化技术的研发和进步，特别是在动态环境感知、自主决策和运动控制等方面相关能力提升显著。

为此，不少国内团队尝试让机器人学习跑酷技能。

▍背后技术解析

在2023年9月，上海期智研究院、斯坦福大学、上海科技大学、CMU 和清华大学的研究者曾联合提出了一种为低成本机器人研发的「跑酷」技能学习框架，该跑酷策略仅使用机载计算（Nvidia Jetson）、机载深度摄像头（Intel Realsense）和机载电源来部署，相关论文《Robot Parkour Learning》已经入选 CoRL 2023（Oral），而且研究项目已开源。

论文地址：https://arxiv.org/abs/2309.05665

项目地址：https://github.com/ZiwenZhuang/

该研究针对机器人的运动能力提出通过两阶段强化学习，让机器人智能体在模拟环境中学习应对不同目标的行为策略，然后将其转移到现实世界。这种soft 动态约束（dynamics constraint）的强化学习预训练方法主要将障碍物设置为可穿透，允许机器人在模拟中直接穿越障碍物，而不受硬动态约束的限制，同时设计了穿透奖励，配合自动课程让机器人学习穿越障碍物，鼓励机器人逐渐学会克服障碍，随后强制执行所有动态约束，并用现实动态（realistic dynamics）微调机器人在预训练阶段学到的行为。

进行了大量的模拟和现实实验，结果表明，跑酷策略使低成本四足机器人能够自主选择和执行适当的跑酷技能，仅使用机载计算、机载视觉传感和机载电源即可穿越开放世界中具有挑战性的环境，包括爬高 0.40m（1.53x 机器人高度）的障碍物，跳过 0.60m（1.5x 机器人长度）的大间隙，在 0.2m（0.76x 机器人高度）的低障碍物下爬行，通过倾斜挤过 0.28m 的细缝（小于机器人宽度），并且可以一直跑步前行。

有消息认为，该人形机器人跑酷，同样采取了类似强化学习方法，主要通过将 soft 动态约束的强化学习预训练经过具有 hard 动态约束的强化学习微调，最后蒸馏成一个基于视觉的跑酷策略，并以自我为中心的（egocentric）深度相机将其迁移到机器人上，从而才能不使用动作捕捉、激光雷达、多个深度摄像头和大量计算，低成本在人形机器人上部署。

虽然目前机器人跑酷可能更多停留在实验室和竞赛阶段，但未来这套方法有可能将人形机器人小成本应用于实际场景中。例如，在紧急救援、探险探测等需要机器人快速移动和克服障碍的场合，该技能有望发挥重要作用。

▍关于MARS Lab多模态学习实验室

MARS Lab多模态学习实验室是清华大学交叉信息院下的交叉学科人工智能实验室，由赵行教授组建和指导。赵行老师博士毕业于MIT，谷歌无人驾驶Waymo科学家，后加入清华大学任教。MARS Lab研究成果有广泛的学术、社会和产业影响力：学术论文曾获CoRL最佳系统论文入围，ICCP最佳论文奖；多模态学习相关成果在全球多个科技博物馆陈列展出

该实验室尝试解决一系列探索性的AI问题，并且一直在寻找新的挑战。他们的研究涵盖了多模态学习的基础问题及其应用：(1)多媒体计算, (2)自动驾驶, (3)机器人, (4)多传感器。

实验室官网：

https://group.iiis.tsinghua.edu.cn/~marslab/#/

知乎主页：

https://www.zhihu.com/people/qing-hua-mars-lab?utm_id=0