许华哲团队提出了一种集成移动平台、机械臂和灵巧手的高自由度操作系统—Catch It

许华哲团队提出了一种集成移动平台、机械臂和灵巧手的高自由度操作系统—Catch It，实现了机器人对飞行物体的自主捕捉能力。该系统具备较大的工作空间与操作灵活性，并采用全身控制策略控制各组件协同完成任务，满足了飞行物体抓取对时效性、准确性和动作协调性的要求。该设计显著扩展了传统固定平台系统在动态操作任务中的适用范围。

图13. 系统概览

图14. 多进程控制器

为了提高策略训练的效率和稳定性，“Catch It”提出了一种两阶段强化学习框架：(1) 跟踪阶段：训练底盘与机械臂以快速接近飞行物体；(2) 抓取阶段：加入灵巧手控制，并对已有策略进一步细化，以实现更可靠的抓取行为。该分阶段设计有效降低了策略搜索空间，提升了学习效率，避免了直接在高维动作空间中训练所带来的不稳定性。实验结果表明，在模拟环境中该方法可达到约80% 的物体抓取成功率，在任务完成能力和策略泛化能力方面均优于对比基线方法。

图15. 两阶段强化学习框架

为增强策略在实际应用中的可行性，“Catch It”在训练过程中引入了物体属性、物理参数及感知误差的随机化机制，并结合控制信号的平滑处理（低通滤波），从而减小仿真与真实环境间的差异。

训练完成的策略无需额外的微调，可直接部署于真实机器人系统完成对多种形状沙袋的抓取操作。尽管在真实环境中由于物体弹性和感知不确定性，抓取成功率相对较低（最高约25%），但实验结果仍验证了该方法在实际动态操作任务中的一定适应能力和可部署性。

Catch It集成移动平台、机械臂和灵巧手的高自由度操作系统，实现了机器人对飞行物体的自主捕捉能力。本论文共同一作为上海期智研究院硕士后、美国卡内基梅隆大学博士生张远航，上海期智研究院实习生、清华大学硕士生梁天海，通讯作者为上海期智研究院PI、清华大学助理教授许华哲。共同作者为佐治亚理工学院博士生陈臻洋，上海期智研究院助理研究员、斯坦福大学博士生迮炎杰。

论文信息：

Catch It! Learning to Catch in Flight with Mobile Dexterous Hands, Yuanhang Zhang*, Tianhai Liang*, Zhenyang Chen, Yanjie Ze and Huazhe Xu†, https://mobile-dex-catch.github.io/，ICRA 2025.