弋力团队提出一种“基于简短行走参考的人体全身操作技能生成框架”

图1. 基于简短行走参考的人体全身操作技能生成框架示意图

在人类与物理世界的互动中，和物体的交互性的动作扮演着核心角色。生成真实可信、基于物理的全身人体抓取动作，不仅对于动画、AR/VR等应用具有重要意义，也为具身智能体如仿人机器人带来了巨大潜力。

以往的研究多数依赖大规模的运动捕捉（MoCap）数据，通过对这些数据的模仿或跟踪生成动作，尽管质量较高，但难以脱离数据分布进行泛化。而复杂场景下的操控技能具有高度多样性，数据采集成本高、样本分布偏倚严重，使得通用性受限。

为此，弋力团队提出一种新颖的人体操控动作生成方法：仅使用少量简单的行走运动捕捉数据，即可生成多样且物理可行的全身抓取和操控动作。尽管“行走”和“抓取”在语义上差异巨大，但我们发现行走数据中蕴含着丰富的局部运动模式和身体平衡能力，具有很强的迁移性。同时，先进的运动学技术也可提供高质量的目标抓取姿态，尽管这些姿态没有物理保障，但可作为有效的任务引导。

图2.  多种复杂场景和未知物体上的动作生成

图3.局部运动模式能有效提升动作质量，动作稳定性

该工作提出了一个基于有限行走数据生成多样人体交互动作的通用框架，并通过主动生成与特征对齐机制成功融合真实与合成数据，展现出优异的效果与鲁棒性，为低资源环境下的人体运动生成提供了新思路。本论文共同一作为上海期智研究院实习生、清华大学本科生李忆唐，上海期智研究院硕士后林明仙，通讯作者为研究院PI、清华大学助理教授弋力。共同作者为清华大学本科生林濯，上海期智研究院实习生、清华大学本科生邓奕鹏、曹越。

论文信息：

Learning Physics-Based Full-Body Human Reaching and Grasping from Brief Walking References, Yitang Li*, Mingxian Lin*, Zhuo Lin, Yipeng Deng, Yue Cao, Li Yi†, http://liyitang22.github.io/phys-reach-grasp/，CVPR 2025.