2025-10-31
Innovation Highlights
许华哲团队提出了2BY2—覆盖18类精细任务的大规模成对装配数据集，以及一套两阶段SE(3) 姿态估计框架。数据集包含1034个实例、517对物体，同时标注位姿与对称信息；模型提取 SE(3) 等变特征，估计物体之间的配对姿态，在18个任务上整体超越现有方法。该方法能够成功部署到真实世界的UR5机械臂上，在4种真实装配任务中取得 77.5 % 成功率。
Achievements Summary
Two by Two：面向通用机器人操作的多任务成对物体装配学习
传统的成对物体重组数据集，如PartNet、Breaking Bad等，大多是将单个物体随机切分成两个部分，不具有语义信息，也不够贴近日常生活中的具身任务操作需求。基于此，许华哲团队提出2BY2成对物体装配数据集，首次覆盖“几何+语义”双重约束。数据集包含36类物体，18类精细任务，517条带有对称信息的装配标注，显著贴近家庭机器人操作场景。
图. 2BY2数据集展示
在算法设计上，团队提出两阶段SE(3)等变策略网络：模型首先预测“基座”对象的规范位姿，随后在此基础上结合插入件的几何特征与旋转不变量估计其最终位姿，从而避免了对两物体位姿的联合回归所导致的误差耦合。网络采用双尺度Vector Neuron DGCNN等变网络，对复杂形状特征的建模能力显著增强，使得平均平移误差降至4.6 cm、旋转误差降至8.97°，在全部 18 项任务上刷新了当前最优结果。
图. 整体方法框架及真机任务展示
团队在真实世界的物体和装配任务上对在2BY2上预训练的模型进行了测试，证实了算法的良好泛化能力。在“杯盖-杯子”“花-花瓶”“面包-烤面包机”“插头-插座”四个贴近日常生活的语义装配任务上，模型能够成功预测物体装配位姿，并通过UR5机械臂成功执行装配动作，整体成功率大幅超过了基线方法。
2BY2大规模成对装配数据集，及两阶段SE(3) 姿态估计框架在真实世界的机器人操作上具有广泛潜力。本论文共同一作为上海期智研究院实习生祁煜和上海期智研究院学士后鞠沅辰，通讯作者为上海期智研究院PI、清华大学助理教授许华哲。共同作者为上海期智研究院实习生、清华大学博士生韦天铭、上海期智研究院学士后褚驰，美国东北大学助理教授Lawson L.S. Wong。
论文信息：
Two by Two: Learning Multi-Task Pairwise Objects Assembly for Generalizable Robot Manipulation, Yu Qi*, Yuanchen Ju*, Tianming Wei, Chi Chu, Lawson L.S. Wong, Huazhe Xu†, http://tea-lab.github.io/TwoByTwo/，CVPR 2025.
