2025-08-07
Innovation Highlights
许华哲—提出了 DenseMatcher，一种能够计算具有相似结构的真实环境中物体之间3D对应关系的方法。通过将多视角2D特征投影到网格上，并用3D网络进行优化来计算顶点特征，随后利用获得的特征和功能图找到稠密对应关系。此外，团队构建了首个包含不同类别彩色物体网格的3D匹配数据集。实验结果表明，DenseMatcher 的性能显著优于先前的3D匹配基线方法达43.5%。
Achievements Summary
利用三维语义对应实现的基于单个示例的类别内泛化操作
稠密的3D对应关系可以通过将一个物体的空间、功能和动态信息推广到未见过的新物体上，从而增强机器人操作能力。与形状对应相比，语义对应在跨不同物体类别的泛化方面更为有效。为此，团队提出了 DenseMatcher，一种能够计算具有相似结构的真实环境中物体之间3D对应关系的方法，旨在解决机器人仅通过单次演示学习在类别层面进行操作的泛化问题。许华哲—提出了 DenseMatcher，一种能够计算具有相似结构的真实环境中物体之间3D对应关系的方法。通过将多视角2D特征投影到网格上，并用3D网络进行优化来计算顶点特征，随后利用获得的特征和功能图找到稠密对应关系。此外，团队构建了首个包含不同类别彩色物体网格的3D匹配数据集。实验结果表明，DenseMatcher 的性能显著优于先前的3D匹配基线方法达43.5%。
图. DenseMatcher模型架构
该方法的核心创新在于其两步流程：首先，通过将多视角的2D图像特征投影到3D物体网格上，并结合一个3D网络进行特征优化，从而计算出鲁棒的顶点特征；其次，利用这些特征，并通过功能图（functional map）技术来计算物体间的稠密对应关系。这种方法能够有效地在具有相似结构但分属不同类别的物体间建立语义层面的联系。此外，团队构建了首个包含不同类别彩色物体网格的3D匹配数据集。实验结果表明，DenseMatcher 的性能显著优于先前的3D匹配基线方法达43.5%。
图. (a) 三维物品间零样本色彩迁移。(b) 真机实验中，使用DenseMatcher将操作序列从单次人类示范迁移至机器人。
图. 6 种机器人任务的关键动作帧分解
DenseMatcher 主要解决了传统3D对应方法在处理跨类别物体时泛化能力不足的问题，为类别级机器人操作中的3D语义对应学习提供了一个强大且有效的解决方案，推动了机器人在复杂真实环境中学习和适应能力的边界。相关成果被ICLR接收为spotlight。本论文共同第一作者为Tepan公司朱浚哲，上海期智研究院实习生鞠沅辰，通讯作者为上海期智研究院PI、清华大学助理教授许华哲。共同作者为加州大学伯克利分校张俊一，上海期智研究院实习生、清华大学本科生王慕涵，上海期智研究院实习生、清华大学博士生袁哲诚、胡开哲。
论文信息：
DenseMatcher: 3D Semantic Correspondence for Category-Level Manipulation from One Demo, Junzhe Zhu*, Yuanchen Ju*, Junyi Zhang, Muhan Wang, Zhecheng Yuan, Kaizhe Hu, Huazhe Xu†, https://tea-lab.github.io/DenseMatcher/，ICLR 2025.
