赵行

赵行团队推出LONG3R：一款专为长序列流式3D场景重建设计的创新模型。LONG3R突破了现有方法在实时处理长序列输入图像时的瓶颈。LONG3R提出的3D时空记忆机制，能够动态修剪冗余空间信息，显著提升推理效率。同时，LONG3R引入记忆门控机制，智能过滤关键记忆，并结合新观测数据，通过双源精细解码器进行粗到细的优化处理，全面提升长序列的重建效果。为了进一步提升训练效率和模型表现，LONG3R采用了两阶段课程训练策略，针对不同能力进行优化。实验结果表明，LONG3R在多个数据集的长序列流式重建任务中，显著超越现有最先进方法，并能够保持实时推理速度。

图.  LONG3R框架及3D重建效果定性对比

论文信息：

https://arxiv.org/pdf/2507.18255

LONG3R: Long Sequence Streaming 3D Reconstruction, Zhuoguang Chen* Minghui Qin*, Tianyuan Yuan*, Zhe Liu, Hang Zhao†，ICCV 2025.

赵行团队提出占据栅格自动标注新范式GS-Occ3D，旨在解决目前主流的占据栅格标注严重依赖激光雷达、成本高昂、难以扩展、无法利用数量更庞大的消费级车辆的众包数据的问题，具有语义丰富且方便获取、成本效益高、可规模化等优点。该方法基于八叉树高斯面元场景表征，将场景解耦成静态背景、地面和动态物体并高效重建，在Waymo数据集实现了SOTA的几何重建结果，超过激光雷达监督的基线模型。该框架首次用纯视觉方法重建了整个 Waymo 数据集，在Occ3D-nuScenes数据集上展示了更优的零样本泛化能力，具备高度的可扩展性与可靠性。

本论文共同一作为研究院实习生叶柏均，通讯作者为研究院PI赵行。

图. 占据栅格自动标注范式对比

论文信息：

https://arxiv.org/pdf/2507.19451

GS-Occ3D: Scaling Vision-only Occupancy Reconstruction with Gaussian Splatting, Baijun Ye*, Minghui Qin*, Saining Zhang*, Moonjun Goon, Shaoting Zhu, Zebang Shen, Luan Zhang, Lu Zhang, Hao Zhao, Hang Zhao†，ICCV 2025.

赵行团队提出 MoE-Loco，一种基于混合专家（MoE）架构的四足机器人多任务运动控制框架，旨在解决多任务强化学习中梯度冲突导致的训练效率与性能瓶颈问题。该框架可通过单一策略，使四足机器人同时应对杆、坑、楼梯、斜坡等复杂地形，并实现四足与双足步态的切换。

其采用两阶段训练策略：第一阶段结合特权信息与本体感受训练策略，第二阶段仅依赖本体感受适配实际场景；门控网络协调多个专家模块，使神经网络专家实现专业化。在 IsaacGym 仿真与 Unitree Go2 实机实验中，MoE-Loco 的任务成功率、运动效率显著优于无 MoE 架构及 RMA 等基线方法，且有效缓解梯度冲突。此外，该框架可通过调整专家权重组合新技能（如运球步态），提升了机器人运动的鲁棒性与适应性。未来计划融合视觉传感器进一步扩展其应用场景。

图. MoE-Loco：四足机器人可穿越各种复杂地形并执行不同运动模式

论文信息：

https://arxiv.org/pdf/2503.08564

MoE-Loco: Leveraging Mixture of Experts for Multi-Task Locomotion, Runhan Huang*, Shaoting Zhu*, Yilun Du, Hang Zhao†，IROS 2025.

赵行团队实现了基于强化学习的感知-控制解耦系统，探索四足机器人在高动态运动中与外界物体交互的精确性。研究团队在四足机器人前端安装了形似狗嘴的被动夹持器,使机器人能够完成跳跃捕捉小型目标物体的任务。通过设计奖励函数、课程学习和动态目标仿真等技术，提升了机器人的性能表现。实验结果表明,机器人能够追踪速度高达3米/秒的空中移动球体,在真实环境中可捕捉0.8米高度的目标。研究团队对目标位置的感知噪声以及目标绝对高度等影响因素进行了实验分析,为四足机器人动态物体操作领域提供了重要见解。

图. Playful DoggyBot：能够完成跃起捕获小型目标物体的高动态任务

论文信息：

http://arxiv.org/pdf/2409.19920

Playful DoggyBot: Learning Agile and Precise Quadrupedal Locomotion, Xin Duan，Ziwen Zhuang，Hang Zhao†，Sören Schwertfeger†，IROS 2025.

       赵行团队提出一种人形机器人全身动作控制框架，突破了传统研究仅将机器人视为“双足移动平台”的局限。人类在日常中常通过全身与环境互动，如坐下、起身或翻滚，而现有方法在应对不可预测的接触序列和复杂动作时存在困难。模型预测控制难以实时规划，强化学习则依赖高性能物理模拟和简化碰撞检测，同时缺乏大幅躯干运动数据也增加了设计难度。

       该团队提出的框架可接收离散动作指令，并实时控制机器人电机。依托GPU加速模拟器，他们训练出全身控制策略，能在现实环境中稳定运行，即便面对随机接触、大幅度旋转或不合理动作指令，亦能保持良好表现。此成果为人形机器人在复杂环境中的应用奠定了重要基础。

图. 统一的人形机器人运动接口与零样本仿真到现实的强化学习框架

论文信息：

https://openreview.net/pdf?id=JibqR9sEdW

Embrace Contacts: Humanoid Shadowing with Full Body Ground Contacts, Ziwen Zhuang, Hang Zhao†，CoRL 2025.

图. (上) Robust Robot Walker在仿真中的两步训练框架 

(下) 训练所得策略模型在真实机器人中的部署

赵行团队提出了一套围绕接触力建模与本体控制融合的强化学习算法，突破了传统依赖外部感知的四足机器人越障范式。在算法设计上，团队构建了一个两阶段训练架构，在初期引入特权状态与接触力进行策略初始化，后期转向纯本体感知控制。该架构利用本体感知估计和预测特权状态和接触力，形成了显式+隐式状态估计的融合机制，显著提升了机器人识别和应对复杂接触场景的能力。此种编码策略不仅提升了策略泛化性，还有效缓解了仿真到现实的迁移问题，尤其是在存在摩擦、阻尼等外部环境偏差的情况下依然能保持稳定运行。

图. 真机实验成功率曲线

在理论建模方面，团队对本体信息驱动下的目标追踪任务进行了结构性重构。团队将传统的速度指令控制转换为“伪目标指令”驱动的目标位置追踪，从而实现在无定位系统条件下的近似全向控制。同时，围绕该任务重新设计了多个密集型奖励函数，如朝向奖励、目标接近度、静止奖励等，不仅优化了策略收敛性，也自然地训练出了多样化运动策略。团队提出的训练方法使机器人在面对不同障碍组合时能够自主调整步态与策略，展现出极高的适应性。

图.隐空间T-分布领域嵌入（t-sne）分布图

团队主要解决了两个长期存在的挑战：一是外部感知在实际场景中对细微障碍物识别不准的问题；二是控制策略在无精确状态估计条件下无法稳定部署的问题。通过引入基于接触力的隐状态估计器与融合表示空间，机器人不再依赖色彩图像或深度图像即可“感知”地形类型，并自动调整运动行为。此外，训练策略具备良好的可迁移性，能够在不同障碍密度、障碍组合顺序甚至完全未见过的障碍构型下稳定运行。

该工作的最大价值在于其面向真实部署的通用性与实用性。在不依赖任何视觉、定位、运动捕捉系统的前提下，该策略实现了在真实世界中快速部署、零样本推理与可控移动。相比传统方法，所需传感器更少、部署成本更低，具有显著的工程可落地优势。此外，该工作也首次系统性地定义与建立了“微型陷阱”任务与评测标准（Tiny Trap Benchmark），填补了四足机器人越障领域在“细节级障碍”层面的研究空白。

图. “微型陷阱”任务与评测标准。四足机器人从跑道左侧出发，跨越多种障碍物最终到达右侧的目标点

当前四足机器人在复杂三维地形中的自主导航仍面临诸多挑战，特别是在跨越楼梯、坡道、缺口等不规则地形时，传统方法难以在感知、决策与运动控制间协同处理三维空间中的运动规划任务。一方面，已有视觉-语言模型（VLM）具备良好的常识推理与视觉感知能力，但难以直接应用于连续控制任务；另一方面，低层控制策略往往缺乏对环境语义的理解和任务分解能力，导致系统整体的适应性和鲁棒性不足。

图. SARO系统框架总览图

针对上述问题，赵行团队提出SARO（Space-Aware Robot System for Terrain Crossing），该系统首次将预训练VLM引入四足机器人3D导航任务，有效打通了高层语言推理与低层动作控制之间的链路。具体而言，SARO系统利用VLM从单目图像中进行零样本推理的任务理解实现高层控制。系统通过生成“动作-结束状态”对子序列和双判别机制实现闭环控制，实现了语义驱动的子任务稳定执行。同时，团队创新性地提出概率退火选择（Probability Annealing Selection, PAS）方法实现低层控制。通过两阶段训练替代传统强化学习方式，最终策略仅依赖本体感知输入即可适应复杂地形，显著提升了系统在真实场景中的泛化能力与稳定性。

图 概率退火选择策略低层控制算法总览图

在多种典型地形（如楼梯、斜坡、缺口、门框）组成的复杂场景中，SARO系统显著优于现有基线方法（如ViNT、NoMaD、LSTM等），例如在楼梯跨越任务中达到88%的成功率。更重要的是，SARO系统具备良好的现实部署能力，可在未见过的户外自然地形中保持稳定表现。此外，PAS控制策略在仿真环境中以85.3%的平均成功率显著优于RMA、IL等方法，并在真实世界的草地、碎石坡等地形中实现95%以上的高通过率，展现出极强的实用潜力。

图. 在室内与室外多种地形上三维导航实验结果

在自动驾驶运动规划领域，如何在复杂的城市道路场景和长尾少样本场景下保持规划器的鲁棒与泛化，一直是业内难题。传统的基于规则或优化的规划方法需要工程师手动设计代价函数，以平衡“舒适”“安全”“效率”等多重目标，往往在实际复杂路况中难以兼顾；而基于强化学习的规划器虽然具备一定的泛化潜力，却面临仿真到现实（sim-to-real）的巨大差距、训练成本高昂的挑战导致在实际应用中难以大规模落地应用。近年来，随着大规模驾驶数据的积累，自监督的模仿学习为运动规划提供了新的思路，但如何避免分布漂移与奖励冲突导致的性能下降，仍需在模型和训练范式上做出改进。

赵行团队率先引入了混合专家（MoE）架构的STR2方法，以解决自动驾驶运动规划领域，如何在复杂的城市道路场景和长尾少样本场景下保持规划器的鲁棒与泛化这一困扰业内多年的难题。本研究将驾驶轨迹预测与运动规划视作一个自回归序列建模问题：给定过去两秒的环境观测（包括道路几何、红绿灯状态、周围车辆和行人的位置等），通过使用了MoE的Transformer 架构直接预测未来八秒的最优轨迹，实现对复杂动态场景的预测与规划。这一思路与语言模型类似，利用 Transformer 在建模长序列依赖关系上的天然优势，从而减少对手工设计的依赖。为了在大规模数据上实现高效表达，STR2 首先将多模态交通信息通过 Rasterization 处理成两个尺度（近场与远场）的栅格图，每个栅格图由 34 通道的二值占用图组成，分别代表车道线、交通标志、动态障碍物等要素，并通过一个 12 层堆叠的 Vision Transformer 对这些多尺度栅格图进行编码，将其切分为 16×16 的 Patch 并映射为序列输入，再与车辆历史运动状态特征一并输入解码器。

图.  STR2 模型结构概览—包含多尺度栅格化 ViT 编码器、专家路由层、Proposal 分类嵌入与 Autoregressive 解码

在解码阶段，团队引入了混合专家（MoE）架构，以解决纯 Transformer 在面对多目标冲突时可能出现的奖励平衡问题。在每一层的 Transformer 中，基于门控路由机制，根据当前样本的场景特征，将不同的奖励（例如对碰撞风险的避开、对前进效率的追求、对车道保持的遵守等）自动分发给若干专家网络，让每个专家在其负责的子任务上专注学习。这种设计一方面避免了普通单一网络在多重目标下出现的模态崩塌，另一方面通过专家并行与高效的 Flash Attention 技术，使得在 8 张 H100 GPU 上训练数十亿参数规模的模型成为可能。为了进一步缓解在连续轨迹空间下的回归难度，我们在自回归序列中插入了 Proposal 分类嵌入，即通过对 70 万条历史轨迹进行 K-Means 聚类得到 512 个典型轨迹原型（Proposal），网络首先预测出轨迹落入哪个原型类别，再基于该原型生成精细的连续关键点。此种先分类后回归的设计有效减少了曲率预测的崩塌风险，使输出轨迹更加平滑合理。与以往需要额外引入强化学习、逆向强化学习或对比学习等多阶段训练范式相比，STR2 仅依靠自监督地拟合专家示例，在一个阶段内完成训练，简化了流程并大幅降低训练成本。训练过程中，我们使用 Cosine-Restart 学习率调度、bfloat16 精度训练，以及多尺度环境输入，使得模型能够快速收敛并具备良好的泛化能力。

在实验设计方面，团队首先在 NuPlan 数据集上构建了大规模训练集：去除静止状态后，提取出超过 700 万条有效驾驶场景作为训练样本；测试阶段，团队从 NuPlan 的验证集和测试集中各随机抽取 4000 条场景，构成 Val4k 与 Test4k 两个基准测试集；同时，为了考察模型在少样本与零样本场景下的表现，团队选取了 Val14（14 万条更具挑战性的场景）、TestHard（包含复杂城市交叉路口与动态障碍物）以及通过场景合成技术生成的 InterPlan（施工区、碰撞现场等全新环境）。团队在开环（Open-Loop）设置下采用 OLS（Open-Loop Score）、8sADE（8 秒平均位移误差）、8sFDE（8 秒最终位移误差）等指标进行评测；在闭环（Closed-Loop）仿真中，则分别在非反应式（Non-Reactive）与反应式（Reactive）两种模式下评定碰撞率、车道合规度、限速合规度和时间到碰撞（TTC）等综合分数。除此之外，为了验证 STR2 在产业级数据上的可伸缩性，团队还在 LiAuto 自研数据集中开展了扩展实验：该数据集覆盖 70 万车次、1 亿条驾驶场景，团队针对不同的数据量级（百万级、千万级、亿级）以及不同模型参数规模（1 亿、3 亿参数）进行训练，并记录测试损失随数据量与参数量变化的幂律关系。

图.STR2在不同尺度的模型大小、计算资源以及数据量大小上的泛化性能展示

所有实验结果表明，STR2 在 NuPlan 的 Val4k、Test4k 以及 Val14 上，无论是 100M、800M 还是 1B 参数规模的模型，都在 OLS、8sADE、8sFDE 等开环指标上取得了优异成绩；在 Val14 与 TestHard 中，STR2 相较于先前方法（如 PDM-Hybrid、PlanTF、DTPP、GameFormer 等）的性能下降幅度更小，尤其在零样本合成场景（InterPlan）中表现出色，展示了对分布漂移的极强抗性。在闭环仿真中，无论是非反应式还是反应式设置，STR2 都获得了比现有方法更高的综合评分，而那些在反应式仿真下性能下降明显的方法，往往是由于过度拟合训练示例导致对新环境的鲁棒性不足。值得注意的是，在 LiAuto 产业级数据集上进行的可伸缩性实验中，STR2 在不同数据与参数配置下的测试损失都呈现对数线性下降趋势，验证了 MoE-Transformer 在真实工业环境中的有效性与可扩展性。

图1.  用Perlin Noise在不同地形上产生粗糙的表面，用scan dot作为expert policy对环境感知的方法

       此外，团队还验证了人形机器人在移动操作中的可能性。即使本次工作的神经网络是训练用于同时控制上肢和下肢，在复写上肢动作后，下肢仍然能够成功的保持平衡，并且根据遥操作指令准确执行上肢动作。为进行复杂的地形移动同时上肢进行操作的需求提供了可行性参考。

图2.  使用远程操作设置覆盖跑酷策略的动作

       该研究推动了人形机器人在敏捷性、自主性和多任务能力方面的发展，为未来人形机器人在搜索救援、娱乐表演甚至日常生活中的应用奠定了基础。本论文一作为研究院实习生、清华大学交叉信息院博士生庄子文，通讯作者为清华大学交叉信息院助理教授赵行。共同作者为研究院实习生、上海科技大学本科生姚屾喆。

图1. PreSight方法概览

       团队首先提出分块重建的思路，从而实现使用百万数量级图片构建数公里级的城市级NeRF。引入基础视觉模型DINO的知识，构建包含可泛化语义信息的场景先验。设计了一种即插即用的融合模块，可以有效地将构建好的场景先验和在线观测进行融合，能够与任意一种基于BEV的在线感知进行组合，提升其感知能力。最后，在nuScenes数据集上设计实验，证明了该方法能在局部高清地图感知、占据栅格 (Occupancy) 预测任务上有效提升模型表现。

图2.  PreSight对Occupancy预测任务的提升

图3. PreSight对局部高清地图感知任务的提升

图4. PreSight对环境几何信息的精确重建帮助在线感知

       PreSight框架首次提出了使用过去观测信息重建可泛化的城市级先验，为解决自动驾驶在线感知难的问题提供了新的思路，具有重要的理论和实践价值。

       论文信息：PreSight: Enhancing Autonomous Vehicle Perception with City-Scale NeRF Priors, Tianyuan Yuan, Yucheng Mao, Jiawei Yang, Yicheng Liu, Yue Wang, Hang Zhao†, https://arxiv.org/abs/2403.09079, ECCV 2024

近来伴随着不同驾驶模拟器和大规模驾驶数据集的出现，基于深度学习的运动规划方式成为了自动驾驶的关键一环。区别于以往常用的模仿或强化学习算法，赵行团队瞄准了离线强化学习（Offline Reinforcement Learning, Offline RL）能够超越专家性能、无需危险环境交互的特性，提出了HsO-VP框架，实现了纯粹基于离线数据的长程运动规划。框架以驾驶技能为根基，将规划分为提取有效驾驶技能和基于技能的策略学习两阶段，通过更高层次的规划和反馈来稳定长程驾驶过程。为解决常见技能提取时的后验坍塌问题，HsO-VP结合人类驾驶先验，引入了双分支序列编码器，以同时捕捉复杂驾驶技能的离散选项和连续变化，使框架能从离线数据中提取出灵活且可解释的大量驾驶技能。相比于先前方案，HsO-VP在新的测试场景中取得了6.4%的驾驶得分提升。

论文题目：Boosting Offline Reinforcement Learning for Autonomous Driving with Hierarchical Latent Skills, Zenan Li*, Fan Nie*, Qiao Sun, Fang Da, Hang Zhao, ICRA 2024

论文链接：https://arxiv.org/abs/2309.13614