2025-11-14
研究院蒋力团队在2025年度多媒体领域的国际顶会ACM Multimedia中获杰出论文奖（Outstanding Paper Award）。该成果一作为研究院兼职研究员刘方鑫，研究院联培博士生王俊杰，指导老师为研究院PI蒋力。
Transformer模型在计算机视觉和自然语言处理任务中表现卓越,但其庞大的模型规模导致推理延迟高、资源消耗大,限制了实际部署。研究院团队提出一种基于马尔可夫决策过程的自适应动态层跳过框架ASTER,动态选择计算路径,在降低计算成本的同时保持模型精度。该算法为大规模Transformer模型在资源受限环境中的高效部署提供了实用解决方案。
科研成果概要
图：ASTER执行框架示意图
ASTER框架在提升Transformer推理效率方面具有显著优势,具体包括:
1. 智能自适应跳过策略: 将层跳过建模为序贯决策过程,设计评分机制动态判断跳过哪些层以及何时退出,提供灵活的跳过策略。
2. 知识蒸馏补偿机制: 引入可学习的认知令牌,从完整层教师模型中提取关键信息,有效补偿跳过层带来的信息损失。实验表明,在3倍理论加速比下,ASTER在DeiT模型上仍能保持43.68%的精度。
3. 广泛适用性与兼容性: 在ViT、DeiT、LLAMA和DistilBERT等多种模型上验证了方法的有效性,且与量化、稀疏化等其他压缩技术正交兼容。该算法为大规模模型的实际部署开辟了新路径,特别适用于资源受限的边缘设备和大规模服务部署场景。
论文信息：
https://dl.acm.org/doi/pdf/10.1145/3746027.3755526
ASTER: Adaptive Dynamic Layer-Skipping for Efficient Transformer Inference via Markov Decision Process, Fangxin Liu, Junjie Wang, Ning Yang, Zongwu Wang, Junping Zhao, Li Jiang, Haibing Guan, ACM Multimedia 2025.
作者简介
刘方鑫，上海期智研究院兼职研究员，上海交通大学计算机学院助理研究员、博士生导师。研究方向包括计算机体系架构与设计自动化、大模型加速、AI编译优化等。以第一/通讯作者身份在HPCA、ISCA、MICRO、ASPLOS、DAC等领域顶级期刊及会议上发表论文 50 余篇，其中CCF-A类30余篇，体系结构四大顶会13篇。研究成果入选华为火花奖（2022）、中国计算机学会容错计算专委40周年代表性成果等，此外，获DATE 2022最佳论文奖及最佳论文提名、上海市计算机学会优秀博士论文奖、ACM上海优秀博士论文奖、上海市优秀毕业生、CCF体系结构优秀博士论文提名等奖项与荣誉。
王俊杰，“SQZ未来学者”—上海期智研究院-上海交通大学联合培养博士生，研究方向包括模型压缩、大模型加速等。
蒋力，上海期智研究院PI，上海交通大学研究员，博导。分别于上海交通大学与香港中文大学获得学士与博士学位。研究方向为计算机体系架构与设计自动化。在AI专用处理器，编译器，异构加速器设计，与存算一体架构等领域有多项技术突破成果。在相关领域发表会议与期刊论文100余篇，获2次最佳论文奖，1次最佳博士论文奖，多次最佳论文提名。入选国家级青年人才计划，曾获ACM上海新星奖， CCF集成电路Early Career Award等。承担二十余项国家、省部级项目，相关成果已被引入IEEE P1838标准，并且与台积电、华为和阿里巴巴合作的几项技术已商业化使用。
