SQZ Talk | 第34期—专题报告“端云大模型协同：可信推理与级联决策”

       2025年12月19日，上海期智研究院第34期“SQZ Talk”学术论坛邀请清华大学房智轩教授，带来专题报告“Remote-Local Collaborative Inference”。论坛由姜建娟博士主持。

报告人简介

房智轩

上海期智研究院PI

清华大学助理教授

       房智轩是清华大学交叉信息研究院的助理教授，博士生导师。他的研究领域包括多智能体系统与区块链系统的分析与优化、网络经济学。相关的研究成果已发表在NeurIPS、ICML、ACL、SIGMETRICS、INFOCOM、JSAC、AAAI等国际顶级学术会议、期刊上。

专题报告

房智轩在报告中阐述了大模型“端云协同”的两个新视角。其团队首先提出一套用户侧一致性监测框架，通过引入logits指标与模型卸载技术，使普通设备能够检测服务端模型的潜在性能退化，从而提升用户对云端服务的信任度。进一步，团队设计了一种选择性延迟路由机制，实现了本地轻量化模型与云端大语言模型的高效协作：前端小模型优先处理用户请求，仅在必要时将任务移交云端，以此动态平衡服务性能与成本开销。本次分享展现了团队在该方向的探索成果，体现了“端云协同”在构建高效、可信赖的协同决策LLM服务生态中的潜力。

报告结束后，科研人员围绕大模型与小模型端云协作场景下，如何通过AUC 优化来解决路由决策问题以及本地模型与在线大模型性能差距的量化及适配性问题进行探讨。