SQZ Talk | 第24期—专题报告“数据视角下的模型压缩加速”

       大模型的计算成本严重制约了其落地应用。一般来说，模型的计算成本由其参数量与数据量共同决定。已有压缩研究主要关注如何减少模型的参数量而忽视了数据维度的压缩。随着强推理模型和视频生成模型的出现，张林峰教授团队发现数据规模(Token数量)的增加已经成为了计算成本居高不下的首要因素。在本报告中，张林峰教授介绍了数据中心的模型压缩加速在大模型、多模态大模型、图像视频生成模型上的几个典型案例。

报告结束后，科研人员们围绕图像编辑中的局部重绘技术展开讨论，重点对比了基于用户手动标注的精确区域编辑与基于文本描述的语义驱动编辑两种实现路径，深入探讨了两种方法在工业应用中的优劣，指出语义驱动方式虽存在背景误修改风险但更符合自然交互趋势，同时分析了手动标注在边界融合方面的技术瓶颈，并讨论了生成式模型训练数据不足等问题。此外还探讨了如何依据 A-score 选择最优token。