大规模并行文本生成技术的创新和实践

报告时间及地点：

2021年8月13日下午16：00-18：00，上海期智研究院40楼02会议室

内容摘要:

文本生成是自然语言处理的重要方向之一，很多关键的下游任务包括机器翻译，人机对话，自动问答等都依赖文本生成技术。当前主流的文本生成模型主要遵循自左至右的生成范式，并使用 Transformer 来参数化，在实践中取得了不错的效果。但是自左至右的自回归式生成会带来每个位置生成时互相等待，效率下降的问题。为此有研究者提出了并行（非自回归）文本生成技术，在损失生成准确率的前提下大大提高了生成的效率。本次报告介绍了字节跳动在大规模文本生成技术方面的探索，深入讨论了高效且不损失精度甚至提高精度的并行文本生成技术是否可行，并且尝试从理论和实践两个角度给出一些初步结果。

报告人简介:

周浩，字节跳动人工智能实验室高级研究员。周浩于 2017 年博士毕业于南京大学，获得南京大学优秀博士论文和中国人工智能学会优秀博士论文。他的研究方向是离散符号的结 构化学习，包括文本生成，AI 辅助药物设计，蛋白质性质预测等。他曾担任多个会议的程序委员会成员，多次在国际会议如 EMNLP 等做讲习班报告，在相关会议包括ACL, EMNLP, NeurIPS, ICML 和 ICLR 上发表论文 50 余篇，曾获得 ACL 2021 最佳论文奖。