利用预训练语言模型检查点启动编码器解码器模型

本文介绍了如何利用预训练的 BERT 或 GPT2 检查点来初始化 Transformer 编码器解码器模型，以降低训练成本。文章分析了不同组合在句子融合、机器翻译和摘要任务上的表现，并提供了基于 Hugging Face Transformers 的完整代码示例。