Hugging Face 推出辅助生成技术降低文本生成延迟

Hugging Face 在 Transformers 库中引入辅助生成（Assisted Generation）技术，利用小模型生成候选 token 并由大模型验证，从而减少前向传播次数。该方法在模型显存不足需卸载时最高可实现 10 倍加速，在显存充足时也可获得 2 至 3 倍加速，且支持贪婪解码与采样。