使用推测解码将 Whisper 推理速度提升 2 倍

Hugging Face 博客发文演示了如何在 Whisper 模型中应用推测解码（Speculative Decoding）技术。通过引入 Distil-Whisper 作为辅助模型，在保持转录精度完全一致的前提下，将 16GB T4 GPU 上的推理时间缩短约 2 倍。文章提供了基于 Transformers 库的完整代码实现，并探讨了多语言场景下的模型选择及批处理策略。