跳到正文
原文
Hugging Face Blog·· 2024-10-08精选AI 评分75

Hugging Face Transformers 4.45.0 默认启用动态推测解码

Faster Assisted Generation with Dynamic Speculation

AI 导读

Hugging Face 在 Transformers 4.45.0 中将动态推测解码设为默认操作模式,该方法通过动态调整草稿模型生成的 token 数量,相比静态或启发式方法最高实现 2.7 倍加速。用户无需修改代码即可直接受益,同时支持通过配置参数切换至启发式或静态模式。

推荐理由

动态推测解码已作为默认模式集成至 Transformers 4.45.0,无需修改代码即可实现最高 2.7 倍的推理加速。

来源:Hugging Face Blog · huggingface.co