Transformers v5 重构分词器：架构与词表分离，支持从零训练

Hugging Face 发布 Transformers v5，将分词器架构与训练好的词表分离，实现单文件部署和 Rust 后端默认化。新架构允许开发者直接实例化空白分词器模板，通过调用 train 方法在自有语料上从头训练模型专属分词器，同时保留了 chat template 等模型感知功能。