如何使用 Transformers 和 Tokenizers 从头训练语言模型

Hugging Face 展示了使用 Transformers 和 Tokenizers 库从头训练 EsperBERTo 模型的方法。该模型包含 84 M 参数，在 Esperanto 语料上训练，并采用 52,000 词表的 Byte-level BPE 分词器。随后模型在词性标注任务上进行了微调。