使用 🤗 Transformers、TensorFlow 和 TPU 训练语言模型

Hugging Face 发布指南，展示如何使用 🤗 Transformers、TensorFlow 和 TPU 从头训练 RoBERTa 模型。教程涵盖使用 🤗 tokenizers 训练 Unigram 分词器、将 WikiText 数据集转换为 TFRecord 格式并上传至 Google Cloud Storage，以及利用 XLA 兼容性完成端到端训练流程。