从零开始训练 CodeParrot 🦜

Hugging Face 发布从零训练 CodeParrot 🦜 的教程，该模型基于 1.5B 参数的 GPT-2 架构，可自动补全 Python 代码。教程展示了如何清洗 50GB 的 GitHub 数据集、训练专用 Tokenizer 并使用 🤗 Accelerate 库进行多 GPU 训练。