跳到正文
原文
Hugging Face Blog·· 2023-04-26AI 评分33

Hugging Face 发布 Spark 支持,大语言模型训练与微调速度提升 40%

Databricks ❤️ Hugging Face: up to 40% faster training and tuning of Large Language Models

AI 导读

Hugging Face 发布首个官方 Spark 支持,允许用户通过 `from_spark` 函数直接将 Apache Spark dataframe 转换为 Hugging Face Dataset。该功能省去了写入 Parquet 文件的繁琐步骤,使 16GB 数据集的处理时间从 22 分钟缩短至 12 分钟,训练和微调速度提升超过 40%。

来源:Hugging Face Blog · huggingface.co