跳到正文
原文
Hugging Face Blog·· 2025-10-27精选AI 评分75

Hugging Face datasets 库升级流式读取,训练效率提升 100 倍

Streaming datasets: 100x More Efficient

AI 导读

Hugging Face 升级 datasets 库的流式读取功能,通过持久化缓存与预取机制,将启动请求减少 100 倍、数据解析提速 10 倍、吞吐量翻倍,使多卡训练可直接流式读取 TB 级数据集,无需本地下载。

推荐理由

解决了多卡训练海量数据集时的请求风暴与下载瓶颈,提供即插即用的性能优化方案。

来源:Hugging Face Blog · huggingface.co