Hugging Face Blog·· 2025-10-27精选AI 评分75
Hugging Face datasets 库升级流式读取,训练效率提升 100 倍
Streaming datasets: 100x More Efficient
AI 导读
Hugging Face 升级 datasets 库的流式读取功能,通过持久化缓存与预取机制,将启动请求减少 100 倍、数据解析提速 10 倍、吞吐量翻倍,使多卡训练可直接流式读取 TB 级数据集,无需本地下载。
推荐理由
解决了多卡训练海量数据集时的请求风暴与下载瓶颈,提供即插即用的性能优化方案。
来源:Hugging Face Blog · huggingface.co