跳到正文
原文
Hugging Face Blog·· 2021-02-10AI 评分30

Hugging Face Transformers 集成 Ray 加速 RAG 检索

Retrieval Augmented Generation with Huggingface Transformers and Ray

AI 导读

Hugging Face Transformers 集成 Ray 实现 RAG 分布式文档检索,将每次检索调用速度提升 2 倍。该方案利用 Ray 的有状态 Actor 抽象分离检索进程,解决了原 torch.distributed 实现的同步瓶颈,并解除对 PyTorch 的依赖。

来源:Hugging Face Blog · huggingface.co