Hugging Face Blog·· 2021-02-10AI 评分30
Hugging Face Transformers 集成 Ray 加速 RAG 检索
Retrieval Augmented Generation with Huggingface Transformers and Ray
AI 导读
Hugging Face Transformers 集成 Ray 实现 RAG 分布式文档检索,将每次检索调用速度提升 2 倍。该方案利用 Ray 的有状态 Actor 抽象分离检索进程,解决了原 torch.distributed 实现的同步瓶颈,并解除对 PyTorch 的依赖。
来源:Hugging Face Blog · huggingface.co