Hugging Face Blog·· 2025-12-11精选AI 评分70
llama.cpp 新增 Router 模式支持多模型动态管理
New in llama.cpp: Model Management
AI 导读
llama.cpp server 新增 Router 模式,支持在不重启服务的情况下动态加载、卸载和切换多个模型。该功能采用多进程架构,每个模型独立运行,支持自动发现 GGUF 文件、按需加载及 LRU 淘汰机制,默认同时加载 4 个模型。
推荐理由
实现了多模型动态加载与切换,无需重启服务,便于本地多模型管理与性能隔离。
来源:Hugging Face Blog · huggingface.co