跳到正文
原文
Hugging Face Blog·· 2024-10-21AI 评分53

Keras 中加载 Llama 3.2 及多设备并行推理教程

“Llama 3.2 in Keras”

AI 导读

Keras 已原生支持加载 Llama 3.2 模型,用户可直接使用 safetensors 格式权重进行生成、训练和微调。文章演示了通过 keras-hub 调用模型,利用 JAX 后端实现多 GPU/TPU 并行推理,并展示了在 TPU 上微调 Llama 3.1 8B 模型的完整流程。

来源:Hugging Face Blog · huggingface.co