使用 Hugging Face Transformers 和 Amazon SageMaker 部署 GPT-J 6B 进行推理

EleutherAI 发布的 GPT-J 6B 是一个拥有 60 亿参数的开源大语言模型。通过结合 torch.save 与 torch.load 方法，模型加载时间可从 1 分 23 秒大幅缩短至 7.7 秒，速度提升约 10.5 倍。该方案支持在 Amazon SageMaker 上使用 NVIDIA T4 GPU 实例进行可扩展、可靠且安全的实时推理。