在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B

Meta Llama 3.1 405B 模型可在 Google Cloud Vertex AI 上部署，推荐使用 FP8 量化版本以适配 8 x H100 的 A3 节点。该模型具备 128K tokens 上下文窗口，支持多语言及工具使用。部署需配置 Vertex AI API 并申请 A3 节点配额。