在 GCP 5代 Xeon 上对语言模型性能进行基准测试

在 Google Cloud 的 5代 Xeon C4 实例上，文本嵌入吞吐量比 N2 高 10-24 倍，文本生成高 2.3-3.6 倍。C4 每小时价格约为 N2 的 1.3 倍，在文本嵌入和生成任务中分别保持 7-19 倍和 1.7-2.9 倍的 TCO 优势。