Deepgram 如何借助 AWS Trainium2 优化语音 AI 规模化推理

Deepgram 将 Nova-3 语音转文本模型迁移至 AWS Trainium2，在离线批处理负载下实现每美元处理音频量提升 11%–70%。通过 TorchNeuron 编译及 NKI 内核级调优，FFN 层延迟降低 2.0 倍，Depthwise conv1d 加速 1.5 倍。该优化方案支持在 Amazon SageMaker AI 上高效部署，帮助开发者降低基础设施成本。