Hugging Face Blog·· 2024-12-20精选AI 评分73
Big Bench Audio 发布:语音推理性能显著落后于文本
Evaluating Audio Reasoning with Big Bench Audio
AI 导读
Artificial Analysis 发布 Big Bench Audio 数据集,评估语音语言模型的推理能力。测试显示 GPT-4o 在语音到语音任务中准确率仅为 66%,远低于文本处理的 92%,传统语音转文本再转语音的流水线方案在推理准确性上目前优于原生语音模型。
推荐理由
首次量化语音推理性能衰减,揭示原生语音模型在复杂推理任务中显著落后于文本处理。
来源:Hugging Face Blog · huggingface.co