跳到正文

#语音

今日 0 条
10月7日周三
  1. Hugging Face Blog62

    TII 发布 Falcon ASR 语音识别模型,支持阿联酋方言

    TII 发布 Falcon ASR 语音识别模型,参数量 1.6B,针对阿联酋方言优化并支持英语、法语、西班牙语和葡萄牙语。在公开基准上平均词错率(WER)为 20.92%,优于此前最佳结果,并提供在线 Demo 体验。

    推荐理由:模型针对阿联酋方言优化并支持多语种,提供了可验证的基准成绩与在线体验入口。

10月6日周二
9月30日周三
  1. Hugging Face Blog60

    Hugging Face 发布开源多语言 TTS 排行榜

    Hugging Face 推出 Open TTS Leaderboard,采用客观指标评估开源 TTS 模型。该排行榜涵盖多语言识别率、推理速度和说话人相似度,并支持语音克隆与流式性能对比,旨在解决人工投票榜扩展性不足的问题。

    推荐理由:Hugging Face 推出基于客观指标的开源多语言 TTS 排行榜,弥补了人工投票榜在扩展性上的不足。

9月25日周五
  1. Google DeepMind77

    Gemini 3.8 Live 新增 Live Avatar 实时视觉形象功能

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将实时对话与低延迟流式视频生成原生耦合,赋予 AI 具备动态视觉形象。该功能支持 97 种语言无缝切换且保持口型同步,可在后台异步调用工具以维持对话流畅,目前已在 Gemini Enterprise 中开放。

    推荐理由:原生耦合实时对话与低延迟视频流,支持97种语言无缝切换及异步工具调用,为多模态交互提供企业级入口。

9月23日周三
  1. Google DeepMind82

    Gemini 3.8 Flash TTS 与 Flash-Lite TTS 发布

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,支持通过自然语言提示从零创建角色声音、30秒样本复刻声音,并提供逐行表演控制与原生双人对白编排。模型已上线 Google AI Studio 和 Gemini API,并在 Hume AI 语音设计基准测试中取得领先。

    推荐理由:提供了原生双人对白编排与细粒度表演控制,可据此评估其在播客、有声书及多语言配音场景的落地能力。

9月16日周三
  1. Google DeepMind85

    Google 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking 实时对话模型

    Google 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking 两款实时对话模型,支持近实时视觉输入、97 种语言自动切换及后台工具调用。3.8 Live Extended Thinking 在 Artificial Analysis 语音质量指数中排名第一,并在 τ-Voice 基准测试中展现多步推理能力。

    推荐理由:新增实时对话与扩展推理能力,提供语音基准数据与多语言支持,便于开发者构建生产级语音智能体。

8月28日周五
8月27日周四
  1. Google DeepMind82

    Google 发布 Gemini 3.5 Transcribe 语音转写模型

    Google 发布 Gemini 3.5 Transcribe 语音转写模型,提供实时流式(gemini-3.5-transcribe-live)与离线处理(gemini-3.5-transcribe)双 API。该模型支持函数调用、自定义词汇及 85 种语言,流式与非流式 WER 分别达 4.0% 和 2.6%,已集成至 Gemini 应用、Gboard 及 Chrome 等产品。

    推荐理由:模型提供实时与离线双API,WER显著降低并支持函数调用,开发者可据此构建高精度语音交互应用。

8月25日周二
  1. Mistral AI42

    Mistral 与 HUMAIN 宣布战略合作推进中东主权AI

    Mistral 与 HUMAIN 宣布战略合作,在沙特阿拉伯及中东地区推进主权AI。双方将联合开发针对阿拉伯语优化的前沿模型,重点聚焦网络安全与语音领域,并探索利用 HUMAIN 数据中心满足当地算力需求。该合作涉及数亿欧元,旨在通过本地基础设施与开放权重模型,帮助金融、制造等受监管行业实现数据与控制权自主。

8月21日周五
  1. Hugging Face Blog68

    Hugging Face 研究揭示语音识别模型对公开基准的过拟合与优化现象

    Hugging Face 发布研究,通过参考不一致、实体检索和正字法切换三项测试,量化语音识别模型在 VoxPopuli 和 LibriSpeech 等公开基准上的过拟合现象。研究发现部分高分模型会复现基准中的错误转录、恢复被静音的数字,并依据音频中的数据集特定线索选择拼写,导致基准分数高估了真实场景下的转录能力。

    推荐理由:通过三项测试量化语音识别模型对公开基准的过拟合现象,揭示高分模型在真实场景中可能依赖数据集特定线索而非音频内容。

8月12日周三
  1. Google Research88

    Google 发布 AMIE 实时视频问诊研究:达到专家级临床诊断水平

    Google Research 发布论文,介绍基于 Gemini 和 Project Astra 的 AMIE (Video) 系统,该系统通过异步多智能体架构在实时视频问诊中感知视听线索并引导虚拟体格检查。在 100 个场景、300 次咨询的随机对照研究中,AMIE (Video) 在病史采集、诊断准确性和沟通质量上与 30 名初级保健医生相当,且在引导体格检查方面表现更优。

    推荐理由:研究展示了基于 Gemini 的 AMIE 系统在实时视频问诊中达到专家级水平,为医疗 AI 从文本向视听交互演进提供了实证。

8月11日周二
  1. Hugging Face Blog78

    NVIDIA Magpie TTS 开源多语言语音模型,新增阿拉伯语等三种语言

    NVIDIA 在 Hugging Face 开源 Magpie 多语言 TTS 模型,新增现代标准阿拉伯语、韩语和巴西葡萄牙语,支持12种语言。该模型提供364M参数开源权重及NIM部署方案,在B200上单流首音频延迟低至32ms,并引入帧堆叠与局部Transformer架构优化推理速度。

    推荐理由:提供开源权重与NIM部署方案,支持12种语言及低延迟指标,适合需要私有化部署和定制语音的开发者。

7月1日周三
  1. Hugging Face Blog70

    Hugging Face 联合 Cerebras 发布实时语音 AI 演示

    Hugging Face 与 Cerebras 联合展示了基于 Cerebras 推理加速的实时语音 AI 架构,该架构采用 Nvidia Parakeet 进行语音识别、Gemma 4 VLM 进行推理、Qwen3TTS 进行语音合成,实现了低延迟的端到端语音交互。

    推荐理由:展示了结合Cerebras推理与Gemma 4、Qwen3TTS的实时语音架构,为开发者提供了低延迟语音交互的开源参考实现。

5月27日周三
  1. Hugging Face Blog77

    Hugging Face 教程:让 Reachy Mini 机器人实现全本地语音交互

    Hugging Face 发布教程,指导用户将 Reachy Mini 机器人的语音交互栈完全部署在本地。通过 speech-to-speech 库串联 Silero VAD、Parakeet-TDT 0.6B v3、Qwen3-TTS 等开源组件,并结合 llama.cpp 或 vLLM 运行 Gemma-4 或 Qwen3-4B 等模型,实现无需云端 API 的隐私保护与低延迟对话。

    推荐理由:提供将语音交互栈完全本地化的实操指南,展示如何在端侧实现隐私保护与低延迟的机器人对话。

5月6日周三
  1. Hugging Face Blog40

    Open ASR Leaderboard 引入 Appen 和 DataoceanAI 私有数据集以防范刷榜

    Hugging Face 在 Open ASR Leaderboard 中引入 Appen 和 DataoceanAI 提供的高质量私有 ASR 数据集,以防范测试集污染和刷榜行为。默认排行榜平均分仍基于公开数据集计算,用户可手动开启私有数据集查看影响。此举旨在通过标准化评估和增加数据多样性,更全面地反映模型在多种口音和对话场景下的真实鲁棒性。

4月16日周四
  1. Google DeepMind75

    Gemini 3.1 Flash TTS 发布,引入细粒度音频标签实现自然语言控制

    Google DeepMind 发布 Gemini 3.1 Flash TTS 文本转语音模型,引入细粒度音频标签(audio tags)支持自然语言控制语音风格、节奏和表达。该模型支持 70 多种语言,在 Artificial Analysis 基准测试中表现优异,已面向开发者、企业和 Workspace 用户开放预览,所有生成音频均嵌入 SynthID 水印。

    推荐理由:引入细粒度音频标签实现自然语言控制,兼顾高音质与低成本,为开发者提供精准表达控制。

3月26日周四
  1. Google DeepMind85

    Google 发布 Gemini 3.1 Flash Live 语音模型

    Google 发布 Gemini 3.1 Flash Live 语音模型,在 ComplexFuncBench Audio 基准测试中得分 90.8%,支持更自然的对话与多语言实时交互。该模型已上线 Gemini Enterprise、Gemini Live 和 Search Live,并集成 SynthID 音频水印。

    推荐理由:模型在语音基准测试中刷新纪录并降低延迟,为开发者构建语音智能体提供了更可靠的底层能力。

  2. Google DeepMind68

    Google DeepMind 发布 Lyria 3 Pro 音乐生成模型

    Google DeepMind 发布 Lyria 3 Pro,支持生成长达3分钟且具备结构意识的音乐曲目,可自定义前奏、主歌等元素。该模型已接入 Vertex AI、Google AI Studio、Google Vids、Gemini 应用及 ProducerAI,面向企业和创作者开放。

    推荐理由:模型支持3分钟长曲并细化结构控制,同时扩展至多个Google产品,可据此评估其工作流整合价值。

3月24日周二
  1. Mistral AI78

    Mistral AI 发布 Voxtral TTS 多语言语音生成模型

    Mistral AI 发布 Voxtral TTS,这是一款 4B 参数的文本转语音模型,支持 9 种语言,具备低延迟、情感表达和零样本跨语言声音适应能力。该模型在人类评估中表现优于 ElevenLabs Flash v2.5,API 定价为每 1k 字符 0.016 美元,并提供开源权重。

    推荐理由:官方发布4B参数多语言TTS模型,提供低延迟与情感表达,并公布API定价与开源权重。

3月7日周六
2月5日周四
  1. Mistral AI82

    Mistral 发布 Voxtral Transcribe 2 语音模型

    Mistral 发布 Voxtral Transcribe 2 语音转文字模型,包含 Voxtral Mini Transcribe V2 和 Voxtral Realtime。后者采用流式架构,延迟可配置至 200ms 以下,支持 13 种语言,以 Apache 2.0 协议开源权重。

    推荐理由:提供了实时与批量双模型及开源权重,给出了延迟与价格数据,便于评估语音工作流升级。

12月13日周六
12月4日周四
  1. Google Research42

    Google 发布 MSEB 基准测试:评估多模态听觉智能的八大核心能力

    Google Research 发布 Massive Sound Embedding Benchmark (MSEB),旨在标准化评估多模态模型的听觉智能。该基准涵盖语音检索、推理、分类等八大核心能力,并包含包含 177,352 条语音查询的 Simple Voice Questions (SVQ) 数据集。实验显示当前声音表示远非通用,在各项任务中均存在显著的性能提升空间。

11月21日周五
11月19日周三
  1. Google Research85

    Google 发布端到端实时语音翻译模型并部署于 Google Meet 和 Pixel 10

    Google 发布端到端实时语音翻译模型,延迟仅2秒并保留原声,已在 Google Meet 和 Pixel 10 部署。该模型基于 AudioLM 和 SpectroStream 架构,支持英、西、德、法、意、葡等语言。

    推荐理由:端到端架构将延迟降至2秒并保留原声,已在Google Meet和Pixel 10部署,可据此评估实时语音翻译的技术进展。

7月17日周四
  1. Mistral AI68

    Mistral Le Chat 新增 Deep Research 智能体与 Voxtral 语音功能

    Mistral 发布 Le Chat 多项新功能,包括 Deep Research 智能体可自动生成结构化研究报告;基于 Voxtral 模型的语音模式支持自然对话;Magistral 推理模型提供原生多语言思考能力;Projects 功能支持将对话分组管理;与 Black Forest Labs 合作实现图像直接编辑。

    推荐理由:Le Chat 新增 Deep Research 智能体、Voxtral 语音交互及 Magistral 多语言推理,提供了更完整的 AI 助手工作流。