实时语音转写不再跳字：网易有道开源 R2T2 登顶 HF 热榜

实时字幕、同声传译、语音助手——这些场景里最烦的一件事，是识别结果反复改写：上一条刚显示「我去超市」，下一秒变成「我去超」，再过半秒又跳回「我去超市买菜」。字幕跳动、译文重写、重复推理，根源都指向同一个矛盾：一段话还没说完，哪些文字已经可以提交？输出太早可能识别错，等太久又拖慢交互。网易有道开源的子曰 Confucius4-R2T2，把这个问题单独拎出来做了建模。

它登上了热榜

Confucius4-R2T2 是网易有道子曰系列的实时语音识别（ASR）模型。开源后登顶 Hugging Face 自动语音识别热榜第一，模型与各量化版本全球累计下载量达到 20 万次（主模型约 6.2 万，量化版本合计约 14 万），技术报告也已上线论文预印本平台 arXiv（编号 2611.06043）。这份成绩背后，是实时语音应用对「快、准、稳」的共同需求。

技术上做了什么

1. 底座与训练：模型基于 Qwen3-ASR-1.7B 构建，不改变原有架构，用约 1500 小时中英文音频做后训练，学习流式识别与稳定提交。训练时冻结音频编码器与投影层，只更新语言解码器参数，保留预训练的声学表征。
2. 最长稳定前缀（LSP）：普通语音识别训练只有「音频—完整文本」配对，不会告诉模型「听到哪一刻、哪些字已经稳定」。R2T2 构造部分音频下的监督信号，让模型学到「哪些文字已经足够稳定、可以立即提交」。
3. 显式 WAIT 行为：信息不足时，模型在稳定前缀之后加入 WAIT，停止当前轮生成，继续听后续音频，同时学习「当前听到了什么」和「当前可以提交到哪里」。
4. 强化学习：在监督微调之后，用 GRPO 多轮流式生成做优化，奖励综合考虑识别准确性、冗余内容、长度、重复、语言一致性等因素。训练还引入噪声、混响和纯噪声负样本，帮助模型适应复杂声学条件。

实测表现

在 8 个英文测试集和 5 个中文测试集上，质量优先配置（U=1）的综合宏平均错误率为 5.76%，低于 X-ASR 的 8.97%，也低于报告评测的三款商业 API。延迟方面，160ms 音频块、低延迟配置（U=0）下，中文和英文平均回溯输出延迟分别约为 0.53 秒和 0.42 秒；进一步用 80ms 音频块、U=0 时，两种语言的平均延迟都低于 0.5 秒。同一个模型无需重新训练，就能根据场景在质量和速度之间切换。

值得强调的是跨语言迁移：虽然后训练只用中英文数据，但在另外 10 种语言的 18 个测试集上，R2T2 的识别错误率也都低于基础模型，说明流式识别能力的提升能迁移到训练语言之外。从训练到推理，报告还结合缓存复用、有界上下文和暂定尾部验证，减少流式更新中的重复计算。

怎么用上它

模型与量化版本已在 HuggingFace 开放：https://huggingface.co/netease-youdao/Confucius4-R2T2 ，社区陆续推出量化版本与不同运行环境的适配，让更多开发者能跑起本地实时听写。它适合实时字幕、听写、同声传译、语音助手和语音智能体等场景。R2T2 也是有道子曰模型矩阵的一环，同矩阵还有面向视觉理解与数理推理的多模态模型、可动态等待或输出译文的流式翻译模型 T3PO，以及支持 14 种语言的语音合成模型 TTS。

技术报告地址：https://arxiv.org/abs/2611.06043

我的看法

把「何时输出」显式建模，是实时语音真正落地的关键一步。一个约 2B 的小模型在本地就能做到 5.76% 的错误率，对需要低延迟、稳定增量文本的应用（字幕、同传、语音 Agent）非常友好——已提交的文字不再回改，下游翻译和交互也少了很多反复。对做语音产品的团队，这套「先稳定、再提交」的思路值得直接借鉴。