Qwen3-TTS Technical Report

1 引言

• 3 秒声音克隆、精选预设音色，以及基于自然语言的声音创建与细粒度控制，支持音色复用和覆盖超过 10 种语言的说话人一致性生成。报告称，1.7B 模型的感知质量达到领先水平、接近真人，且未对 ASR 相关指标过拟合。出处：§1 · p. 2
• 首包延迟为 97 ms（0.6B）和 101 ms（1.7B），同时支持流式文本输入和流式音频输出。双轨自回归架构引入 Multi-Token Prediction，对多码本序列建模，使语音解码可从首个编解码帧开始。出处：§1 · p. 2
• 25 Hz 单码本词元化通过 Qwen2-Audio 编码器融合语义与声学信息，兼顾表现力与 LLM 建模的可行性。语义分词器表现力不足，而纯声学分词器会增加 LLM 建模难度，并累积长程误差。分块流匹配支持流式生成 (Xu et al., 2025)，但单码本设计限制了超低延迟应用和通用语音合成。出处：§1 · p. 2
• 12.5 Hz 多码本词元化通过轻量级因果 ConvNet 重建波形，无需提取说话人向量或使用复杂的扩散模型。该方案受 Zhang et al. (2023b) 启发：首层码本编码语义内容，后续层捕捉声学细节。出处：§1 · p. 2
• 在全部 10 种受评语言中，相较于 MiniMax 和 ElevenLabs 等商业基线，Qwen3-TTS 均取得最低的 Seed-TTS WER，且说话人相似度更高。跨语言改进包括中文到韩文的错误率显著下降，目标说话人控制也优于 GPT-4o-mini-tts。长语音生成可输出超过 10 分钟的自然流畅语音。出处：§1 · p. 2
• Qwen3-TTS 使用超过 5 百万小时的语音数据训练，全系列模型与语音分词器均已发布，供社区开展研究与开发。出处：§1 · p. 2

2.1 Qwen-TTS-Tokenizer-25Hz

• 25 Hz 单码本离散化基于 Qwen2-Audio，先进行 ASR 预训练，再通过梅尔频谱重建训练引入声学信息。阶段 1 在持续 ASR 预训练中加入重采样层和中间向量量化层。阶段 2 使用基于卷积的梅尔频谱解码器，对整个模型进行微调。出处：§2.1 · p. 3
• 流式重建使用通过 Flow Matching 训练的 DiT (Lipman et al.) 生成梅尔频谱块，再用改进的 BigVGAN (Lee et al.) 合成波形。定长编码块采用注意力掩码 (Guo et al., 2025)，回看三个块、前瞻一个块，以保留上下文。BigVGAN 也采用分块处理，感受野固定。出处：§2.1 · p. 3

2.2 Qwen-TTS-Tokenizer-12Hz

• 12.5 Hz 多码本离散化采用 Mimi (Défossez et al., 2024) 的语义–声学解耦量化策略，将语义内容与声学细节分离。WavLM (Chen et al., 2022) 为首个语义码本层提供监督，15 层残差向量量化器则捕获其余声学细节。联合训练使用原始波形 GAN 和多尺度梅尔频谱重建损失，以提升自然度、保真度及时频一致性。出处：§2.2 · p. 3
• 全因果编码器以 12.5 Hz 输出语音 token，无需前瞻；因果解码器则以增量方式重建音频，实现低延迟流式合成。编码器依次输出语义和声学 token，支持实时在线服务。出处：§2.2 · pp. 3–4

3.1 架构

• Qwen3-TTS 沿通道轴拼接文本与声学 token，每收到一个文本 token，便立即预测对应的声学 token。Qwen3 主干网络使用标准 Qwen 分词器处理文本，使用 Qwen-TTS-Tokenizer 处理语音。联合训练的说话人编码器控制说话人身份，Code2Wav 则将预测的声学 token 转换为波形。出处：§3.1 · p. 4
• Qwen3-TTS-25Hz 预测单层级语音 token，Qwen3-TTS-12Hz 则分层预测 RVQ 码本，实现单帧生成。25Hz 主干网络融合文本特征与此前的语音 token，通过线性输出头进行预测，并使用分块 DiT 重建波形。12Hz 主干网络根据聚合后的码本特征预测第零个码本，再由 MTP 生成残差码本，在尽量降低延迟的同时提升音色一致性和表现力。出处：§3.1 · p. 4

3.2 训练

• 超过 5 百万小时的多语言语音奠定了通用文本转语音能力，随后通过高质量数据持续预训练，减少噪声引发的幻觉并提升生成语音的质量。所有训练数据均采用 ChatML，以统一输入格式并支持可控生成。通用训练阶段学习单调的多语言文本到语音映射，随后通过专门的质量分层流程筛选高质量数据，进行持续预训练。出处：§3.2 · pp. 4–5
• 将上下文长度从 8,192 个 token 扩展至 32,768 个 token，并对长语音上采样，可增强模型处理长而复杂输入的能力，生成更贴合上下文的语音。这些调整构成最后的长上下文预训练阶段。出处：§3.2 · p. 5
• 后训练结合人类偏好对齐、基于规则奖励的优化及轻量级说话人微调，提升语音质量、任务稳定性和特定音色的可控性。DPO (Rafailov et al., 2023) 使用基于人类反馈构建的多语言偏好对，随后采用基于规则奖励的 GSPO。说话人微调使基座模型适配特定音色，同时提升自然度、表现力和可控性。出处：§3.2 · p. 5

3.3 功能

• 声音克隆可使用说话人嵌入实现实时合成，或通过文本–语音上下文学习改善韵律；指令则支持音色设计与风格控制。用户提供的控制指令被置于输入序列之前，流式声音克隆也采用这一方式。音色设计依托 Qwen3 的文本理解能力，训练时以一定概率激活思考模式，提升模型对复杂描述的指令遵循能力。出处：§3.3 · p. 5

3.4 效率

• Tokenizer-25Hz 必须先生成 16 个 token，才能合成首个含 8 个 token 的 mel 块，因为分块 DiT 需要前瞻信息。在 25 Hz 下，该块对应 320 ms；BigVGAN 还需 130 ms 的右侧上下文前瞻，因此首包约为 190 ms，后续每组 8 个 token 则生成 320 ms 的语音包。报告中的端到端 First-Packet Latency 为 LM 生成首包所需 token 的耗时与分词器单包解码耗时之和；稳态开销按每个语音包测量。出处：§3.4 · pp. 5–6
• Tokenizer-12Hz 每 4 个 token 组成一个 320 ms 语音包，其仅依赖左侧上下文的解码器无需等待未来上下文，可实现更低的首包延迟。在 12.5 Hz 下，每个 token 对应 80 ms，可单独解码；采用四个 token 一包可避免过多的调度开销，而轻量级、适合批处理的解码器在较高并发下仍能保持较低 RTF。效率测量在单一计算资源上使用基于 vLLM V0 后端的内部 vLLM 引擎，并通过 torch.compile 和 CUDA Graph 加速分词器解码。出处：§3.4 · pp. 5–6

• 对 Qwen3-TTS 的全面评估分为两大类。出处：§4 · p. 6
• 语音分词器评估是实验的一大类别。出处：§4 · p. 6
• 语音生成评估是实验的另一大类别。出处：§4 · p. 6

4.1.1 Qwen-TTS-Tokenizer-25Hz

• S2 声学微调引入了声学细节，虽降低了语义区分能力，使 ASR 性能略有下降，但有利于语音生成。这一有意的权衡更侧重声学信息的丰富性，以支持高质量 TTS 和波形重建。出处：§4.1.1 · p. 6
• 在英语和中文 ASR 基准测试中，S1 阶段的 Qwen-TTS-Tokenizer-25Hz 表现持平或优于 S3 Tokenizer 系列 (Du et al., 2024a;b)。S1 采用 ASR 监督训练，在多个 CommonVoice 和 Fleurs 数据集上取得最低或接近最低的 WER。出处：Table 3 · p. 6, §4.1.1 · p. 6

4.1.2 Qwen-TTS-Tokenizer-12Hz

• Qwen-TTS-Tokenizer-12Hz 在保持高编码效率的同时，语音重建的所有关键指标均达到最先进水平。评估使用 LibriSpeech test-clean 中的 2,620 条语音，衡量 STOI、PESQ、UTMOS 及基于 WavLM 的说话人相似度（SIM）。报告的配置参数包括量化器数量、码本大小和每秒帧数。出处：§4.1.2 · pp. 6–7, Table 4 · p. 7

4.2.1 零样本语音生成评估

• 后训练后的 Qwen3-TTS-12Hz-1.7B 在 Seed-TTS test-en 上取得 1.24 WER，优于 CosyVoice 3 和 Seed-TTS。12Hz 版本的 WER 始终优于 25Hz 版本，模型规模从 0.6B 扩大至 1.7B 也始终带来提升。作者将多语言鲁棒性归因于多样化的预训练数据，并认为较粗的时间分辨率有助于建模长期依赖。出处：§4.2.1 · p. 7, Table 5 · p. 8

4.2.2 多语言语音生成评估

• 与 MiniMax-Speech 和 ElevenLabs Multilingual v2 相比，Qwen3-TTS 在 10 种语言中的 6 种取得最低 WER，并在全部 10 种语言中取得最高说话人相似度。WER 领先的语言包括中文、英语、意大利语、法语、韩语和俄语；在德语、葡萄牙语、西班牙语和日语上，与基线相比仍具竞争力。出处：§4.2.2 · p. 8, Table 6 · p. 9

4.2.3 跨语言语音生成评估

• 跨语言生成中，Qwen3-TTS 的 zh-to-ko CER 相较 CosyVoice3 降低约 66%（4.82 对比 14.4）。Qwen3-TTS 在以英语和韩语为目标语言时取得当前最佳结果，并在 zh-to-en 和 en-to-zh 上优于基线。其在各受评方向上均保持较低错误率，而 CosyVoice2 在多个语言对上表现不稳定。出处：Table 7 · p. 9, §4.2.3 · p. 9

4.2.4 可控语音生成评估

• 相较 GPT-4o-mini-tts，中文 APS 提升 +28%，凸显了目标说话人编辑的改进；Qwen3-TTS-12Hz-1.7B-VD 则在 InstructTTSEval 上取得开源模型领先的音色设计表现。ChatML 将音色控制统一为语言建模，支持根据描述创建全新音色，以及编辑参考说话人的属性。音色设计在 Description-Speech Consistency（DSD）和 Response Precision（RP）上超越 Hume 和 VoiceSculptor；编辑任务的所有指标均优于 GPT-4o-mini-tts，但 Gemini 仍代表性能上限。出处：Table 8 · p. 10, §4.2.4 · p. 10

4.2.5 目标说话人语音生成评估

• 尽管仅进行单语言微调，经说话人微调的 Qwen3-TTS（Aiden Voice）仍在 10 种语言中的 7 种上取得低于 GPT-4o-Audio-Preview（Ballad Voice）的 WER。适配后的音色可将音色特征和韵律迁移至全部 10 种语言，且稳定性不下降。Qwen3-TTS 与 GPT-4o-Audio-Preview 的 WER 在日语上分别为 3.88 和 5.00，在韩语上分别为 1.74 和 2.76；基线在意大利语、葡萄牙语和法语上仍略有优势。出处：§4.2.5 · p. 10, Table 9 · p. 11

4.2.6 长语音生成评估

• Qwen3-TTS-25Hz-1.7B 的 long-zh WER 为 1.533，long-en WER 为 1.571，长语音生成表现优于 Higgs-Audio-v2、VibeVoice 和 VoxCPM。内部评估针对超过 10 分钟的语音，使用 100 篇长度为 200–2000 词的中文和英文文本、Qwen3-ASR 转写，以及经说话人微调的 Aiden Voice。Higgs-Audio-v2 存在边界伪影，VibeVoice 的中文 WER > 22，而 Qwen3-TTS 能保持韵律连贯；25Hz 优于 12Hz，表明语义令牌有助于提高长序列稳定性。出处：§4.2 · p. 7, Table 10 · p. 11, §4.2.6 · p. 11

5 结论

• Qwen3-TTS 将双轨设计与语义信息丰富的 Qwen-TTS-Tokenizer-25Hz、低延迟的 Qwen-TTS-Tokenizer-12Hz 相结合，在流式场景下高效合成高保真语音。出处：§5 · p. 11
• Qwen3-TTS 的零样本语音克隆和跨语言合成达到最先进水平，在具有挑战性的中文到韩语生成任务中优于现有基线。按概率激活的思考模式还使声音设计达到最先进水平。出处：§5 · p. 11
• 专门的训练策略解决了自回归生成的稳定性问题，可生成超过 10 分钟的流畅语音，且不会出现分块生成中常见的伪影。出处：§5 · p. 11
• 单一自回归框架统一了零样本克隆、跨语言迁移和细粒度指令控制。未来工作将面向多功能音频生成，将多语言覆盖范围扩展至当前 10 种语言之外，并实现更细致的风格控制。出处：§5 · p. 11
• 开源模型与分词器旨在加速社区研究，支持构建更自然、更富表现力、更易用的人机交互界面。出处：§5 · pp. 11–12