TiCo: Time-Controllable Spoken Dialogue Model

论文链接：https://arxiv.org/pdf/2603.22267 

代码链接：

摘要

我们推出了 TiCo，一种时间可控的语音对话模型 (SDM)。该模型能够遵循时间约束指令（例如，“请生成一个持续约 15 秒的回复”），并生成时长可控的语音回复。这项功能对于语音助手和交互式 Agent 等实际语音系统至关重要，因为控制回复时长可以提升交互质量。然而，尽管现有模型能够生成自然的语音回复，但它们缺乏时间感知能力，难以遵循与时长相关的指令。为了系统地评估这一点，我们推出了 TiCo-Bench，这是首个针对 SDM 中时间可控指令执行能力的基准测试。现有的开源和商业模型在该基准测试中经常无法满足明确的时间约束。TiCo 通过 Spoken Time Markers (STM)（例如，<10.6 秒>）使 SDM 能够在生成过程中估计已过去的说话时间，从而解决了这一局限性。这些标记有助于模型保持时间感知，并调整剩余内容以达到目标时长。 TiCo 无需问答配对数据即可高效进行后训练，它依赖于自生成和带有可验证奖赏的强化学习。实验结果表明，TiCo 在保持响应质量的前提下，相比其骨干网络将持续时间误差降低了2.7倍，相比最强的基线网络降低了1.6倍。

1.Introduction

正如本杰明·富兰克林的名言“时间就是金钱”所言，时间在人类生活中具有根本价值。在人机交互中，时间是一项至关重要的资源，它直接影响可用性、部署成本以及安全关键决策。对于 Spoken Dialogue Models (SDMs) 而言，这一点尤为重要。语音对话模型在个人助理、可穿戴设备和医疗保健系统等实际应用中正日益受到关注。在这些场景中，响应不仅要准确自然，而且通常还需严格控制时长。例如，驾驶时可能需要语音助手提供路况信息；可穿戴设备可能由于电池或带宽限制而需要简洁的语音反馈。同样，在医疗或紧急情况下，语音助手可能需要在严格的时间压力下提供简短而有效的指示。在所有这些情况下，控制响应时长的能力是实际部署的关键要求。尽管时间可控性至关重要，但在语音对话模型中，这方面的研究仍然远远不够。

在文本大语言模型（LLM）领域，以往研究表明，模型通常难以遵循明确的长度约束指令。此外，LLM 的输出常常表现出冗长或长度偏差，这种现象与基于偏好的评估和对齐方式有关。这种倾向削弱了模型遵循指令的能力，并对用户体验产生负面影响。尽管基准测试、提示和训练策略已开始着手解决文本 LLM 的长度可控性问题，但由于其重要的实际应用价值，这一研究方向仍然活跃且持续受到关注。

然而，在 SDM 中控制响应时长比控制文本输出长度要困难得多。在语音生成中，词数只是实际时长的近似值。一个词可能包含不同数量的音节，而且语音时长会随语音组成、语言环境和韵律结构而变化。此外，语速也会因说话者、说话风格和交际环境而异，这取决于说话者和听者。因此，简单地限制生成的词数并不能保证对最终语音时长进行精确控制。这种不匹配使得时长控制成为语音对话系统中一个独特且更具挑战性的问题。

鉴于目前对 SDM 时间可控性的研究有限，我们首先引入了 TiCo-Bench，这是一个旨在评估 SDM 时间可控指令执行能力的基准测试程序。我们的评估结果表明，现有的 SDM 难以可靠地满足明确的时间约束。

为了应对这一挑战，我们引入了 TiCo（图1），一种时间可控的 SDM，它可以通过语音时间标记实时估计和调节生成的语音时长。TiCo 是通过对 SDM 进行后训练而获得的，使其在生成过程中具备内部时间感知机制，从而能够跟踪时间进程并相应地调整其响应。

具体来说，TiCo 采用两阶段训练流程。在第一阶段，模型利用自生成能力构建监督数据，以学习持续时间感知，从而将中间生成状态与时间进程关联起来，并估计已过去的说话时间。在第二阶段，应用可验证奖赏强化学习（RLVR），其中奖赏基于说话时间标记自动验证，以进一步优化响应分布并提高对持续时间相关指令的遵循度。该阶段旨在使模型在保持响应质量（包括实用性和连贯性）的同时，更好地满足目标时间约束。

我们的贡献总结如下：

• 我们提出了 TiCo，这是一个时间可控的口语对话模型，采用两阶段后训练程序进行训练，使其能够在推理过程中生成 Spoken Time Markers (STMs) 并对响应持续时间进行实时控制。
• 我们推出了 TiCo-Bench，这是第一个旨在评估口语对话模型时间可控性的基准测试，用于衡量它们是否能够遵循明确的持续时间相关指令。
• 我们进行了大量的实验，结果表明 TiCo 显著提高了持续时间可控性，同时保持了响应质量，并进一步证明所学习的能力可以推广到训练期间所观察到的持续时间范围之外。

2. Related Works

2.1 Spoken Dialogue Models

口语对话模型（SDM）旨在通过直接理解和生成口语对话，实现自然的人机交互。与依赖级联式自动语音识别（ASR）、文本生成和文本转语音（TTS）模块的传统语音助手不同，近年来，SDM 越来越多地采用端到端或紧密集成的建模范式。

然而，与在语义丰富的文本空间中运行的基于文本的大语言模型（LLM）相比，由于语音信号的高度可变性和复杂性，语音的处理难度要大得多。因此，许多最新的 SDM 引入了中间表示（最常见的是文本），以支持在生成语音响应过程中的语义规划。这包括推理以提高响应质量、调用工具以利用外部模块，以及对语音内容进行更直接的指导。具体来说，SDM 首先接收输入查询（文本或语音形式）以生成中间表示，然后由语音生成器使用该中间表示生成最终的输出语音表示（例如，音标和声学 token），最后合成波形。我们在附录 J 中提供了代表性 SDM 及其中间表示的综述。

近年来，一些基准测试开始从响应质量以外的维度评估 SDM，例如语音风格、交互性、可控性和时间感知。尽管已经出现了关于可控性和时间感知的基准测试，但据我们所知，TiCo 是第一个通过高效的后训练方法，明确实现 SDM 时间可控生成的方法。

值得注意的是，TiCo 与 TTS 系统中的时长建模有着本质区别。TTS 中的时长建模主要侧重于将文本与合成语音对齐，而 TiCo 则致力于生成时间可控的语音响应。这种设定要求语音对话模型 (SDM) 在生成过程中进行语义规划和推理，并动态适应时间相关的约束。此外，TiCo 与以往的时间理解工作截然不同，后者旨在赋予语音模型解释输入音频中时间信息的能力（例如，“音频中‘狗叫’的时间间隔是多少？”）。相比之下，TiCo 关注的是生成过程中的时间感知，而非对输入的时间理解。

2.2 Length-Control Large Language Models

LLM 中的长度控制研究主要集中在三个方面。（1）无需训练或解码时间的方法通过采样、零样本提示或EOS标记重加权来强制执行长度控制。（2）指令微调方法在生成过程中注入长度跟踪信号，例如目标距离编码、潜在跟踪标记或显式位置标记。（3）第三种方法利用强化学习（RL）或偏好优化来解耦长度偏差与响应质量，并通过强制执行简洁步骤或针对更复杂的问题扩展轨迹来控制推理长度。所有这些方法都针对文本，其中词数是长度的直接指标。而 TiCo 则针对口语对话，其中词数只是语音时长的粗略指标，因为实际的语音时长取决于文本输出之外的副语言因素。

3.TiCo

语音到语音的口语对话模型 (SDM) 可以看作是一个条件生成模型，它根据用户的输入语音查询 $\textbf x^{sp}$ 和文本指令 $\textbf p$（例如，系统提示）生成口语响应 $\textbf y^{sp}$。

现代 SDM 通常引入中间表示 $\textbf z$ 来连接高层语义推理和底层语音合成。具体来说，中间序列生成器 $p_θ$ 首先根据用户输入生成一个中间表示：

最终的语音回复由语音生成器 $q_ϕ$ 生成：

不同的架构对公式 (2) 施加不同的条件独立性假设。在级联系统中，语音合成模块无法访问原始用户语音或指令，因此生成过程简化为 $q_ϕ(\textbf y^{sp} | \textbf z)$。在端到端模型中，$\textbf y^{sp}$ 的生成可能还取决于 $\textbf x^{sp}$ 和 $\textbf p$（例如，在 Qwen-Omni 的“Thinker-Talker”设计中）。

3.1 TiCo Stage1: Time-Awareness Training

此阶段（图 1（上））训练模型生成 Spoken Time Markers，作为中间表征 $\textbf z$ 的一部分，使得 $\textbf z$ 不仅编码语义内容，还编码其在条件上下文 $(\textbf x^{sp}, \textbf p)$ 下与最终口语响应 $\textbf y^{sp}$ 的预期时间对齐。这些标记通过自生成过程插入到 $z$ 中，并在训练期间用作预测目标。

Spoken Time Marker。口语时间标记是一种特殊 token，用于指示中间表征中给定位置之前估计的累计口语持续时间。从概念上讲，这些标记充当中间语义计划 $\textbf z$ 和在相同条件上下文 $(\textbf x^{sp}, \textbf p)$ 下实际口语响应 $\textbf y^{sp}$ 之间的离散化对齐信号。受 TimeMarker 的启发，我们以文本形式表示这些标记，例如 <6.8 seconds>。

在中间层级估计时长并非易事。一个词可能对应多个音节，其声学时长会随语境和语速而变化。因此，需要显式地估计时长，才能弥合中间表示和最终语音实现之间的差距。

Training Data Construction。令 $\mathcal D = \{(\textbf x^{sp}, \textbf p)\}$ 表示输入语音查询-指令对的集合。在此阶段，我们通过自生成构建时间感知训练目标，然后进行基于自动语音识别 (ASR) 的对齐。具体来说，给定每个输入 $(\textbf x^{sp}, \textbf p) ∈ \mathcal D$，模型首先自由生成一个中间表示 $z$ 及其对应的语音响应 $\textbf y^{sp}$。

基于 ASR 的对齐。 具体而言，对于每个输入 $(\mathbf{x}^{\mathrm{sp}}, \mathbf{p}) \in \mathcal{D}$，模型首先自由生成一个中间表示 $\mathbf{z}$ 及其对应的语音响应 $\mathbf{y}^{\mathrm{sp}}$。

随后，我们应用基于 ASR 的对齐来估计 $\mathbf{z}) 与 (\mathbf{y}^{\mathrm{sp}}$ 之间的时间对应关系。基于对齐后的时间戳，我们定义一个语音时间标记（Spoken Time Markers）序列 $\mathbf{t}=[t_1,\ldots,t_M]$，其中每个 $t_j$ 表示 $\mathbf{z}$ 中某个对齐位置处估计的累计说话时长。我们将这些标记与中间 token 交错插入，从而得到一个增强序列：

因此，增强序列 $\tilde{\mathbf{z}}$ 不仅编码了语义内容，还编码了由对齐所引入的时间信息，该信息在相同输入条件 $(\mathbf{x}^{\mathrm{sp}},\mathbf{p})$ 下，将 $\mathbf{z}$ 与最终的语音响应关联起来。

这一过程得到一个对齐后的训练集 $\mathcal{D}_{\mathrm{SFT}}={(\mathbf{x}^{\mathrm{sp}},\mathbf{p},\tilde{\mathbf{z}})}$。我们以自回归方式对增强后的中间序列进行建模：

随后，我们优化标准的监督微调（SFT）目标：

值得注意的是，自生成（self-generation）具有两个优点：（1）它消除了收集成对问答监督数据的需求；（2）生成的响应遵循模型自身的输出分布，从而提高了训练稳定性。

3.2 TiCo Stage 2: Time-Controllable Training

4.Experiments