Aligning Language Models from User Interactions

论文链接：https://arxiv.org/pdf/2603.12273 

代码链接：

摘要

多轮用户交互是语言模型产生的数据中最丰富的一类，但目前尚缺乏有效的方法来从中学习。尽管这些交互数据通常被丢弃，但其中往往蕴含着有价值的信息：用户的后续消息可能表明模型之前的回复有误、未遵循指令或不符合用户偏好。重要的是，语言模型本身已具备在上下文中利用这些信息的能力；在观察到用户的后续反馈后，模型往往能够调整其行为。我们利用这一能力，提出了一种基于 self-distillation 的、具有理论依据且可扩展的方法，旨在直接从用户交互中进行学习。具体而言，我们让模型基于用户的后续消息生成输出，并将由此产生的 token 分布与原始策略进行比较，从而获得一个用于更新策略的目标信号；该信号捕捉了模型行为在事后（hindsight）发生的调整。随后，我们将这一事后分布蒸馏回当前策略中。实验结果表明，利用 WildChat 数据集中的真实用户对话进行训练，能够提升语言模型在标准对齐和指令遵循基准测试中的表现，且不会导致其他能力的退化。同样的机制也支持个性化，使模型能够在无需显式反馈的情况下，通过交互持续适应不同用户的需求。我们的研究证明，部署过程中自然产生的原始用户交互数据，能够有效促进模型的对齐、个性化及持续适应。

1.介绍

在现代语言模型中，推理已取代训练，成为算力消耗的主要环节，因为模型每天需要处理海量的用户 query。然而，这些交互过程中所蕴含的信息通常会被丢弃，无法用于改进模型本身，这无疑错失了宝贵的机会。在大规模应用场景下，用户往往会进行持续的对话，不断优化提示词（prompt）、要求修改内容，并针对模型的输出做出直接反馈。这些交互过程包含了丰富的隐性学习信号：后续的对话内容可能表明模型之前的回答有误、未遵循指令或不符合用户的偏好。例如，用户可能会在运行模型生成的代码后报告错误、指出输出格式不符合要求，或者要求以不同的风格或语气重写回答。此类信号是在正常使用过程中自然产生的，真实反映了模型输出在实际部署环境中的接收情况及后续处理方式。若能有效利用这一数据源，将有望开启前所未有的大规模部署阶段持续学习之路。

尽管用户交互数据规模宏大且内容丰富，但我们目前仍缺乏能直接从中进行学习的有效方法。与标准数据集不同，用户交互数据并不包含明确的标签、专家演示、偏好比较或奖赏信号。相反，反馈往往是隐性的，体现为自然语言回复，而这些回复的含义又取决于具体的交互上下文。因此，如何以规范且系统的方式直接利用真实对话进行模型训练，目前尚不明确。

与此同时，我们观察到语言模型已展现出利用此类交互信息的能力，即所谓的“上下文学习”（in-context learning）。在多轮对话中，模型往往能根据用户的后续反馈有效调整其行为。当用户指出生成的代码有误时，模型通常能推断出先前回答中的错误之处并提出修正方案；当用户指出未遵循指定格式时，模型能在修改后的回答中纠正结构；当用户对语气或风格表示不满时，模型也能调整回应方式，以更好地契合用户的偏好。在这些场景下，基于用户的后续信息进行处理，能使模型生成更符合任务要求及用户意图的回答。

这些观察结果揭示了一个简单却强有力的观点：在获取用户的后续信息后，模型的行为往往比之前更符合预期。用户的交互揭示了模型本已能够理解并据此采取行动的信息，只是这种理解和行动往往发生在事后——即回溯性的情境中。关键在于，这种改进无需额外的监督，它反映了模型在获悉用户后续反馈时行为所发生的变化。这表明，我们可以利用模型的上下文学习能力，作为一种有效手段，以符合特定原则的方式直接从用户交互中进行学习。

基于这一理念，我们提出了一种简单且可扩展的方法，通过比较模型的原始行为与“事后视角”下的预期行为，直接从用户交互中进行学习。具体而言，在观察到用户的后续消息后，我们利用这一新增上下文再次向同一模型输入提示（prompt），从而获得一个“事后”Token 分布；该分布反映了模型若能预先获知用户所揭示的信息，将会作出的响应。通过在原始生成过程的每个 Token 处比较原始策略与这一事后策略，我们获得了一个指示模型行为应如何调整的比较学习信号。随后，我们仅利用观察到的交互数据，将该信号蒸馏回原始策略中。换言之，我们实现了模型向自身的蒸馏。

基于近期关于自蒸馏（self-distillation）的研究，我们将这种方法称为 Self-Distillation Policy Optimization (SDPO) from User Interactions。我们展示了该方法（如图1所示）既简单又具有良好的可扩展性，能够使语言模型在无需显式监督、奖赏模型或偏好标签的情况下，利用真实的原始用户对话实现自我提升。值得注意的是，当应用于 WildChat 数据集中的真实用户交互时，该方法在提升模型对齐效果和指令遵循能力（基于标准基准测试）的同时，并未损害模型的其他能力。此外，我们还证明了这一自蒸馏机制能够自然地支持个性化与持续适应，使模型仅通过持续的交互即可适应特定用户。

2.Problem Formulation

语言模型与用户之间的交互由一系列交替出现的 assitant 消息 $y_t$ 和用户消息 $o_t$ 构成。在第 $t$ 轮，语言模型观察对话历史 $x_t = (o_0, y_1, o_1, \dots, o_{t-1})$，并生成回复 $y_t \sim \pi_\theta(\cdot | x_t)$；随后，若对话未终止，用户会做出回复 $o_t$。

若用户发起新的对话，最初的交互过程简化为：初始提示 $o_0$、助手的回答 $y_1$ 以及用户的后续输入 $o_1$。我们将三元组 $(x_t, y_t, o_t)$ 定义为一次交互。因此，用户的对话序列 $(o_0, y_1, \dots, y_t, o_t)$ 构成了 $t$ 次交互 $(x_1, y_1, o_1), \dots, (x_t, y_t, o_t)$；这些交互在历史信息上存在重叠，因为 $x_{t+1}$ 包含了 $x_t$ 的全部内容以及最近一次交互的信息。为方便起见，我们用 $(x, y, o)$ 来表示通用的单次用户交互。

尽管此类对话数据无处不在，但如何直接利用用户交互仍不明确。人们可以尝试引入辅助机制，例如对话的语义分类、显式偏好标注或其他事后提取的奖赏信号；然而，即便如此，仅凭原始交互数据也难以可靠地构建此类信号。任何此类方法都需要依赖交互本身之外的额外建模假设与中间目标，因此，它们无法提供一种简单且符合原则的途径，来基于自然发生的用户交互直接训练模型。

因此，我们将“在没有其他外部因素的情况下直接从多轮对话中进行学习”这一问题定义为“直接从用户交互中学习”。这引出了本研究的核心问题：

我们能否以一种简单、有据可循且可扩展的方式，直接基于多轮用户交互来训练语言模型？

具体而言，我们能否在仅依赖用户交互、无需显式监督的情况下，既提升通用对齐能力，又实现针对单个用户的持续个性化？

3.Directly Learning from User Interactions via Self-Distillation

自然发生的用户交互往往包含关于智能助手回复是否恰当的隐含信号。即便用户未提供明确反馈，后续发送的消息也可能表明之前的回复有误、未遵循指令或不符合用户的偏好。这些信号是交互过程中的自然产物，反映了用户如何接收或解读智能助手的输出内容。

Leveraging In-Context Capabilities。现代语言模型往往能够有效利用上下文中的此类信息：当接收到诸如错误报告、澄清说明或修订要求等后续信息时，模型通常能生成相应的输出，从而纠正先前的错误、更好地满足约束条件，或更贴合用户的偏好。换言之，从后续反馈来看，模型的输出分布与任务要求的契合度更高了。

我们利用这一能力，引入了“事后分布” $π_θ(· | x, o)$；该分布不仅基于交互历史 $x$，还结合了用户后续消息所揭示的信息 $o$（具体做法是利用 $x$ 和 $o$ 重新提示原始策略，参见表 1 中的提示模板）。这一分布反映了模型在获悉用户消息所提供的额外信息后会作出的响应。从经验和直觉上看，相比原始策略 $π_θ(· | x)$，$π_θ (· | x, o)$ 往往能更好地契合当前任务的需求。

这一视角允许进行细粒度的、基于 Token 层面的解读。设 $y_i$ 为由 $\pi_\theta(\cdot | x)$ 生成的补全序列 $y$ 中的第 $i$ 个 Token，我们可以比较 Token 概率 $\pi_\theta(y_i | x, y_{<i})$ 与 $\pi_\theta(y_i | x, o, y_{<i})$。当事后模型 $\pi(\cdot | x, o)$ 为某个特定 Token $y_i$ 分配较低的概率时，这表明用户的反馈提供了证据，说明该 Token（或其引发的生成轨迹）导致了不理想的结果。反之，在 $\pi_\theta(\cdot | x, o)$ 下似然度增加的 Token 则得到了用户反馈的强化。由此得到的对数比率（即对数差）$\log \pi_\theta(y_i | x, o, y_{<i}) - \log \pi_\theta(y_i | x, y_{<i})$ 因而可以作为一种源自用户交互的比较学习信号，并将在本文中作为基础学习信号发挥作用。这一机制引出了两种等价的视角。

Policy Gradient。解读对数比率的一个有用视角是将其视为 token 层面的优势。

该指标用于衡量在以用户响应为条件的情况下，Token 的概率如何发生变化。在标准的策略梯度更新中利用这一优势，可以强化那些在“事后分布”（hindsight distribution）下概率增加的 Token，并抑制那些概率降低的 Token。我们将该优势称为“Token 级优势”或“SDPO 优势”（两者可互换使用）。图 2 展示了一个说明性示例。从这一视角来看，学习过程对应于提高对数比率（log-ratio）的期望值；在每次更新步骤中，该比率被视为一个固定的优势量，且不针对参数 $θ$ 进行求导。

Self-Distillation。等价地，并且从优化的角度来看或许更为方便，我们可以通过最小化反向 KL 散度，更新 $\pi_\theta(\cdot\mid x)$，使其更加接近后见策略 $\pi_\theta(\cdot\mid x,o)$。这里，后见策略充当教师，并在每次更新期间被视为固定目标；为此，我们定义分离梯度后的后见模型 $\bar{\pi}_\theta(\cdot\mid x,o):=\operatorname{stopgrad}(\pi_\theta(\cdot\mid x,o))$。我们首先采样 $y\sim\pi_\theta(\cdot\mid x)$，然后最小化一个标准的蒸馏损失，

正如 Hübötter et al. (2026) 所示，$\mathcal{L}_{\mathrm{SDPO}}(\theta)$ 的梯度为

有趣的是，附录 B 中的引理 B.1 证明了，带有 token 级优势的策略梯度是自蒸馏梯度的一个无偏单样本近似。因此，策略梯度视角与自蒸馏视角在期望意义下产生等价的梯度更新，二者的区别仅在于：对数比率是被解释为优势，还是被解释为蒸馏损失。在我们的实验中，出于简洁性的考虑，我们采用策略梯度视角。

沿用近期关于自蒸馏的工作（Hübötter et al., 2026），我们将相应的算法称为来自用户交互的自蒸馏策略优化（Self-Distillation Policy Optimization，SDPO）。算法 1 概述了用于从在线用户交互中学习的 SDPO，其中在观察到用户的下一条消息后执行一次更新。在实践中，交互数据通常以已记录的对话形式存在，其中可能包含由不同模型生成的补全。为此，自然也可以考虑 SDPO 的 off-policy 变体，我们在第 4.1 节中给出并讨论了这一变体。

Self-Distillation as an Alignment Objective。对齐的一种常见概念框架是，语言模型应当最大化用户的潜在奖赏函数 $r(x,y)$，而该函数是不可观测的，并且在实践中难以明确指定或估计。由于 SDPO 直接从自然发生的用户交互中学习，因此它与这种传统的、以奖赏最大化为核心的对齐观点之间的关系并不是显而易见的。在一个关于用户行为和语言模型条件化的简化模型下，我们发现，SDPO 可以得到一种简单且直观的解释，即它在隐式地优化与模型交互的用户的潜在奖赏。

命题 3.1（非正式，附录 A）。在对用户响应和模型条件化作理想化假设的情况下，序列级自蒸馏优势满足

其中 $Z(x,y)$ 是一个归一化项。换言之，在理想化假设下，SDPO 可以被解释为隐式地最大化与模型交互的用户的潜在奖励函数。

4.Experimental Results