PaperlayerView exact revision on arXiv

AI 摘要 · 由英文经 AI 翻译

ArcANE: Do Role-Playing Language Agents Stay in Character at the Right Time?

Woojung Song, Nalim Kim, Sangjun Song, Chaewon Heo, Jongwon Lim, Yohan Jo

arXiv:2606.05553v1cs.CLcs.AI

TL;DR

角色扮演智能体应体现角色的价值观和行为如何随叙事推进而变化，但现有评估更重视某一时点的事实回忆，而非心理轨迹。ARCANE 构建了基于叙事阶段的 Character Arc，并针对源文本情境和新情境设置相同情境探针；基于 Character Arc 的上下文策略在所有模型上表现最佳，且在源文本之外优势更大。

  • 问题

    现有角色扮演评估更重视某一时点的事实回忆，但角色的价值观和行为模式可能随叙事推进而变化，因此回答需要符合角色在各个时刻的状态。

    出处：ArcANE · p. 1

  • 方法

    ARCANE 构建了包含多个叙事阶段的心理 Character Arc，并在每个阶段提出相同情境的问题，涵盖基于源文本、故事世界内和故事世界外的情境。

    出处：§3 · p. 3, §3.2 · p. 4

  • 结果

    基于 Character Arc 的上下文策略在所有模型上都取得最高 Overall 得分，且其优势从 In-Scenario 探针到 In-World 和 Out-of-World 探针逐步扩大。

    出处：§4.3 · p. 6, §6 · p. 8

  • 启示与局限

    结果表明，评估应考察智能体能否追踪角色状态的变化，尤其是在检索无法提供匹配的源文本情境时。

    出处：ArcANE · p. 1, §6 · p. 8

    评估仅使用英语文本，范围限于小说，并聚焦单个角色的行为，未涵盖用户与角色之间或角色彼此之间的互动。

    出处：Limitations · p. 9

Abstract

from arXiv · show

Role-playing language agents (RPLAs) should play characters whose values and behavior evolve as the story progresses, not maintain a fixed persona. Existing benchmarks measure factual recall at a given chapter, not whether responses align with the character's psychological trajectory, especially in scenarios the source text never explores. We introduce ArcANE (Arc-Aware Narrative Evaluation), an automatically constructed benchmark spanning 17 novels and 80 principal characters. A Character Arc segments the narrative into phases along a psychological axis, and each probe poses the same scenario across phases, spanning both situations within the source text and situations beyond it. Across six models and six context modes, conditioning on the Character Arc tops every other context strategy on every model, and the gap is largest on scenarios outside the source text where retrieval has nothing to find. We further fine-tune open-weight models on the same data to obtain ArcANE-8B/32B, which widen the Arc advantage even more on scenarios outside the source text.

1 引言

ARCANE旨在评估角色扮演智能体能否跟随角色不断变化的心理状态，而非复现固定人设或事实知识。该基准引入Character Arcs，并针对不同阶段设置探针，涵盖基于原文和原文未涉及的情境，进而评估不同上下文策略及训练模型。

  • 现有叙事进程基准主要测试事实回忆或封闭式决策，对符合阶段特征的行为变化衡量不足。出处：ArcANE · p. 2
  • Character Arcs将不断演变的心理状态划分为不同阶段；探针则在各阶段重复呈现同一情境，并提供对应阶段的参考回答。出处：ArcANE · p. 2
  • 该数据集涵盖17部小说和80位主要角色，共包含544条Character Arcs和4,601个探针，其中也包括原文未涉及的情境。出处：ArcANE · p. 2
  • 在不同模型和上下文模式下，基于角色弧线的上下文表现最佳；在原文未涉及的情境中，优势更大。ARCANE-32B进一步扩大了这一优势。出处：ArcANE · p. 2

2 相关工作

既有 RPLA 基准涵盖特质、事实知识、风格和一致性，但对叙事时间的评估主要关注回忆或固定决策。ARCANE 则聚焦角色如何随着叙事事件不断累积而改变行为。

  • RPLA 研究支持多种应用，包括互动小说、游戏中的 NPC、情感陪伴和个性化助手。出处：§2.1 · p. 2
  • 用户希望获得沉浸式、鲜活的角色体验，但即使上下文完整，智能体仍可能失去人设锚定，给出泛泛的回答。出处：§2.1 · p. 2
  • 现有基准评估特质清单、事实知识、由角色设定驱动的决策、语言风格、对话能力，或跨轮次的行为一致性。出处：§2.2 · p. 3
  • 仿真和事件条件基准捕捉的是交互变化或一般行为链，而非单个角色在不断累积的叙事事件中如何演变。出处：§2.2 · p. 3
  • 叙事时间基准仍主要局限于封闭式决策或事实回忆。出处：§2.2 · p. 3

3 ARCANE

ARCANE 将角色发展表示为按阶段划分的心理轨迹，并检验智能体能否在每个阶段给出恰当回应。其自动构建的数据集结合了经过验证的角色弧线、跨阶段探测题，以及用于对比式微调的训练数据。

  • ARCANE 评估 RPLA 的行为和动机是否会随着角色在不同叙事阶段的人格演变而变化。出处：§3 · p. 3

Character Arc 构建

  • 每条 Character Arc 都将关键事件与心理状态对应起来，构成一条从初始状态到最终状态的轨迹。出处：§3.1 · p. 3
  • 角色弧线构建会生成候选的个体内在和人际关系维度，对其进行协调，并由评审模型或人工标注者验证保留的维度。出处：§3.1 · p. 4

探测题生成

  • 每道探测题会在不同阶段重复呈现同一情境，并为每个阶段使用一个特定参考答案，以区分对轨迹的追踪与固定人设式回应。出处：§3 · p. 3, §3.2 · pp. 4–5
  • In-Scenario、In-World 和 Out-of-World 探测题构成难度梯度，范围从原文段落延伸至原文未涉及的情境。出处：§3.2 · p. 4

数据集

  • ARCANE 涵盖 17 部小说、80 个角色、544 条角色弧线和 4,601 道探测题，覆盖训练集、经验证的评测集和低热度子集。出处：§3.3 · p. 5

训练设定

  • ARCANE 的多阶段探测题还提供了用于训练的对比样本对；先进行 SFT、再进行 DPO，可教会模型拒绝偏离所查询叙事阶段的行为。出处：§3.4 · p. 5

4 实验

实验使用阶段级和轨迹级忠实度指标，对六种模型在六种上下文模式下进行比较。Arc 上下文始终表现最佳，尤其是在无法从原文检索到相关段落的情境中；这一趋势也适用于不同小说、模型系列及经微调的 ARCANE 模型。

实验设置

  • 经验证的评测子集包含五部小说、25 位主要角色、205 条角色弧线和 1,754 个探针。出处：§4.1 · p. 5
  • 六种模型包括四个开放权重基线模型和 ARCANE-8B/32B，并在 Vanilla、Summary、RAG、LifeChoice、TimeCHARA 和 Arc 上下文下进行评测。出处：§4.1 · p. 5

评估协议

  • 评估器使用 APF、RPF、RAE 和轨迹指标 PTF，按 1–100 分制为自由形式回答评分。出处：§4.2 · p. 6

主要结果

  • 在 30 个模型–小说组合中，Arc 在 29 个组合里是 Overall 表现最佳的模式；对每种模型而言，其得分均比最强的非 Arc 模式高 2.2 至 8.4 分。出处：§4.3 · p. 6
  • 对于 DeepSeek-V4-Pro，Arc 相较于最佳非 Arc 模式的 Overall 差距，在 In-Scenario、In-World 和 Out-of-World 情境下分别为 +0.5、+5.2 和 +7.7。出处：§4.3 · pp. 6–7

轨迹结果

  • 对于 DeepSeek-V4-Pro，Arc 的 PTF 差距在 In-Scenario、In-World 和 Out-of-World 情境下分别为 +1.1、+7.0 和 +8.2，均高于对应的阶段级指标差距。出处：§4.3 · p. 7

补充结果

  • 在两部低人气小说上，Arc 对六种模型均保持最佳表现，相较于最强的非 Arc 模式提升 +4.1 至 +15.3。出处：§4.4 · p. 7
  • 在新增的角色扮演模型中，In-World 和 Out-of-World 的提升均为非负；DPO 将 ARCANE-32B 的综合提升提高到 +12.5，同时使 In-Scenario 的提升从 −2.2 降至 −5.6。出处：§4.4 · p. 7

5 分析

消融实验表明，Arc 带来的提升源于角色特定的阶段信息，而非仅仅来自结构化上下文或来源泄漏。对于未经训练的模型，简洁的轴标签和阶段标签已足够；而 ARCANE-32B-DPO 在训练时受益于按阶段提供的文字描述。

Arc 提升的来源

  • 对于 ARCANE-32B-DPO，MIXEDARC 未能超过 Vanilla，其 Per-Phase Average 比 Vanilla 低 −4.7，PTF 低 −6.5。使用另一角色的弧会主动误导经过训练的模型，这不支持通用结构化上下文增益或来源泄漏的解释。出处：§5.1 · p. 7
  • 对于 DeepSeek-V4-Flash 和 Qwen3-32B，ARCHINT 在所有指标上与 Arc 的差距均在 ±2.6 分以内。对于这些未经训练的模型，轴标签与当前阶段索引配对后，便足以带来完整的提示优势。出处：§5.1 · pp. 7–8

指标敏感性

  • 在响应序列扰动下，ARCANE-32B-DPO 的 PTF Overall 下降 −8.8 至 −23.0 分，而 DeepSeek-V4-Pro 下降 −1.3 至 −6.3 分。在阶段锚定更强的模型上出现更大幅度的性能下降，这与其对阶段顺序错乱更敏感相符。出处：§5.2 · p. 8

训练效果

  • ARCANE-32B-DPO 在 1,198/1,750 个已验证探针上胜过 Qwen3-32B，平均 Overall ∆=+9.49。语体控制测试将 Qwen 的 Overall 从 53.8 降至 50.0，而 ARCANE 仍为 56.7；剩余差距归因于按类别条件化的正典规范遵循。出处：§5.3 · p. 8
  • DPO 在 940/1,750 个探针上胜过 SFT，并使响应随角色弧变化，而不是在各阶段维持同一种固定声线。在《堂吉诃德》的相互依存轴上，DPO 在悔悟阶段去掉了骑士标签，转而面向家庭。出处：§5.3 · p. 8

6 结论

ARCANE 评估角色扮演智能体能否在叙事的恰当时点追踪角色的恰当状态。以角色弧线为依据的上下文在不同模型和上下文模式下均表现领先，包括在留出的低热度小说上；多轮对话仍是后续研究方向。

结论

  • ARCANE 探究角色扮演语言智能体能否在叙事的恰当时点追踪角色的恰当状态。出处：§6 · p. 8
  • 以角色弧线为依据的上下文在每个模型的 Overall 上均居首；从 In-Scenario 到 Out-of-World，优势差距进一步扩大，因为在后者中，检索无内容可查。出处：§6 · p. 8
  • 这一提升也出现在两部留出的低热度小说上：相较于表现最佳的非角色弧线模式，得分高出 +4.1 至 +15.3；ARCANE-32B 模型的优势则更大。出处：§6 · p. 8

未来方向

  • 多轮对话中，角色弧线本身会随着互动推进，因此被视为自然的下一步研究方向。出处：§6 · p. 8

局限

ARCANE 的局限涉及范围、互动覆盖、文化来源，以及若干评估或构建假设。基准仅涵盖英文小说和单角色行为；部分验证与建模选择也仍有局限。

范围

  • 数据集完全由英文小说构成，不涵盖其他语言、领域或较短的叙事形式。作者以小说为对象，是因为人物会在众多章节中经历长期演变。出处：Limitations · p. 9
  • 评估考察单个角色在事件不断累积时的行为，而非用户与角色或角色彼此之间的互动。出处：Limitations · p. 9

文化范围

  • 语料取材于十九世纪和二十世纪初的小说，因此训练出的模型可能会再现特定时代的社会观念；发布的材料仅供研究使用。出处：Limitations · p. 9

构建

  • 基准构建通过并行流区分事件遗漏与状态误读，但后续分析仍取决于如何协调结果及进行筛选。根据证据和后处理标签，并行流独有的候选项可能会被保留、标记或丢弃。出处：A Character Arc Construction Details · p. 12

验证

  • 只有轴有效性是纳入评估集的门槛；其他人工评分作为元数据保存，而非筛选标准。有效性依据 3 名标注者中至少 2 人的多数意见判定，而小说文本跨度和重要性则用于后续分层。出处：A Character Arc Construction Details · p. 12

C 数据点信息

ARCANE 的语料库采用分层的 Character Arc 和 probe 记录，表示角色在不同阶段的行为，并在共享情境下评估这些行为。训练数据和推理比较围绕轨迹感知上下文与两阶段模型训练进行组织。

语料库结构

  • 每条 Character Arc 记录固定一个角色和一个心理维度，并包含两极、方向、来源及有序的阶段轨迹。该弧线以 axis_id 为索引，可表示个体内变化或关系变化。出处：C Datapoint information · p. 13
  • 每个 probe 将一个情境问题与 N 条按阶段标记的参考回答配对，回答包含行动、言语、思想和典型性字段。Out-of-World probes 还会编码时代信息，并对轴—阶段组合进行抽象化改写。出处：C Datapoint information · pp. 13–14

Probe 设计

训练数据

  • SFT 数据集包含来自十部训练小说的 45,690 条记录，采用 Arc 和 Summary 上下文模式，补全文本汇集自两个教师模型。出处：§D.1 · p. 14
  • DPO 将锚定阶段的回答与相邻阶段的拒绝回答配对，二者共享同一情境和问题，从而将发展性倾向作为对比因素单独考察。最终数据集包含 2,516 个 probes 中的 14,671 对偏好样本。出处：§D.1 · pp. 14–15

训练流程

  • 两阶段流程使用 SFT 学习 ARCANE 的回答规范，并通过 DPO 区分目标阶段行为与时间上错位的替代行为。出处：§D.2 · p. 15

G 奖励作弊的证伪

奖励作弊分析检验 ARCANE 的提升是否体现了对叙事阶段的实质性追踪，而非第一人称文风。配对轨迹编码、POV 控制和评分规程结果表明，提升体现在阶段特定内容、原著设定具体性、留白忠实度和阶段语体变化上，同时也揭示了一个范围有限的诊断类别。

证伪设计

  • 该分析对三种模型条件下的 150 个探针进行编码，以检验阶段区分度、原著设定具体性、留白忠实度和阶段语体切换。三种条件分别为原始 Qwen3-32B、POV 控制后的 Qwen3-32B，以及 ARCANE-DPO。出处：G Reward-Hacking Falsification · pp. 16–17

配对轨迹发现

  • ARCANE 生成的阶段内容存在实质差异，而 Qwen3-32B 往往只是在不同阶段改写同一种笼统回答。在 Carrasco–Sancho 案例中，ARCANE 的回应从带着兴味地投入转向实际采纳。出处：G Reward-Hacking Falsification · p. 17
  • ARCANE 通过调用具名角色或原著特有场景，保留原著设定的具体性和留白；原著要求沉默或由代理人代答时也会如此。出处：G Reward-Hacking Falsification · p. 17
  • ARCANE 会随阶段改变声音和语体，而 Qwen3-32B 在各阶段始终保持同一种沉着的叙述者语体。Darya 的示例从情绪崩溃转向后期的沉稳坚持。出处：G Reward-Hacking Falsification · p. 17

注意事项

POV 控制

  • 56.7 对比 53.8 和 50.0：在 150 个探针的评分规程下，ARCANE-32B-DPO 的得分高于 Qwen3-32B 和 POV-Qwen，而 POV 控制会因原著设定丢失而降低表现。Dulcinea 案例中，Qwen3-32B、ARCANE-32B-DPO 和 POV-Qwen 的得分分别为 80、40 和 22。出处：G Reward-Hacking Falsification · p. 18

分析改进

I 补充小说：完整结果

补充评估在低人气小说、其他模型系列以及区分构建、推理和训练贡献的消融实验上测试 ARCANE。分析结果强调，紧凑的角色弧结构也能保留 Arc 优势，而训练会进一步提升对人物轨迹的敏感度。

补充小说

  • 低人气小说子集包括《The Underdogs》和《East Lynne》，这两部作品未纳入人工验证，用作记忆效应对照。报告的月下载量分别为 469 和 1,038，均低于 1,500/月的阈值。出处：I Additional Novels: Full Results · p. 19

补充模型

消融实验

  • MIXEDARC 换用另一名角色的弧线；ARCHINT 则将每条弧线压缩为轴标签和当前阶段索引，不含各阶段的文字描述。ARCHINT 上下文约为 300 个字符，而完整 Arc JSON 约为 10K 个字符。出处：K Source-of-Effect Ablation: Setup and… · p. 19

评估设计

消融实验

  • 消融结果将贡献分为构建、推理和训练；对于未经训练的模型，仅轴标签加阶段索引就已带来完整的 Arc 优势。研究指出，对这些模型进行提示时，各阶段的文字描述是冗余的。出处：K Source-of-Effect Ablation: Setup and… · p. 19

L 记忆鲁棒性

记忆检验表明，Arc grounding 对配角和低人气小说更有帮助，因为预训练记忆在这些情况下作用较小。

小说人气

  • 在已验证切片上，Arc 在 30 个模型–小说组合中胜出 29 个；在两部未经验证的低人气小说上则胜出所有组合。已验证切片上的差距在 Harry Potter 上最小（+3.0），在 Anna Karenina（+5.6）和 Don Quixote（+5.1）上更大。出处：L Memorization Robustness · p. 19

核心角色与配角

解读

  • 配角层的结果显示，Arc 的提升主要集中在记忆最难以解释的地方。角色人气轴与源文本距离轴呈现相似趋势：Arc 在模型最需要帮助之处发挥作用。出处：M Central vs. Supporting Characters · pp. 20–21

N PTF 指标有效性

PTF 轨迹指标对回答顺序敏感，同时与各阶段的忠实度相关；多项补充检验也支持其有效性。

收敛但不冗余的相关性

  • Pearson 相关系数均值为 0.51，意味着各阶段评分可解释约四分之一的 PTF 方差，因此 PTF 具有收敛效度，但并非冗余。在 72 个单元中，Pearson 相关系数介于 0.37 至 0.64；ARCANE-32B-DPO 在 Arc 条件下达到 r=0.64。出处：N PTF Metric Validity · p. 21

扰动检验

  • 打乱回答顺序后的 Overall 为 −8.8，反转回答顺序后为 −23.0，说明 PTF 会响应轨迹扰动。反转的影响主要集中在 ptf_direction（−24.7），与评分标准的预测一致。出处：N PTF Metric Validity · p. 21, Table 8 · p. 21
  • block_shuffle 条件下的 −12.5 表明，即便参考内容与回答的配对关系保持不变，部分 PTF 信号仍取决于列出顺序。block_shuffle 与 shuffle_response 之间剩余的约 10 个点，被解释为超出位置读取和各阶段忠实度的信号。出处：N PTF Metric Validity · p. 21

以人工评估为基准的验证

  • 70 个样本中有 87.1% 通过了人工 2-of-3 合理性多数判定，而轨迹判别器的通过率为 95.0%。In-Scenario、In-World 和 Out-of-World 类别的合理性总体均较为一致。出处：§O.1 · p. 22

O.2 在经验证子集上的跨评审者复现

跨评审者复现表明，尽管排名接近的配置之间略有变动，基准测试主要配置的排序在不同独立评审者之间仍然稳定。

样本

  • 分层抽取的300单元格样本涵盖五部小说、四种模型–模式配置和三类探针。所得 DS-Flash 分数范围为15至96，均值为55.6。出处：§O.2 · pp. 22–23

跨评审者一致性

  • Opus 4.5 和 GPT-5.5 的逐单元格平均值 α≥0.80，表明它们与 DS-Flash 具有较高一致性。Sonnet 4.5 的 α=0.60，但 Spearman 相关系数为0.78；尽管绝对水平不同，排序仍然一致。出处：§O.2 · pp. 22–23

系统排序

  • 四位评审者均将 ARCANE-32B-DPO 在 Arc 条件下的配置排在首位，将 Qwen3-32B 在 Vanilla 条件下的配置排在末位。不同评审者对第二名和第三名配置的排序相反，但这一变化不影响核心结论。出处：§O.2 · p. 23, Table 11 · p. 24

跨评审者一致性

  • DS-Flash 与 Opus 4.5、GPT-5.5 的相关系数均为 r≥0.81，且 α≥0.80，因此 DS-Flash 属于独立评审者的共识范围。表现最强的两位非 DS 评审者之间，相关系数为 r=0.92，α=0.89。出处：§O.2 · p. 23

Related papers

Loading 2606.05553v1…