Addressing Tokenization Inconsistency in Steganography and Watermarking Based on Large Language Models

• Alice 生成的 token 与 Bob 重新分词后的 token 不同，即会出现分词不一致，可能导致隐写提取或水印检测出错。Alice 端的源不一致 token（SIT）在重新分词后可能对应影响较大的不一致 token（CIT）。出处：§1 · p. 1, Figure 1 · p. 2
• 研究发现，不一致 token 的两个关键特征是低频性和暂时性。出处：§1 · p. 2
• 本文为隐写提出逐步验证方法，利用 token 的低频性实现 100% 正确提取。出处：§1 · p. 2
• 对于水印，后验回滚利用低频性和暂时性来解决分词不一致。出处：§1 · p. 2
• 与各组最优基线相比，逐步验证使困惑度降低 14.12%、KL 散度降低 47.86%、隐写分析准确率降低 3.53%；水印回滚则比未考虑分词不一致的水印方法具有更强的可检测性和鲁棒性。出处：§1 · p. 2

2 调查：语言模型生成中的不一致 token

• 作者根据 Alice 生成列表与 Bob 重新分词列表中的 token 字符跨度是否匹配，定义 SITs 和 CITs。SITs 在 Alice 的列表中索引，CITs 在 Bob 的列表中索引。出处：§2 · p. 2
• token 级不一致率通常低于 0.5%，但随着生成文本变长，文本级 TI 会更常见。表格报告不同模型和生成长度下的文本级比率，以及 SITs 和 CITs 分别占生成 token 与重新分词后 token 的比例，即 token 级比率。出处：Table 1 · p. 3, Table 2 · p. 3, §2 · p. 3
• 候选级不一致率衡量生成步骤的候选池中可能导致 TI 的 token 占全部 token 的比例。本节通过一步反分词—重新分词检查，识别候选级不一致 token。出处：§2 · p. 3
• 候选级不一致 token 在候选池中并不常见，即使只考虑概率最高的 64 个 token 也是如此。报告的数量和概率比表明，各候选池中的候选级不一致率较低，主要解释了这种低频现象。出处：§2 · p. 4, Table 3 · p. 4
• 候选级不一致可能是暂时的：某个 token 输出后会立即导致 TI，但后续生成可能恢复一致。Figure 2 以 token “put.” 为例说明了这一点。出处：Figure 2 · p. 3, §2 · p. 4
• Llama-2-7b 的暂时不一致率显著低于其他模型，表明其潜在 SITs 对最终 tokenization 的影响更稳定。文中还指出，Swallow-7b 和 Qwen2.5-7b 会输出不完整的 UTF-8 token。出处：§2 · p. 4, Table 4 · p. 4

3 方法

• 这些方法针对不同应用需求，文本隐写利用低频性，水印则同时利用低频性和暂时性。水印可以采用更宽松的处理方式，因为检测器无需在每一步都获取候选池的详细信息。该方法被描述为轻量级；预期低频输出不一致对隐蔽性的影响几乎可以忽略。出处：§3 · pp. 4–5

3.1 文本隐写的逐步验证方法

• 对于文本隐写，逐步验证会在每个生成步骤移除候选级的不一致 token，因此只要这些 token 不再出现，就足以消除最终的分词不一致。由于候选 token 与码字相对应，该方法会使用分词器检查每个候选项；其复杂度为线性，而早期消歧算法的复杂度至少为 O(n^2)。出处：§3 · pp. 4–5
• 移除低频的候选级不一致项，可使原始候选池与修改后候选池之间的 KL 散度保持较小，从而减轻对隐蔽性的不利影响。该方法通过预先移除候选级的不一致 token 来保证提取准确性。出处：§3 · p. 5

3.2 水印的事后回滚方法

• 对于水印，事后回滚会先观察分词不一致是否持续，再将生成恢复到不一致发生前的状态。如果分词不一致只暂时出现，就观察接下来的 q 个 token；若一致性恢复，生成便继续，否则若不一致持续，则排除导致该问题的候选项并重新采样。出处：§3 · p. 5, Figure 4 · p. 5, §3.2 · p. 6

3.1 文本隐写的逐步验证方法

• Alice 和 Bob 在采样与编码之间验证候选池，随后基于相同的筛选后候选池进行编码，以支持准确提取。该方法模拟传输过程中的反分词与重新分词，并移除可能妨碍 Bob 提取信息的候选项。出处：§3.1 · pp. 5–6, Figure 3 · p. 5

4.1 隐写实验

• 隐写实验使用128-bit消息，对比Basic、MWIS、SyncPool和所提方法，并在11个top-k取值下进行测试，每种设置使用500个样本。实验采用算术编码和多语言提示，使用Llama-2-7b、Swallow-7b和Qwen2.5-7b模型。出处：§4.1 · p. 6, §4 · p. 6

4.1.1 评估指标

• 隐写评估使用BPT衡量嵌入容量，使用PPL衡量文本质量和流畅度，使用KLD衡量不可感知性，使用ACC衡量隐写分析效果，并以时间衡量嵌入效率。隐写分析准确率通过微调后的判别器进行评估。出处：§4.1.1 · p. 6

4.1.2 实验结果

• 报告的可忽略提取错误率在Llama-2-7b上约为10%，在Swallow-7b上约为5%，在Qwen2.5-7b上约为7%，说明逐步验证或消歧的必要性。出处：§4.1.2 · p. 6
• 相较于每项指标、每种模型和每个嵌入容量区间下表现最好的隐写基线，平均PPL降低了14.12%，KLD降低了47.86%，ACC降低了3.53%。比较涵盖Llama-2-7b、Swallow-7b和Qwen2.5-7b；表格分别报告其英语、日语和中文环境下的结果。出处：Table 5 · p. 7, Table 6 · p. 7, Table 7 · p. 7

4.2 水印实验

• 水印实验使用基于logit和基于采样的方案测试回滚方法；Llama-2-7b的q=2，Swallow-7b和Qwen2.5-7b的q=10。每种条件生成200个token，每种水印方法和模型使用500个样本。出处：§4.2 · pp. 7–8

4.2.1 水印攻击

• 水印攻击通过推断并使用原始生成模型重新采样来替换选定token；附录报告了GPT-4o改写的结果。考虑到攻击模型的规模、公平性和可用性，作者选择原始模型作为替换模型。出处：§4.2.1 · p. 8

4.2.2 评估指标

• 水印强度是相对可检测性得分，不同水印类型之间不可比较；AUROC用于模拟真实场景下的可检测性，PPL用于评估文本质量。每组AUROC评估500篇带水印文本和500篇未带水印文本。出处：§4.2.2 · p. 8

4.2.3 实验结果

• 回滚提高了水印强度，但增益受低频不一致token的限制；在攻击下，回滚在水印强度和AUROC方面表现出一定优势。作者认为攻击结果表明，处理TI后可检测性和鲁棒性（或抗修改能力）有所提升。出处：§4.2.3 · p. 8, Table 8 · p. 8

5 结论

• 在不同语言模型上，逐步验证在各嵌入容量区间的表现均优于传统隐写消歧方法；回滚则提升了水印的可检测性和对抗对抗性修改的鲁棒性，同时降低了困惑度。隐写方法还提升了文本质量、不可感知性和抗隐写分析能力。出处：§5 · p. 9
• 研究发现，隐写和水印中的不一致词元出现频率低且具有暂时性。提出的方法分别是用于隐写的逐步验证和用于水印的事后回滚。出处：§5 · p. 9
• 作者指出，这些方法可能适用于广泛的隐写算法和水印方案。作者将此表述为潜在的泛化能力。出处：§5 · p. 9

局限性

• 100% 正确提取的保证以不存在主动攻击者修改隐写文本为前提。作者指出，否则无法保证这一结果。出处：Limitations · p. 9
• 对于水印，由于不一致 token 并不常见，rollback 相较于未考虑 TI 的方案优势有限，指标改善也相对较小。所给文本还指出，水印中的不一致会影响不一致位置以及上下文包含这些 token 的位置上的检测分数。出处：Limitations · p. 9
• 所提出的方法基于经验性研究，而对不一致 token 如何产生仍缺乏严谨的理论解释。作者将此列为未来研究方向。出处：Limitations · p. 9

伦理考量

• 隐写术可用于嵌入版权信息、对抗审查等正当目的，但也可能被用于有害的隐蔽通信、虚假信息传播或规避审查。文中指出，监测、监管和隐写分析都是相关的研究方向。出处：Ethical Considerations · p. 9

A.1 语言模型基础

• LLM 根据提示和已生成 token 的历史预测下一个 token，将 logits 转换为概率分布，再从中采样一个 token。语言模型的词表由称为 token 的词或词片段组成。出处：§A.1 · p. 12

A.2 基于语言模型的隐写术

• 基于语言模型的隐写术通过双方约定的嵌入函数和提取函数，将秘密消息嵌入载体文本，且双方均可访问同一模型。生成式方法可以对 token 概率进行采样和编码，以构建候选池并据此编码。出处：§A.2 · pp. 12–13

A.2.1 分段歧义

• 当同一反分词后的文本可对应多个 token 序列时，就会出现分段歧义，接收方因而无法确定哪一个候选序列承载了消息。示例对比了“_no”加“body”与独立 token“_nobody”。出处：§A.2.1 · p. 13

A.2.2 消歧算法

• 既有消歧方法会移除歧义候选项，或将其分组后采样；但基于前缀的提取绕过了发送方与接收方之间的 TI，可能损害隐蔽性或嵌入容量。文中介绍的方法包括基础过滤、基于 MWIS 的处理和 SyncPool。出处：§A.2.2 · p. 13

A.2.3 基于语言模型的隐写术的隐蔽性

• 统计隐蔽性被表述为受监测信道模型与隐写模型之间的相似度，并以总变差距离衡量。文中指出，语言隐写关注原始模型与其隐写对应模型之间的距离，也可能逐步最小化 KL 散度。出处：§A.2.3 · p. 13

A.3 语言模型水印

• 语言模型水印使用嵌入函数和检测函数；推理时方法可以修改 logits，或利用水印消息引导采样。基于采样的检测可以评估文本 token 与伪随机值之间的一致性。出处：§A.3 · pp. 13–14

A.4 异常 token 相关工作

• 相关工作涉及 glitch token、不可达 token、TI 和对抗性分词器挑战；同时指出，文本传输中的一致性十分重要，因为精确传输能够保持信息完整性。glitch token 可能触发意外行为；不可达 token 在文本分词时从不产生，且既有不可达 token 测试考察的是不带上下文的 token。出处：§A.4.1 · p. 14, §A.4.2 · p. 14, §A.4.3 · pp. 14–15

B 不一致 token 与分词不一致（TI）分析

• TI 需要输出候选级不一致 token，但即使不存在源不一致 token，TI 仍可能发生；存在源不一致 token 或后果性不一致 token 是其充分条件。本节指出，候选级不一致 token 不一定会成为源不一致 token。出处：B Analysis of Inconsistent Tokens and… · p. 15

C.1 逐步验证

• 逐步验证会在每个生成步骤筛除候选级不一致 token；若这类 token 不存在，便足以避免最终输出中出现不一致 token。嵌入与提取过程采用一致的候选池；若筛选后候选池为空，则使用回退 token。出处：§C.1 · p. 15

C.2 事后回滚

• 事后回滚会跟踪持续性不一致，并在观测期达到 q 时删除最新的 q + 1 个 token。分词一致性恢复时计数器会重置；回滚会删除 token，直到稳定不一致 token 之前的位置。出处：§C.2 · p. 16, §C.1 · p. 16

D.1 总体设置

• 实验使用多语言 C4 上下文、温度 1.0、各模型专用的初始上下文，以及默认的分词器设置；反分词时除外，设为 skip_special_tokens=True。所提供的设置还报告了 Python、Torch、CPU 和 GPU 配置。出处：§D.1 · p. 16

D.2 隐写分析

• 隐写分析使用 base 规模的 BERT 判别器，以隐写文本和非隐写文本进行训练，并按嵌入容量区间组织测试。实验针对每个语言模型，收集覆盖 11 个 top-k 值和四种方法的样本；样本不足的区间不纳入分析。出处：§D.2 · pp. 16–17

D.3 原始错误率

• 对于每种语言模型，在测试的 top-k 值中，k = 4 对应最低的 BPT 和最高的提取错误率。该表报告了每种语言模型在各个 top-k 值下的 BPT 和提取错误率，每种组合使用 500 个样本。出处：§D.3 · p. 17

D.4 SyncPool 在嵌入容量方面的局限

• 随着原始候选池增大，SyncPool 的歧义池可能增长得更快，使其平均数量减少，并可能降低嵌入容量。Figure 5 展示了不同消歧方法和 top-k 值下的平均嵌入容量。出处：Figure 5 · p. 17, §D.4 · p. 18
• SyncPool 报告的 KL 散度为 0 时使用的是 top-k 参考池；而这些实验使用原始候选池来比较原始模型和隐写模型。相关比较见 Tables 5, 6, and 7。出处：§D.4 · p. 18

D.5 水印方案

• LeftHash 和 SelfHash 在每个生成步骤中将前 h 个 token 哈希为种子，而 Unigram 使用全局种子生成绿色/红色 token 向量。解码器从 softmax(logit(t) + δ * Vec(t)) 中采样；这些方案被归类为基于 logit 的水印方法 [Kirchenbauer et al., 2023; Kirchenbauer et al., 2024; Zhao et al., 2024]。出处：§D.5 · p. 18
• Gumbel softmax 水印在每一步将前 h 个 token 哈希为种子，并据此生成一个向量，其元素从 (0, 1) 中均匀采样。该方案归于 Aaronson and Kirchner (2023)。出处：§D.5 · p. 18

D.6 受攻击水印文本的困惑度

• 在所报告的各项评估中，处理 TI 可改善受攻击水印文本的困惑度，也可改善未受攻击情形下的困惑度。Tables 11–13 报告了 Llama-2-7b、Swallow-7b 和 Qwen2.5-7b 受攻击文本的困惑度。出处：§D.6 · p. 18, Table 11 · p. 19, Table 12 · p. 19

E.1 隐写文本示例

• 逐步验证示例嵌入一个 128-bit 随机秘密，并在消息嵌入后停止生成。示例列于 Table 16。出处：§E.1 · p. 19

E.2 水印文本示例

• 每个水印文本示例均包含 200 个生成 token；受篇幅限制，完整文本从略。示例列于 Table 17。出处：§E.2 · p. 19

• 影响显著的非一致 token 通常比稳定 token 的预测概率更低，且困惑度计算只会处理前者。困惑度基于重新分词后的 token 列表计算，因此，影响显著的非一致 token 概率较低，会使计算值高于基于原始生成列表计算的结果。出处：§E.3 · p. 19

F 确定观察周期 (q)

• 在 Swallow-7b 和 Qwen2.5-7b 中，大多数暂时性不一致会在后续两个 token 后消失，而 Llama-2-7b 中的大多数则会持续存在。文中将这一差异归因于前两个模型中的部分 UTF-8 token，以及 Llama-2-7b 中的特殊 token；在 Llama-2-7b 中，超过 90% 的暂时性不一致不会消失。出处：F Determine Observation Period (q) · p. 19
• 实验中，Swallow-7b 和 Qwen2.5-7b 的 q = 10，以避免大多数暂时性不一致；Llama-2-7b 的 q = 2，以便更早修正持续存在的不一致。文中建议前两个模型的 q 大于 2，而 Llama-2-7b 可以采用更小的值。出处：F Determine Observation Period (q) · p. 19

G 水印后处理回滚方法的效率

• 在测试的各语言模型中，原始水印方案与后处理回滚的运行时间差异通常低于 5%。运行时间比较使用 500 个样本，每个样本包含 200 个 token。出处：G Efficiency of the Post-Hoc Rollback… · pp. 20–21

H 使用 GPT-4o 改写攻击水印

• 总体而言，在报告的各语言模型中，后处理回滚提升了水印对 GPT-4o 改写攻击的鲁棒性。攻击采用温度为 1 的 GPT-4o 改写，max_completion_tokens = 2048；Table 21 报告了定量比较结果。出处：H Attacking Watermarks with GPT-4o… · pp. 21–22, Table 21 · p. 23