AI 摘要 · 由英文经 AI 翻译

Text Steganography with Dynamic Codebook and Multimodal Large Language Model

Jianxin Gao, Ruohan Lei, Wanli Peng

arXiv:2604.20269v2cs.CRcs.AI

TL;DR

现有白盒方法可能暴露隐写行为,黑盒方法则可能依赖固定码本和针对每句文本的提取提示。DyCo-Stega 利用多模态上下文构建动态码本,并结合加密映射与反馈优化。作者报告称,该方法整体表现出色,在在线社交网络中的实用性和灵活性也有所提升。

  • 问题

    白盒隐写因共享语言模型而有暴露隐写行为的风险;黑盒方法则可能依赖固定码本和针对每句文本的提取提示。

    出处:§1 · p. 2
  • 方法

    DyCo-Stega 利用公开视觉上下文和多模态 LLM 构建动态码本,并通过加密消息映射与反馈优化实现黑盒嵌入和提取。

    出处:§1 · p. 2
  • 结果

    在所评估的方法中,DyCo-Stega 综合表现最佳,PPL 为 128.9,SS 为 0.8940,KLD 为 3.37,EC 为 6.37 bpw。

    出处:§4.3 · p. 6
  • 要点与局限

    与现有黑盒方法相比,该方法在一些热门在线社交网络中实用性和灵活性更强,同时保持了较好的文本质量和嵌入容量。

    出处:§1 · p. 2

Abstract

from arXiv · show

With the popularity of the large language models (LLMs), text steganography has achieved remarkable performance. However, existing methods still have some issues: (1) For the white-box paradigm, this steganography behavior is prone to exposure due to sharing the off-the-shelf language model between Alice and Bob. (2) For the black-box paradigm, these methods lack flexibility and practicality since Alice and Bob should share the fixed codebook while sharing a specific extraction prompt for each steganographic sentence. In order to improve the security and practicality, we introduce a black-box text steganography with a dynamic codebook and multimodal large language model. Specifically, we first construct a dynamic codebook via some shared session configuration and a multimodal large language model. Then an encrypted steganographic mapping is designed to embed secret messages during the steganographic text generation. Furthermore, we introduce a feedback optimization mechanism based on reject sampling to ensure accurate extraction of secret messages. Experimental results show that the proposed method outperforms existing white-box text steganography methods in terms of embedding capacity and text quality. Meanwhile, the proposed method has achieved better practicality and flexibility than the existing black-box paradigm in some popular online social networks.

1 引言

DyCo-Stega 旨在解决白盒文本隐写中的暴露风险和黑盒方法的不灵活问题。该方法结合动态码本、多模态 LLM、加密映射和反馈优化,以提升实用性和性能。

1 引言

  • 白盒方法存在隐写行为暴露的风险,因为 Alice 和 Bob 共用现成语言模型;黑盒方法则依赖固定码本和针对每个句子的提取提示。所引段落将 LLM-Stega 描述为一种黑盒提示工程方法,同时指出该方法需要码本和提取提示。出处:§1 · p. 2
  • DyCo-Stega 利用公开视觉上下文和 MLLM 构建动态码本,因此提取时无需在不同通信轮次间依赖固定的共享码本。MLLM 还用于协调发送方和接收方之间的同步。出处:§1 · p. 2
  • 所提出的框架结合动态码本构建、加密消息映射和反馈优化,以支持在黑盒场景下准确恢复消息。论文评估了文本质量、嵌入容量、统计不可感知性以及抵抗隐写分析的能力。出处:§1 · p. 2
  • 该方法在嵌入容量、统计不可感知性、抵抗隐写分析的能力以及在线场景下的鲁棒性方面,实现了实用性与性能之间的良好平衡。所提供的段落未给出这些结果的数值。出处:§1 · p. 2

2 相关工作

语言隐写研究涵盖文本编辑、生成式方法、可证明安全方法和黑盒协议。DyCo-Stega 则从公开的多模态上下文中重建会话专属的解码结构,而非依赖持久化协议材料。

2 相关工作

  • 白盒研究从文本编辑发展到生成式和可证明安全方法,但这些方法通常假设可以访问词元概率,并且共享本地模型。引用的实例包括 RNN/LSTM 方法、算术编码、ADG、Discop、最小熵耦合、METEOR 和 SparSamp。出处:§2 · p. 2
  • 黑盒方法无需访问 logit,但仍普遍依赖固定词汇表、静态映射或其他可重复使用的协议材料。实例包括上下文学习和 LLM-Stega;后者使用预先共享的关键词集合、加密映射和拒绝采样。出处:§2 · p. 2
  • DyCo-Stega 利用公开的图像描述上下文重建会话专属码本,并借助 MLLM 能力实现隐蔽通信中的同步。引用段落指出,先前的黑盒语言隐写方法尚未利用公开的图像描述上下文实现这一点。出处:§2 · p. 2

3 所提方法

DyCo-Stega通过共享会话配置和公开多模态上下文协调发送方与接收方。该方法构建动态码本以加密嵌入消息,接收方随后重建码本并恢复消息。

3.1 共享会话配置

  • 共享会话配置使用 MLLM 生成的图像,并通过 reject sampling 反复采样,直至接收端 MLLM 提取出与原始种子词完全一致的结果。配置包括预共享密钥、有序种子词和锚定序列;图像、提取提示和迭代反馈共同支持种子恢复。出处:§3.1 · p. 3

3.2 秘密消息嵌入

  • 种子词、公开词典和会话参数共同支持确定性码本构建;基于词典扩展候选词,并通过概率整形优先选取种子词和高频词。候选词通过词典关系检索,包括释义、词条上下文和前缀;会话种子重新排列词语—概率对,但不改变其概率。出处:§3.1 · p. 3, §3.2 · p. 4
  • 秘密消息映射为码字和区间偏移量;通过会话种子进行 XOR 掩码,以保护经旁信道共享的偏移量。生成图像说明文字时采用 reject sampling,直至说明文字包含该码字和锚定序列,且不含其他语义池词语。出处:§3.2 · p. 5

3.3 秘密消息提取

  • 接收方从共享图像中恢复种子词,重建码本,去除偏移量的掩码,再将所得索引转换回秘密消息。码字用于确定区间;将恢复的偏移量加到区间下边界,即可得到消息索引。出处:§3.3 · p. 5

4 实验

实验从文本质量、嵌入容量、统计不可感知性和可检测性等方面,将 DyCo-Stega 与黑盒和白盒基线进行比较。消融实验考察模型配对、概率塑形、OSN 传输,以及提示词和温度对恢复效果的影响。

4.1 实验设置

  • 实验将 DyCo-Stega 和 LLM-Stega 与六种白盒基线进行比较;白盒方法使用 GPT-2 和 Qwen2.5。每种黑盒方法生成 15,000 条隐写文本,每个白盒基线则在每种语言模型上生成 10,000 条。出处:§4.1 · p. 5

4.2 评估指标

  • 文本质量通过 PPL 和语义相似度衡量,嵌入容量以每词比特数报告。评估还包括隐写分析准确率、嵌入空间 KLD、图文 CLIP-Score,以及对流畅度、清晰度和语法正确性的人工评分。出处:§4.2 · pp. 5–6

4.3 主要结果

  • DyCo-Stega 的综合基准表现最佳,PPL 为 128.9,SS 为 0.8940,KLD 为 3.37,EC 为 6.37 bpw。与 LLM-Stega 相比,其 PPL 和 KLD 更低,SS 和 EC 更高,且 Acc 更接近 0.5;KLD 在句子嵌入空间中测量。出处:Table 1 · p. 6, §4.3 · p. 6
  • 封面图注与隐写图注的平均 CLIP-Score 变化仅为 0.06,且黑盒方法在人工评分的三个维度上均高于白盒基线。DyCo-Stega 的清晰度得分最高,流畅度和语法正确性则与 LLM-Stega 相当。出处:§4.3 · p. 6

4.4 Ablation Studies

  • Across recognizers, Gemini achieves 96%–98% S@3 and GPT 92%–94% S@3; Qwen is lower at 64%–68% S@3, though its successful-case AvgR remains comparable to other generators.出处:§4.4 · p. 7

4.4 消融研究

  • 默认设置 σ=τ/2 的综合平衡效果最佳;更尖锐的 σ=τ/4 设置下,PPL 为 105.7,SS 为 0.903,但 KLD 为 30.32。将 σ 从 τ 增至 2τ 后,SS 从 0.894 降至 0.814,KLD 从 3.37 升至 19.73。出处:§4.4 · p. 7
  • 测试的五个社交平台在图像传输和截图后,S@3 均达到 100% 成功率。S@1 为 97% 至 98%,S@2 为 99% 至 100%;测试图像在上传前已验证成功。出处:§4.4 · p. 7
  • 完整提示词在 T=0 和 T=0.7 时的 S@3 均为 100%,而限制最少的提示词在这两种温度下分别仅达到 40.7% 和 48.7%。完整提示词在 T=1.0 时的 S@3 为 99.3%,在 T=2.0 时为 90.8%;限制最少的提示词在 T=2.0 时达到 30.2%。出处:§4.4 · p. 8

5 扩展至视频

视频载体探索表明,该方法可从图像扩展至视频,但成本更高、稳定性更低。结果因视频生成模型和识别模型而异。

5 扩展至视频

  • Veo 生成的视频与 Gemini 3.1 Pro 配合时达到 95% S@3,是报告中效果最强的视频生成模型与识别模型组合。Sora 和 Seedance 的表现也相对稳定;Gemini 3.1 Pro 整体上是最强的识别模型。出处:§5 · p. 8
  • 使用 Seedance 时,成功恢复种子词通常需要超过 500 秒;Veo 在不同识别模型的组合中效率最高。GPT 5.3 响应最快,但准确率较低;GPT 5.4 Thinking 耗时更长,准确率却没有显著提升。出处:§5 · p. 8, Table 5 · p. 8
  • 视频实验表明,该方法可行地扩展至图像之外,但更高成本和较低稳定性使图像仍是主要配置。本研究通过视频生成和识别模型接口进行了轻量级探索。出处:§5 · p. 8

6 结论

DyCo-Stega 根据公开视觉上下文构建会话专属码本,并结合私钥和基于种子的恢复机制。结论报告了整体性能与传输结果,并将视频作为初步扩展进行探索。

6 结论

  • DyCo-Stega 利用传输的私钥和会话种子重建动态码本并恢复偏移量。在黑盒设置下,图像生成和描述生成优化提高了种子词恢复与秘密信息提取的可靠性。出处:§6 · p. 8
  • 结论报告了文本质量、嵌入容量、统计不可察觉性和抗隐写分析方面的良好表现,以及对不同生成器、识别器和在线社交网络的稳健性。视频载体研究仍属初步探索;未来将研究音频和更稳定的多模态隐写。出处:§6 · p. 8

A 个案研究

  • 案例展示了由 Gemini-3 Pro、Qwen Image Max 和 GPT4o 生成的图像,以及由 GPT5.1 生成的对应隐写描述。.出处:A Case Studies · p. 10

A.1 Gemini-3 Pro

案例将生成图像与隐写配文搭配,展示了 Gemini-3 Pro、Qwen Image Max 和 GPT4o 的示例。

A.1 Gemini-3 Pro

  • Gemini-3 Pro 生成了配有隐写配文的图像,配文描述了刷子、梳子、镜子、肥皂和镊子。示例配文将这些物品放在一起,摆在一面圆镜旁。出处:§A.1 · p. 10, Figure 3 · p. 10

A.2 Qwen Image Max

  • Qwen Image Max 的示例配文描述了计算器、耳机、键盘、马克杯和剪刀。出处:§A.2 · p. 10

A.3 GPT4o

  • GPT4o 的示例配文描述了一个红苹果、碗、叉子、刀和一只温热的马克杯。出处:§A.3 · p. 10

B 种子扩展细节

附录通过说明预处理、扩展路径、评分和确定性选择,使种子扩展的实现可复现。附录指出,Alice 和 Bob 也可以约定其他确定性实现。

B 种子扩展细节

  • 附录给出一种可复现的种子扩展实现,同时允许 Alice 和 Bob 约定其他确定性实现。附录详细说明归一化、三种扩展路径、评分,以及用于生成语义候选池的确定性选择和排序。出处:B Details of Seeds Expansion · p. 10

B.1 归一化与词典预处理

  • 归一化会将词元转换为小写、移除非字母字符,并在匹配前进行 WordNet 名词词形还原。出处:§B.1 · p. 10
  • 词典释义、同义词和例句经分词与归一化后,会去除停用词和单字符词元。出处:§B.1 · p. 10
  • 即使种子词属于停用词,也会予以保留;缺失的种子词则以频率为零的形式加入共享候选词集合。出处:§B.1 · pp. 10–11

B.2 从种子集生成候选项

候选全集通过三种确定性的词典匹配路径扩展由图像生成的有序种子词,随后对所得候选项进行规范化并去重。

B.2 从种子集生成候选项

  • 只要至少一个种子词触发三种基于词典的匹配路径中的至少一种,候选项就会进入候选全集。去除重复项前,会先对所得候选项进行规范化。出处:§B.2 · p. 11
  • 反向释义匹配会在规范化后的种子词出现在候选项的释义词元集合中时,将该候选项与种子词关联起来。其权重按释义长度反向缩放,公式为 λ_rev(w) = 30.0 log2(|Def(w)| + 4)。出处:§B.2 · p. 11
  • 正向上下文匹配使用种子词条中的同义词、释义或例句,并优先匹配同义词(15.0),其次是释义(12.0),最后是例句(2.5)。前缀匹配还会纳入种子词的非平凡扩展形式。出处:§B.2 · p. 11

B.3 种子级评分与聚合

本附录说明如何对扩展种子后的候选项进行评分和排序、构建码本区间与密钥、生成图注,以及分析恢复不确定性。

B.3 种子级评分与聚合

  • 每个候选项—种子评分为所有启用且匹配的路径权重之和;当反向定义证据得到正向上下文或前缀证据佐证时,乘以 2.0。路径指示变量为二值变量,正向上下文权重遵循给定的字段优先级规则。出处:§B.3 · p. 11
  • 全局修正项区分多个种子共同提供的支持与单个种子重复提供的支持;频率平滑会适度偏向常见词,但不会让词频主导语义证据。枢纽奖励按提供支持的不同种子数计数。出处:§B.3 · p. 11

B.4 选择与排序

  • 候选池排除种子词,按评分选出最高的 α−K 个候选项(同分时按字母顺序打破平局),再按词典词频排序,并将种子词置于最前。这种确定性构造使双方都能依据公开词典和共享种子重建相同的语义池。出处:§B.4 · pp. 11–12

C 基于种子的排序细节

  • 一个具体的排序示例为每个索引分配一个以会话种子为密钥的 HMAC-SHA256 标签,再对标签排序,以生成无需额外通信的共享置换。论文将此描述为双方一致同意的确定性排序规则的一种实现。出处:C Details of Seed-Based Ordering · p. 12, Algorithm · p. 12

D 重复采样细节

  • 重复采样通过将额外单位分配给前 R 个词,将分数区间长度离散化,从而得到一个划分,使每个整数索引恰好属于一个区间。离散化后,该过程使用累积区间边界。出处:D Details of Repeated Sampling · p. 12

E XOR 掩码细节

  • 每个嵌入码字都对应一个定宽私钥片段;串接 τ 个片段即可得到密钥,接收方再将密钥拆分以恢复偏移量。XOR 运算数及其生成的每个片段长度均为 b。出处:E Details of XOR Masking · p. 13

F 隐写图注生成算法

  • 图注生成会检查图注是否包含选定的码字和锚点序列,同时不包含语义池中的其他词;若图注未通过检查,则通过反馈提示进行修改。通过检查的图注会发布到 OSN。出处:F Algorithm of Stego Caption Generation · p. 13

G 会话参数映射规则;H.1 假设

H.2 动态码本的歧义性

本节讨论:监控者截获私钥但没有预共享密钥时,重构动态码本所面临的不确定性。

H.2 动态码本的歧义性

  • 在给定的参数映射下,码本大小 α 有64种可能取值,整形参数 σ 有16种可能取值。在推断出 b 后,本节将这些情况视为仍然存在的参数歧义。出处:§H.2 · p. 14
  • 对于每个候选参数对 (α, σ),未知会话种子会使布局层面的码本词项排列存在 α! 种可能。将所有允许的 α 值纳入考虑后,会产生多个候选分支。出处:§H.2 · p. 14
  • 将每个 α! 项都替换为最小允许阶乘数 24!,得到的是保守下界,而非候选总数的精确值。该界使用 α ∈ {24, . . . , 87}。出处:§H.2 · p. 14

H.3 所选区间的歧义

即使码字确定了一个区间,消息的确切偏移量仍不确定;本节估算半高斯整形下由此产生的偏移搜索空间。

H.3 所选区间的歧义

  • 观测到的码字可确定其动态码本区间,但无法确定区间内的精确偏移量,因此与该说明文本相符的偏移组合有多个。候选组合数是在当前结构分支和给定概率模型下考察的。出处:§H.3 · p. 15
  • 在论文的默认参数设置下,偏移搜索空间的代表性规模报告为 E[M_X] ≈ 2128.6。公式 (35) 刻画了半高斯整形规则下的这一规模。出处:§H.3 · p. 15

H.4 联合解读

综合解读考察了即使私钥被截获,恢复过程仍存在的歧义;后续章节则介绍研究范围和提示词工作流。作者提醒,不应在安全关键或对抗性场景中将该方法部署于现实环境。

H.4 联合解读

  • 即使截获私钥,恢复过程也不只是简单求逆:重建动态码本仍存在歧义,所选区间内的搜索空间很大。该解读将保守的结构下界与上述恢复分析结合起来。出处:§H.4 · p. 15

I 伦理考量与更广泛影响

  • 本研究考察仅通过 API 使用的多模态隐写,并将其安全性、可部署性和取证属性视为威胁模型问题。作者表示,这项工作或可推动防御性研究,包括多模态隐写分析和平台侧审计。出处:I Ethical Considerations and Broader… · p. 15
  • 作者不主张在安全关键或对抗性场景中将该方法部署于现实环境,并呼吁并行评估攻击与防御视角。作者还呼吁为多模态生成平台开发更强的检测方法和审计工具,并制定使用政策。出处:I Ethical Considerations and Broader… · p. 15

J 我们使用的种子词与提示词

提取提示词

  • 提取提示词要求识别五类可见物体,将其规范为标准名词,按字母顺序排序,并以 JSON 数组形式输出。其中规定了忽略背景物体或不明确物体的标准,并要求对同义词和变体进行规范化。出处:Extraction Prompt · p. 17

图像反馈提示词模板

  • 图像反馈提示词会对比目标名词与提取出的名词,随后指导进行物体级编辑,以移除或弱化多余物体,并添加或突出缺失的目标物体。同时保留原有场景风格、光照、视角和背景。出处:Image Feedback Prompt Template · p. 17

嵌入提示词模板

  • 嵌入提示词要求用一个句子生成图注,其中每个必需词恰好出现一次,保留有序的公共锚点序列,并避免使用禁用词。此外,提示词还限制图注长度,并要求使用简单且有视觉依据的语言。出处:Embedding Prompt Template · p. 18
Loading 2604.20269v2…