PaperlayerView exact revision on arXiv

AI 摘要 · 由英文经 AI 翻译

Generative Text Steganography with Large Language Model

Jiaxuan Wu, Zhengxian Wu, Yiming Xue, Juan Wen, Wanli Peng

arXiv:2404.10229v2cs.CL

TL;DR

现有生成式文本隐写方法往往依赖模型词表和采样概率，而 LLM 用户无法获取这些信息。LLM-Stega 利用 LLM 接口、加密关键词映射和拒绝采样优化；论文报告称，该方法在文本质量、嵌入容量和抗隐写分析方面优于受测方法。

  • 问题

    现有生成式隐写映射依赖模型词表和采样概率，而黑盒 LLM API 和接口的用户往往无法获取这些信息。

    出处：§1 · p. 2, §2.2 · p. 3

  • 方法

    LLM-Stega 使用 LLM 用户界面、构建的关键词集及其加密映射，并通过拒绝采样优化提示词。

    出处：§1 · p. 2

  • 结果

    实验报告称，LLM-Stega 在文本质量、嵌入容量和抗隐写分析方面优于受测方法；论文还声称，其嵌入容量和安全性优于 Arithmetic codding [46]、ADG [44] 和 Discop 。

    出处：§1 · p. 2, §5 · p. 8

  • 要点与局限

    当用户无法获取模型采样分布时，LLM 接口为生成式文本隐写提供了一条黑盒途径。

    出处：§2.2 · p. 3

    LLM-Stega 尚处于初步阶段，其简单映射未能充分发挥 LLM 的生成能力。

    出处：§5 · p. 8

Abstract

from arXiv · show

Recent advances in large language models (LLMs) have blurred the boundary of high-quality text generation between humans and machines, which is favorable for generative text steganography. While, current advanced steganographic mapping is not suitable for LLMs since most users are restricted to accessing only the black-box API or user interface of the LLMs, thereby lacking access to the training vocabulary and its sampling probabilities. In this paper, we explore a black-box generative text steganographic method based on the user interfaces of large language models, which is called LLM-Stega. The main goal of LLM-Stega is that the secure covert communication between Alice (sender) and Bob (receiver) is conducted by using the user interfaces of LLMs. Specifically, We first construct a keyword set and design a new encrypted steganographic mapping to embed secret messages. Furthermore, to guarantee accurate extraction of secret messages and rich semantics of generated stego texts, an optimization mechanism based on reject sampling is proposed. Comprehensive experiments demonstrate that the proposed LLM-Stega outperforms current state-of-the-art methods.

1 引言

LLM-Stega针对白盒隐写方法与用户难以访问LLM内部机制之间的不匹配，利用LLM界面实现隐蔽通信。该方法将基于关键词的加密映射与基于拒绝采样的提示优化相结合；论文报告称，其嵌入容量和安全性优于现有方法。

1 引言

  • 现有生成式方法需要共享模型和训练词表，而其映射可能改变采样分布，带来安全风险。论文还指出，生成文本在流畅性、逻辑性和多样性方面存在不足；此前基于LLM的尝试虽提升了文本质量，但仍采用白盒映射。出处：§1 · p. 2
  • LLM-Stega探索通过LLM用户界面实现黑盒隐写，利用提示生成隐写文本并提取秘密消息。论文将此称为对基于用户界面的生成式文本隐写的首次探索。出处：§1 · p. 2
  • 该方法构建关键词集，采用加密隐写映射，并应用拒绝采样优化，以支持准确提取和语义丰富的隐写文本。引言还将隐写描述为借助载体在公开信道中隐蔽传输秘密信息。出处：§1 · pp. 1–2
  • 据报告，LLM-Stega在嵌入容量和安全性方面优于Arithmetic codding [46]、ADG [44]和Discop 。引言将这些方法列为对比对象。出处：§1 · p. 2

2 相关工作

以往的生成式文本隐写利用语言模型的采样分布映射秘密消息，但 LLM 用户通常无法访问这些分布。相关 LLM 研究探索了基于提示的数据生成，而本文指出，通过 LLM API 和界面进行黑盒隐写仍是一个待解决的问题。

2.1 生成式文本隐写

  • 生成式文本隐写结合使用语言模型和隐写映射，将秘密比特映射到词表词元组或采样概率。以往方法包括自适应动态分组和 Distribution Copies；后者据称能够保留原始分布，并提供最先进的安全性。出处：§2.1 · p. 2

2.2 大语言模型

  • LLM 数据生成研究涵盖表格数据、三元组、句子对和指令数据，并探索了白盒与黑盒场景下的提示工程。文中引用的黑盒方法无需标注样本即可生成所需数据。出处：§2.2 · p. 2
  • 现有生成式隐写方法需要访问语言模型及每一步的词表概率，而商业 LLM 用户往往无法获取这些信息。因此，本文将基于 LLM 的黑盒生成式隐写视为一个待解决的问题。出处：§2.2 · p. 3

3 所提出的方法

LLM-Stega 通过基于用户界面的四个阶段——关键词构建、加密映射、隐写文本生成和消息提取——实现经由 LLM 接口的通信。该方法结合基于关键词的编码与拒绝采样反馈，以兼顾提取准确性和语义丰富度。

3.1 关键词集构建

  • 由于黑盒用户无法访问 LLM 的训练词表和采样分布，该方法使用主体、谓词、客体和情感关键词对消息进行编码，其概率由 LLM 优化。关键词子集由 LLM 提示生成，并通过评估提示优化随机选取的关键词，以解决逻辑不清和语义模糊的问题。出处：§3.1 · p. 3

3.2 加密隐写映射

  • 通过重复采样扩展关键词子集，并使用其位置索引对消息编码；基于 XOR 的一次性密码机制将重复次数比特与释放时间比特结合，作为共享私钥。扩展后的集合用于编码 64 个秘密比特；该映射独立于 LLM 生成过程，并通过 GPT-4 用户界面进行评估。出处：§3.2 · p. 4

3.3 隐写文本生成与秘密消息提取

  • 出现关键词提取错误时，反馈循环会修订嵌入、生成和提取提示；实验中，每个隐写句采用两个拒绝样本，确保提取准确。作者指出，仅进行迭代优化可能生成简单句子，降低文本的多样性和语义丰富度，因此需要单独优化提示以生成更丰富的文本。出处：§3.3 · p. 4
  • Bob 使用提取提示和共享侧信息——包括关键词集、私钥、一次性密码机制和释放时间——从隐写文本中解码消息。该方法使用 LLM 接口生成隐写文本并提取秘密消息。出处：§3 · p. 3, §3.3 · p. 4

4 实验

实验将 LLM-Stega 与重建基线进行比较，评估文本质量、嵌入容量、安全性、统计不可感知性及人工评定质量。结果显示，该方法具有较强的抗隐写分析能力和统计不可感知性；在确保准确提取后，优化提示词可进一步提升文本质量。

4.1 实验设置

  • 实验使用 GPT-4 的 UI，以娱乐新闻和科幻电影评论为主题，并与 Arithmetic、ADG、Discop 和 DiscopLLaMA2 进行比较。Arithmetic 在 1.39 bpw 和 3.99 bpw 下进行测试；受计算和内存限制，重建基线采用在 News 上训练的 LSTM。出处：§4.1 · p. 5

4.2 评价指标

  • 评估涵盖文本质量、嵌入容量、抗隐写分析能力、统计不可感知性，以及对流畅度、连贯性和相关性的人工评定。文本质量采用 PPL 和语义相似度衡量；容量以每词比特数表示；安全性通过三种隐写分析方法评估；统计不可感知性采用 KLD 衡量。出处：§4.2 · p. 5

4.3 结果与分析

  • LLM-Stega 的嵌入容量最高，且与 ADG 和 Discop 相比，其生成文本的长度更接近自然 News 文本。作者认为，其容量优势源于独立于 LLM 生成过程的加密映射，因此不受每一步分布熵的限制。出处：§4.3 · pp. 5–6, Table 2 · p. 6
  • LLM-Stega 在 PPL 与语义相似度之间实现了所报告的权衡；Discop 的语义相似度最高，且其 PPL 与普通 News 句子的差距最大。使用相同关键词时，LLM-Stega 的语义相似度得分达到 0.9103；作者认为，其他情况下相似度较低，是因为生成隐写文本和载体文本时使用了不同关键词。出处：Table 1 · p. 5, §4.3 · p. 6
  • LS-CNN 为 51.55%，BiLSTM-Dense 为 49.20%，Bert-FT 为 50.00%；据报告，LLM-Stega 在全部三项抗隐写分析指标上均优于传统方法。测试集包含 1,000 个载体句子和 1,000 个隐写句子；训练集、验证集和测试集中的载体句子互不重叠。出处：§4.3 · p. 6
  • 据报告，LLM-Stega 的统计不可感知性优于其他算法；隐写文本在语义上与载体文本一致，且分布特征相似。比较采用预训练 BERT 的潜在特征和归一化概率分布；AC 算法的 KLD 显著高于另外三种算法。出处：§4.3 · pp. 6–7, Figure 4 · p. 6
  • 在人工评估中，LLM-Stega 的生成文本质量优于其他三种算法，评估者对流畅度、连贯性和相关性进行评分。三位研究人员在不知道算法及标签的情况下，独立按五分制对隐写文本评分。出处：§4.2 · p. 5, Figure 4 · p. 6, §4.3 · p. 7

4.4 消融研究

  • 提示词优化首先优先确保准确提取，随后提升文本质量；增加迭代深度会降低拒绝采样概率，并获得报告中最高的文本质量。作者报告，调优后的提示词可在一次尝试中实现 100% 提取率；在其实验中，进行两次拒绝采样即可确保准确提取。出处：§4.4 · pp. 7–8

5 结论

LLM-Stega 利用大语言模型用户界面、关键词集合、加密映射和拒绝采样实现生成式文本隐写。实验结果表明，该方法优于所测试的方法；论文同时指出，这仍是初步探索，未来可进一步发挥大语言模型的生成能力。

5 结论

  • 实验结果表明，LLM-Stega 在文本质量、嵌入容量和抗隐写分析能力方面优于所测试的方法。结论指出，当前映射方式较为简单，并提出未来通过专门微调来提升性能。出处：§5 · p. 8
  • LLM-Stega 利用大语言模型用户界面、关键词集合、加密隐写映射和拒绝采样生成隐写文本并嵌入秘密消息。论文将该映射描述为一种简单的编码方式，未能充分发挥大语言模型的生成能力。出处：§5 · p. 8
  • 作者将 LLM-Stega 称为初步尝试，并提出通过专门微调更好地利用大语言模型的知识和生成能力。其目标是提升生成式文本隐写的性能。出处：§5 · p. 8

Related papers

Loading 2404.10229v2…