Token-Oriented Semantic Communication with Pretrained Vision Transformers

I. 引言

• 直接传输 token 会带来高维传输载荷，且独立训练的嵌入空间之间互操作性有限 。token 通信 – 旨在集中传输与任务相关的 token。联合训练的码本设计, – 虽能应对这些障碍，却降低了模块化程度，带来重新训练的成本，并使通信与特定任务绑定。出处：§I · p. 1
• 模块化流程结合轻量级客户端 ViT、LIC 压缩器和大型服务器端 ViT，无需各模型的 token 嵌入空间相互兼容。客户端估计相关性，压缩器传输选中的潜变量，服务器对重建图像进行分类；替换任一组件时，无需从头重新训练其他组件。出处：§I · p. 2
• 早期面向 token 的框架 – 传输原始或经标量量化的图像块，而本框架在 LIC 潜变量域中选择压缩表示。两类方法都利用 token 级相关性，而不直接传输 token 嵌入；在 LIC 潜变量域中操作是所提出框架的区别所在。出处：§I · p. 2
• token 对齐 LIC 利用 ViT 图像块 token 与压缩潜变量之间的一一空间对齐关系，仅传输与任务相关的潜向量。在图像分类中，将 ViT 图像块大小与 LIC 编码器的下采样倍数匹配，即可根据 token 相关性直接索引待传输的潜变量，无需修改 LIC 架构。出处：§I · pp. 1–2
• 层选择式注意力回溯仅需一次前向传播，相关性估计优于末层注意力 –、全层注意力回溯 和梯度加权注意力 。聚合选定层范围内的注意力，可避免梯度计算给资源受限客户端带来的内存与时延开销。出处：§I · p. 2
• 在所评估的各码率下，该框架的码率–准确率权衡均优于语义通信方案, 和任务无关的 LIC 模型 –。比较对象分别是缺乏高效压缩的任务相关传输，以及不考虑任务相关性的面向重建的压缩。出处：§I · p. 2
• 用单个可学习替代 token 填充服务器端未选中的 token 位置，在保持服务器主干网络冻结的同时，改善部分输入下的推理。与重新训练主干网络不同，仅优化该 token 可保留完整输入下的模型行为。用同一替代 token 置换受信道损伤的 token，还能提升不可靠信道下的鲁棒性。出处：§I · p. 2

A. token 级语义通信

• 所提出的框架传输 LIC 潜变量，而非 token 表示或像素域图像块，无需端到端联合训练即可提高码率效率。基于 VQ 的通信传输码本索引，需要通过联合训练建立共享码本, –。此前面向 token 的框架则使用预训练模型，但传输的是像素域图像块 –。出处：A. Token-Level Semantic Communications · p. 2

B. 学习式图像压缩

• LIC 的率失真性能可与传统手工设计的压缩方法媲美；该框架以非线性变换编码 及其超先验扩展 为基础。编码器提取图像潜变量，量化将其离散化，解码器再重建图像。出处：B. Learned Image Compression · p. 3
• 超先验通过传输辅助信息对潜变量的概率分布建模， 将 中的零均值模型扩展为同时预测均值和方差。超编码器生成量化的辅助潜变量，超解码器估计潜变量的条件分布。这些概率估计使算术编码能够逼近理论上的 Shannon 熵极限。出处：B. Learned Image Compression · p. 3

C. 注意力引导的重要性估计

• 末层注意力对最后一层各注意力头的注意力取平均，因其简单而广泛用于此前面向 token 的通信研究 –。基于注意力的相关性估计利用下游推理过程中捕获的 token 间依赖关系。出处：C. Attention-Guided Importance… · p. 3
• Attention rollout 聚合所有 Transformer 层的注意力，近似刻画模型整体的 token 间依赖关系。该方法先对各层的注意力矩阵跨头取平均，再加上单位矩阵以计入残差连接，最后将各层矩阵相乘。出处：C. Attention-Guided Importance… · p. 3
• 梯度加权注意力 利用梯度对 rollout 重新加权，提供精确的任务相关性估计，但梯度计算使其无法部署在资源受限的客户端上。梯度通过对 top-1 预测类别的 logit 关于注意力权重求导得到。出处：C. Attention-Guided Importance… · p. 3
• 三种方法均提取类别 token 对视觉 token 的相关性，排除类别 token 的自相关性，并将视觉 token 的分数归一化为分布。这些分数来自相关性矩阵的第一行，对应分类头使用的类别 token。出处：C. Attention-Guided Importance… · p. 3

D. 可学习输入 token

• 代理 token 替换结合共享 token 替换与冻结骨干网络的优化策略，补偿推理时缺失的视觉内容。该单个可学习 token 以下游分类为训练目标。出处：D. Learnable Input Tokens · p. 4
• 视觉提示微调 在输入前添加可学习的提示 token，冻结骨干网络并仅优化这些 token，实现参数高效的任务适配。代理 token 替换采用了相同的冻结骨干网络优化策略。出处：D. Learnable Input Tokens · p. 4
• 掩码图像建模, 在被掩码的位置插入共享的掩码 token，并在预训练期间将其与骨干网络联合优化，以完成自监督重建。代理 token 替换则冻结骨干网络，以下游分类为目标。出处：D. Learnable Input Tokens · p. 4

III. 所提框架概述

• 资源受限的客户端结合轻量级 ViT 与神经压缩器，计算能力较强的服务器则使用大型 ViT 和相应的解压缩器。分类器示例为客户端的 DeiT-Tiny 和服务器端的 DeiT-III-Large 。出处：§III · p. 4
• 服务器重建图像，将其转换为服务器端的视觉 token，通过替代 token 替换构建输入序列，并返回分类结果。服务器收到压缩比特流和 token 选择图后重建图像。出处：§III · p. 4
• token 对齐的学习式图像压缩仅保留所选 token 位置的潜变量，并将其与超先验和选择图一同传输。该方法将 token 选择融入图像压缩，而非传输所有视觉潜在表示。出处：§III · p. 4, §IV · p. 4
• 比特流大小随所选 token 数量减少而近似线性减小，因为视觉潜变量占据了传输数据的主要部分。超先验和选择图所需的比特数相对较少。出处：§III · p. 4

IV. 主要技术组件

• 可学习的替代 token 替换用于替换服务器端未选位置的 token，防止不可靠的重建图像块降低推理性能。这些图像块不可靠，是因为其对应的潜变量未被传输。出处：§IV · pp. 4–5
• 层选择性注意力回溯利用轻量级 ViT 估计 token 级任务相关性，指导逐 token 的保留或舍弃。客户端利用阈值 δ 将相关性分数转换为二值选择图。出处：§III · p. 4, §IV · p. 5

A. token 对齐的学习式图像压缩

• 像素域传输 中的独立图像块编码和重要性感知标量量化 均未利用统计冗余，因此码率效率都低于 LIC。这一局限促使研究者将 token 选择融入压缩过程本身。出处：A. Token-Aligned Learned Image… · p. 5
• token 对齐的 LIC 将 ViT 的 token 选择图直接应用于空间位置对应的潜向量，无需修改压缩架构即可控制传输。两种架构通常都采用 P = 16 的下采样倍数：ViT 使用 16 × 16 图像块,, ，而 LIC 使用四级步长为 2 的卷积 –。出处：A. Token-Aligned Learned Image… · p. 5
• 注意力总和阈值选择 按相关性从高到低选取 token，直到累积相关性首次超过预设阈值 δ。所选 token 数量随图像的语义内容而变化，包括目标大小和推理难度。出处：A. Token-Aligned Learned Image… · p. 5

1) 选择性潜变量传输：

• 基于超先验的熵模型 使用预测的均值和尺度参数来参数化每个潜变量元素，这些参数由超解码器根据量化后的超先验生成 。给定量化后的超先验，各元素条件独立，因此每个元素仅凭自身的预测参数即可进行熵编码和解码。出处：1) Selective Latent Transmission · p. 5
• 服务器先用超先验预测的均值填补缺失的潜变量位置，再由神经网络解码器重建图像。Figure 2 展示了选择性潜变量编码和服务器端填补如何融入 token 对齐的压缩框架。出处：Figure 2 · p. 5
• 客户端按空间位置升序对选中的潜向量进行算术编码，完全跳过未选中的位置，以降低通信开销。对选中元素进行编码或解码均不需要其他潜变量元素。出处：1) Selective Latent Transmission · p. 5

• 实际传输的比特包括保留潜变量的比特数、量化超先验的比特数和二值选择图的比特数，而非完整潜变量表示及边信息的比特数。出处：2) Theoretical Analysis of… · p. 6
• 利用选择比例 ρ、开销比例 η，以及选中与未选中区域的潜变量平均自信息，可推导实际传输比特数与总比特数之比的界。其中，ρ = |S|/(|S|+|U|)，η 为超先验与选择图的比特数之和除以 Btot。平均自信息分别在选中和未选中的位置上计算。出处：2) Theoretical Analysis of… · p. 6
• 当信息密度相近（k ≈ 1）时，选择性传输的码率降幅随选择比例 ρ 呈近似线性变化，但部分收益会被边信息开销 η 抵消。分析假设采用理想熵编码器，其符号码长趋近于符号的自信息。出处：2) Theoretical Analysis of… · pp. 5–6
• 当未选中区域的信息稀疏（k < 1）时，码率降幅呈次线性变化；当其信息密度高于选中区域（k > 1）时，码率降幅呈超线性变化。出处：2) Theoretical Analysis of… · p. 6

3) 预测均值填补：

• 按照均值-尺度超先验架构 ，解码器在潜变量解码前，用超先验预测的条件均值填补未选中的潜变量位置。每个预测均值都是在接收超先验所表征的上下文条件下，局部潜在特征的条件期望。出处：3) Predicted-Mean Imputation · p. 6
• 预测均值填补保持潜变量图的局部统计一致性，并使下游分类准确率优于零填充。卷积感受野相互重叠，使选中图像块的重建依赖于相邻潜变量，因此未选中位置的填补值会影响选中图像块的重建质量。出处：3) Predicted-Mean Imputation · p. 6
• 填补带来的计算开销可忽略不计，因为超解码器本就会生成用于熵解码的预测均值。出处：3) Predicted-Mean Imputation · p. 6
• 填补仅用于改善选中图像块的重建；未选中位置的重建图像块不会传送给服务器端预测器。出处：3) Predicted-Mean Imputation · p. 6

B. 层选择性注意力回溯

• 末层注意力过度关注背景，而完整注意力回溯 会累积早期层噪声，在分类任务中甚至可能不如末层注意力 。DeiT-Tiny 的注意力在早期层噪声较多，中间层聚焦物体，后期层则偏向背景；仅能定位物体并不保证能准确估计任务相关性。随着上下文信息逐层融入，末层 token 已不再仅表示其原始图像块,, 。出处：B. Layer-Selective Attention Rollout · pp. 6–7
• 层选择性注意力回溯聚合选定层范围内的注意力；DeiT-Tiny 使用第 7–12 层，排除噪声较多的早期层，同时保留影响分类决策的末层 。所选层范围生成的相关性图覆盖主要物体及其部分周边区域。出处：B. Layer-Selective Attention Rollout · p. 7
• 层选择性注意力回溯优于末层注意力和完整注意力回溯，且无需反向传播，便能在主要工作区间内达到或超过梯度加权注意力 的性能。在主要客户端配置下，该方法仅需一次前向传播便优于梯度加权注意力，避免了反向传播的计算开销和激活值存储开销。出处：B. Layer-Selective Attention Rollout · p. 7

C. 代理 token 替换

• 代理替换用一个可学习 token 替换未选中位置的 token，避免基于统计信息重建的图像块成为误导冻结服务端预测模型的证据。未选中的图像块由超先验预测的均值合成。针对分类任务优化代理 token，使其学会标记缺失信息，而非提供视觉证据。出处：C. Surrogate Token Substitution · p. 7
• 直接重建推理和选定图像块推理均不对预测模型进行适配，而重新训练骨干网络成本高昂,, ，还可能降低完整输入下的准确率。这两种无需适配的方案分别直接使用重建图像，或仅使用选中位置的重建图像块。出处：C. Surrogate Token Substitution · p. 7
• 代理替换仅用 1024 个可学习参数即可适配 DeiT-III-Large，在准确率保持方面优于两种无需适配的基线，同时保留原预测模型在完整输入下的行为。适配仅涉及一个 D 维向量，预训练骨干网络保持不变。出处：C. Surrogate Token Substitution · p. 7
• 代理 token 还可替换传输中被擦除的潜变量所对应的 token，减轻信道擦除对分类准确率的影响。Section V-C 在分组擦除信道上评估了这一鲁棒性增益。出处：C. Surrogate Token Substitution · pp. 7–8

V. 实验结果

• ImageNet 实验评估码率–准确率权衡、丢包鲁棒性、熵感知传输增益，并对框架的三项技术组件进行消融分析。对比方法涵盖已有的面向 token 的语义通信基线、传统编解码器和 LIC 框架。消融实验分别考察 token 对齐 LIC、层选择性注意力展开和替代 token 置换。出处：§V · p. 8

A. 实验设置

• 客户端所需内存和计算量分别为 45 MB 和 4.47 GMACs，服务器端则超过 1.2 GB、约为 64.36 GMACs。客户端由 DeiT-Tiny 和神经压缩器, 组成；服务器由 DeiT-III-Large 和神经解压缩器组成。仅客户端压缩器就需要 22.1 MB。出处：A. Experimental Settings · p. 8
• DeiT-III-Large 的准确率为 86.8%，而 DeiT-Tiny 为 72.2%；前者的内存占用和计算复杂度均约为后者的 50×。DeiT-Tiny 在客户端运行，DeiT-III-Large 在服务器端运行。出处：A. Experimental Settings · p. 8
• ImageNet 分类采用经中心裁剪并缩放至 224 × 224 像素的图像，以及公开的预训练 ViT 参数。DeiT-III-Large 还在 ImageNet-21k 上进行了预训练 。出处：A. Experimental Settings · p. 8
• 单独训练的 LIC 模型采用带均值超先验 的超先验模型 ，重建 ImageNet 图像。潜变量和超先验的通道维度分别为 192 和 128。每个 λ 均单独训练一个模型，其余优化设置遵循, 。出处：A. Experimental Settings · p. 8
• 在冻结预训练骨干网络的情况下，训练单个替代 token 用于分类，共训练 20 轮。训练模拟阈值 δsur 下的层选择性注意力展开、使用以 λsur 预训练的 LIC 模型进行压缩，以及在服务器端对未选中位置进行替代 token 置换。其余训练设置遵循 。出处：A. Experimental Settings · p. 8
• token 选择图的编码开销为每张图像 196 比特，低于 0.004 bpp；报告的总码率未计入这部分开销。选择图随压缩数据一同传输，使服务器能够重建图像并确定需要替代 token 置换的位置。码率取评估集上每像素传输比特数的平均值。出处：A. Experimental Settings · p. 8

B. 码率–准确率权衡

• 86.81% 是所有对比方法共同的无损准确率上限，因为它们均重建图像，供同一个预训练 DeiT-III-Large 服务器端分类器使用。这一受控比较未纳入端到端框架，因为它们联合训练任务专用分类器，准确率上限不同，且不输出独立图像。出处：B. Rate–Accuracy Trade-Off · p. 8
• 在相近码率下，token 对齐 LIC 的准确率高于选定图像块传输 和重要性感知量化 ，主要得益于更高的压缩效率。这两种基线方法均利用任务相关性，但在像素域传输。出处：B. Rate–Accuracy Trade-Off · pp. 8–9, Figure 5 · p. 9
• 该框架在 1.24 bpp 下达到 85.83% 的准确率，而 WebP 和 BPG 分别需要约 1.57 bpp 和 1.82 bpp 才能达到同等准确率。这一准确率仅比服务器端的无损准确率低 0.98 个百分点。出处：Figure 5 · p. 9, B. Rate–Accuracy Trade-Off · p. 9

C. 擦除信道下的分类准确率

• 在所有测试的分组擦除概率下，代理 token 替换均比直接重建推理和选定图像块推理更稳健。测试关闭了潜变量选择性传输，采用 2.12 bpp、λ = 0.3，擦除概率从 0.05 到 0.5。准确率取 20 次试验的平均值；无差错时的准确率为 85.92%。出处：Figure 6 · p. 9, C. Classification Accuracy over… · pp. 9–10

B. 码率–准确率权衡

• 在低于 2.5 bpp 的码率范围内，该框架在相近码率下的分类准确率高于任务无关 LIC 框架 – 。选择性传输无法直接兼容 ELIC 等自回归上下文模型，但更简单的均值–尺度超先验实现取得了比 ELIC 更优的码率–准确率权衡。出处：B. Rate–Accuracy Trade-Off · p. 9, Figure 5 · p. 9

C. 擦除信道下的分类准确率

• 独立的分组级算术编码将擦除损害限制在各分组内，服务器端推理前则用预测均值替换被擦除的潜变量。超先验占用一个假定无差错的分组，潜变量分组的最大传输单元为 1460 字节。分组封装后的码率为 2.12 bpp，未分组封装时为 2.11 bpp，表明开销可忽略。出处：C. Classification Accuracy over… · pp. 9–10

D. 熵感知图像传输

• 采用熵感知图像传输时，达到 85.89 % 准确率仅需 0.94 bpp；不采用时，达到相近准确率约需 1.24 bpp。EIT 将高置信度预测留在本地，仅在预测最小熵达到阈值 τ 时调用服务器推理 。其额外计算仅来自一个分类头；它是框架的补充，并非本文声称的贡献。出处：D. Entropy-Aware Image Transmission · p. 10

E. token 对齐的学习式图像压缩

• 五个 LIC 模型以接近最优的准确率覆盖 0.5–2.5 bpp，并通过 δ 在较窄范围内实现细粒度码率控制。这些模型采用 λ ∈ {0.03, 0.1, 0.2, 0.4, 1}；推理时仅调整 δ 即可避免切换模型。它们相互衔接的可达性能曲线支持适应信道或时延条件的变化。出处：E. Token-Aligned Learned Image… · p. 10
• 均值超先验 通过改善所选区域的重建质量，使下游准确率优于不使用均值填补的超先验 LIC 。用预测均值填补缺失潜变量，可减轻其对相邻已选图像块的不利影响；未传输区域本身则在推理前被替换为替代 token。两个模型均采用 λ = 0.1，并使用以不依赖具体 LIC 模型的方式训练的替代 token，以保证比较公平。出处：Figure 9 · p. 10, E. Token-Aligned Learned Image… · p. 10

F. 层选择性注意力展开

• 对于 DeiT-Tiny 的注意力展开，(Ls, Le) = (7, 12) 在主要工作区间内取得最佳的所选图像块推理性能。DeiT-Tiny 选取排名前 60、80 或 100 的 token，再由 DeiT-III-Large 对所选图像块进行分类。在该比较中，聚合后半部分注意力层的效果最佳。出处：Figure 10 · p. 11, F. Layer-Selective Attention Rollout · p. 11
• 在主要工作区间内，与末层注意力 、注意力展开 和梯度加权注意力 相比，层选择性注意力展开取得最佳码率–准确率权衡。比较采用层范围 (Ls, Le) = (7, 12)，无需梯度加权注意力所需的额外梯度计算。出处：Figure 11 · p. 11, F. Layer-Selective Attention Rollout · p. 11
• 在 DeiT-Small 和 DeiT-Base 上，层选择性注意力展开均优于末层注意力和注意力展开，且仅需一次前向传播即可达到与梯度加权注意力相当的性能。DeiT-Small 和 DeiT-Base 所选层范围分别为 (5, 12) 和 (7, 12)。对于这些更大的骨干网络，梯度计算愈发难以实际采用。出处：Figure 12 · p. 11, F. Layer-Selective Attention Rollout · p. 11

G. 代理 token 替换

• 代理 token 的训练模拟所提流程，由 δsur 控制 token 选择，λsur 设定 LIC 工作点。这些超参数决定训练输入的质量，可能影响训练稳定性和最终准确率。出处：G. Surrogate Token Substitution · p. 11
• 尽管训练与测试阈值不一致，δsur = 0.35 在测试阈值 δ ∈{0.6, 0.7, 0.79} 下均取得接近最优的准确率。移除 LIC 后，针对 0.25 至 0.98 范围内的各个 δsur 值分别训练代理 token，并在主要工作区间内评估。出处：G. Surrogate Token Substitution · p. 11, Figure 13 · p. 12
• 代理 token 替换优于两种无需适配的基线，且考虑 LIC 的训练始终优于不考虑 LIC 的训练。考虑 LIC 的代理 token 使用 (δsur, λsur) = (0.35, 0.03)，而不考虑 LIC 的版本仅使用 δsur = 0.35 进行训练。出处：G. Surrogate Token Substitution · p. 12

VI. 结论

• 相比近期面向 token 的语义通信方案、手工设计的编解码器和学习式图像压缩模型，所提框架实现了更优的码率–准确率权衡。结论指出，对输入图像进行 token 对齐压缩，而非直接压缩 token 表示，是资源受限边缘 AI 的一个有前景的方向。出处：§VI · p. 12
• 该模块化框架协同使用预训练的客户端 ViT、LIC 和服务器端 ViT，根据 token 级任务相关性，选择性传输空间对齐的 LIC 潜变量。token 对齐的学习式图像压缩为客户端–服务器协同推理提供了这一选择性传输机制。出处：§VI · p. 12
• 层选择性注意力 rollout 利用选定的注意力层估计相关性，可学习的代理 token 替换则在服务器端补偿缺失的视觉信息。这些组件与 token 对齐的学习式图像压缩相互配合，改善码率–准确率权衡。出处：§VI · p. 12