PaperlayerView exact revision on arXiv

AI 摘要 · 由英文经 AI 翻译

How Confident Is the First Token? An Uncertainty-Calibrated Prompt Optimization Framework for Large Language Model Classification and Understanding

Wei Chen, Guoyang Ju, Yuanyuan Qi

arXiv:2603.18009v1cs.CLcs.AI

TL;DR

用于分类的传统不确定性度量可能忽视标签先验差异，从而削弱提示优化中的置信度校准。本文提出基于首个 token 的 LSFU，并构建 UCPOF 来选择示例并有条件地修正提示；UCPOF 报告的平均准确率为 78.09%，比 Baseline 高 6.03%，且推理成本低于完整 RAG。

  • 问题

    对于分类任务，基于熵的不确定性度量忽略类别先验差异，而始终启用 RAG 可能增加成本并引入干扰性上下文。

    出处：§1 · p. 2

  • 方法

    LSFU 利用标签先验对首个 token 的熵重新加权；UCPOF 则用它选择示例，并进行两阶段的静态提示优化与动态修正。

    出处：§1 · p. 3, §4.1 · p. 8, §7 · p. 20

  • 结果

    平均准确率为 78.09%，比 Baseline 高 6.03%，且推理成本低于完整 RAG。

    出处：§7 · p. 20

  • 结论与局限

    报告结果表明，UCPOF 通过静态优化与动态修正，兼顾提示优化的效果与效率。

    出处：§7 · p. 20

    该方法仅面向分类任务，其动态阈值的泛化能力取决于领域数据分布的稳定性。

    出处：§7 · pp. 20–21

Abstract

from arXiv · show

With the widespread adoption of large language models (LLMs) in natural language processing, prompt engineering and retrieval-augmented generation (RAG) have become mainstream to enhance LLMs' performance on complex tasks. However, LLMs generate outputs autoregressively, leading to inevitable output uncertainty. Since model performance is highly sensitive to prompt design, precise uncertainty measurement is crucial for reliable prompt optimization. For multi-class multiple-choice (understanding) tasks, conventional uncertainty measures (e.g., entropy) based on output probabilities treat all classes equally and ignore class prior differences in pretraining corpora. This failure to distinguish spurious confidence (from priors) from true certainty (from contextual understanding) results in poor confidence calibration. To address this, we propose Log-Scale Focal Uncertainty (LSFU), a first-token-based metric inspired by focal loss. LSFU incorporates label prior probabilities as a risk-modulation factor to suppress noise from high-frequency classes and emphasize risk for low-frequency long-tail classes, with a dynamic weighting mechanism unifying the measurement scale. Based on LSFU, we further propose the uncertainty-calibrated prompt optimization framework (UCPOF), which leverages the first token of model outputs to select high-quality exemplars and dynamically optimize prompts. Comprehensive evaluations show UCPOF improves average accuracy by 6.03% over few-shot baselines, surpasses always-on full RAG by 5.75% in overall average accuracy, and reduces the average retrieval trigger rate by 50.66%. By adaptively triggering RAG only for high-uncertainty samples, our framework significantly lowers computational costs while maintaining state-of-the-art performance.

1 引言

在分类任务中，传统不确定性度量可能将类别先验驱动的置信度误判为上下文理解能力，无法为提示优化提供可靠指导。本文提出基于首个 token 的 LSFU，并用其筛选示例和控制动态提示修正。

1 引言

  • 熵忽略了类别先验差异，因此，对高频标签的不确定性较低，并不意味着模型掌握程度与低频标签上的相同。这可能使基于熵的筛选偏向冗余的高频类别示例，并遗漏有代表性的低频示例。出处：§1 · p. 2
  • LSFU结合标签先验对首个 token 的熵进行重加权，抑制高频类别带来的噪声，同时突出低频类别的预测风险。本文提出将该指标作为提示优化的校准度量，无需额外训练。出处：§1 · pp. 2–3
  • 选择 LSFU 值最低的少样本示例，相较于随机选择或基于相似度的选择，能提供更稳定的分类锚点。论文报告称，这种基于置信度的策略显著提升了上下文学习基线的表现。出处：§1 · p. 3
  • UCPOF 使用 LSFU 仅针对高风险样本触发检索和提示修正，而不是对每个样本都进行检索。论文指出，这种方法可以降低推理成本、过滤持续启用 RAG 带来的噪声，同时提升效率和准确率。出处：§1 · p. 3

2 相关工作

相关工作涵盖提示优化、不确定性量化、自适应检索，以及本文研究设定的形式化定义。文中指出，现有方法在置信度校准和对标签先验的感知方面仍有不足。

2 相关工作

  • 相关工作部分回顾了上下文学习、不确定性量化、检索增强生成、自适应推理，以及适用于本文设定的形式化定义。本节明确回顾上述领域，并介绍与本文相关的定义。出处：§2 · p. 3

2.1 上下文学习与自动提示优化

  • 示例、顺序、指令、位置偏差和语义实现等因素都会影响上下文学习，而多数优化方法关注准确率，较少考虑置信度校准。这一缺口使示例选择和动态调整缺乏可靠的置信度信号，尤其影响长尾或复杂样本。出处：§2.1 · pp. 3–4

2.2 LLM的不确定性量化

  • 基于logit的不确定性方法计算高效，但多数方法忽视标签先验，因此难以区分低频类别上的犹疑与高频类别上的过度自信。已有研究将首个token的分布作为高效的不确定性信号，但本文指出先验偏差仍未得到解决。出处：§2.2 · p. 4

2.3 检索增强生成与动态推理

  • 始终启用RAG会增加计算开销和延迟，还可能引入干扰性上下文；UCPOF则利用LSFU控制检索和提示修正。文中指出，先前的动态框架所用的门控信号可能未能考虑标签先验偏差。出处：§2.3 · pp. 4–5

2.4 形式化定义

  • 形式化定义将ICL规定为条件标签预测，将RAG规定为利用检索文档进行生成，并将UCPOF规定为依据分数阈值在静态提示与RAG之间进行选择。决策规则使用LSFU分数S(x)、阈值τ，以及经过静态优化的提示C∗。出处：§2.4 · p. 5

3 理论动机与分析

理论动机将首个 token 的分布视为预测置信度的早期代理指标。论文阐述了其不确定性函数的性质，并将提示选择表述为错误风险与计算成本之间的风险感知权衡。

3.1 首个 token 置信度假设

  • 首个 token 置信度假设认为，首个 token 分布越集中，越能作为整体预测置信度和风险的早期代理指标。作者据此提出，初始决策阶段的不确定性可能在后续生成过程中被放大。出处：§3.1 · p. 6

3.2 所提出的不确定性度量的性质

  • 所提出的不确定性函数会随首个 token 分布趋于集中而减小，具有有界性，能够连续响应微小扰动，并可与经典的基于熵或间隔的度量建立联系。这些性质旨在支持度量比较、阈值决策以及稳定的早期不确定性评估。出处：§3.2 · p. 6

3.3 风险感知的提示决策解释

  • 风险感知决策的解释是：当 U(x) 低于阈值时使用基础提示；高于阈值时则触发检索或验证等增强策略。作者将其描述为选择性预测的一种实用近似，在预测风险与计算成本之间进行权衡。出处：§3.3 · p. 7

4 方法

该方法提出 LSFU，将其作为经先验校准的风险分数用于提示优化，并据此选择静态示例和触发条件式提示修正。UCPOF 在线下准备静态提示和阈值，再用它们判断在线推理是否需要检索与修正。

4.1 对数尺度焦点不确定性（LSFU）

  • LSFU 将 top-K 首 token 熵与预测类别的先验概率结合，为示例选择和动态修正提供对数尺度的风险判据。受 focal loss 启发的先验因子会抑制高先验类别带来的噪声，并凸显低先验类别的风险；对数变换可保留区分度，并使用 ε 保证数值稳定性。出处：§4.1 · pp. 7–8

4.2 静态优化：基于 LSFU 的 Gold-shot 选择

  • Gold-shot 选择从预测正确的训练样本中挑选 LSFU 值最低的样本，构建引导性强、噪声低的静态提示。所选示例旨在提供清晰的决策锚点，同时避免边界样本造成的模糊引导。出处：§4.2 · pp. 8–9

4.3 不确定性校准提示优化框架（UCPOF）

  • UCPOF 以静态提示推理作为基线，仅在样本缺乏充分引导时才使用 LSFU 触发反思式提示修正。该框架由线下准备和在线推理两部分组成。出处：§4.3 · pp. 9–10

4.3.1 线下准备

  • 线下准备阶段构建 Gold-shot 提示，设定一个阈值以覆盖校准集至少 90% 的错误，并建立用于检索的向量知识库。在域内不确定性分布相对稳定这一假设下，该阈值旨在迁移到同类型的未见测试集。出处：§4.3.1 · pp. 10–11

4.3.2 在线推理

  • 在线推理阶段先用静态提示进行预测；若其 LSFU 不高于 T，则返回该预测，否则检索带标签的参考样本进行反思式修正。反思式提示包含初始预测提示、检索到的示例，以及在第二次推理前给出的明确修正指令。出处：§4.3.2 · p. 11

5 理论分析与验证

评估 LSFU 对预测风险进行排序并支持选择性预测的效果；门控阈值分析则将 90% 错误覆盖率选作成本与收益之间的折中。报告结果显示，正确与错误预测的分布彼此区分；移除高 LSFU 样本后，准确率随覆盖率下降而上升。

5.1 LSFU 指标的有效性

  • 先验调制因子以非线性方式对风险加权：抑制高先验类别的伪不确定性，同时放大低先验类别的风险。分析指出，对低先验类别加权有助于突出长尾样本；在这些样本上，尽管证据不足，熵看起来仍可能处于正常水平。出处：§5.1 · p. 12
  • 正确预测与错误预测的 LSFU 密度中心彼此分离；随着覆盖率降低，移除高 LSFU 样本会提高准确率。两种密度分布仍有重叠；风险-覆盖率趋势的报告结果涉及 CASIE 和 ACE。出处：§5.1 · p. 13, Figure 3 · p. 13, Figure 4 · p. 14
  • 在 CASIE 上，覆盖率为 10% 时准确率达到 88.6%；在 ACE 上，剔除 20% 的高风险样本后，准确率从约 51% 提升至 60.9%。这些报告中的示例被用作静态提示的安全边界。出处：§5.1 · p. 14

5.2 门控阈值 T 的选择策略

  • 在错误覆盖率与 RAG 触发率曲线的拐点处，选择 90% 的错误覆盖率，以权衡效率与准确率。文中报告称，覆盖率低于 85% 时收益显著，而高于 95% 后趋于平缓；若要捕获最后 5% 的过度自信错误，则需要采用激进的阈值。出处：§5.2 · p. 14, Figure 5 · p. 15

6 实验

实验在六个不同领域、具有不同分布特征的数据集上，评估静态示例选择、动态提示修正和成本效益。与静态基线相比，UCPOF 提高了平均准确率；与 Full RAG 相比，减少了检索。

6.1 实验设置

  • 实验设置涵盖六个数据集和三个模型，使用准确率、AUC 和平均推理成本评估提示优化效果。Qwen2.5-7B-Instruct 是主模型；Llama-3-8B-Instruct 和 Qwen2.5-14B-Instruct 用于评估跨模型泛化能力和可扩展性。出处：§6 · p. 15, §6.1 · p. 15

6.2 主要结果

  • 平均准确率较静态基线提高 6.03%；UCPOF 在所有数据集上均提升了准确率。ACE 上的提升幅度最大，为 +11.01%。出处：Table 2 · p. 16, §6.2 · p. 16

6.3.1 Gold Shot 选择策略

  • 选择 LSFU 最低的示例可获得最高平均准确率（73.81%）；移除 Gold Shot 后，UCPOF 的平均准确率下降 2.20%（78.09% →75.89%）。选择 LSFU 最高、难度最大的样本作为示例，会降低 ACE、CB 和 R8 上的准确率。出处：Table 3 · p. 17, §6.3.1 · p. 17, Table 4 · p. 17

6.3.2 先验概率的必要性

  • 加入 Pprior 后，各数据集上的 AUC 均有所提升，ECE 和 Brier score 均有所降低；CB 上的校准改善幅度最大。AUC 对比的是使用先验概率的 LSFU 与不使用先验概率的普通 First Token Entropy。出处：§6.3.2 · p. 17, Table 5 · p. 18, Table 7 · p. 19

6.4 效率分析

  • 整体平均准确率比 Full RAG 高 5.75 points（78.09 vs. 72.34），同时平均检索触发率降低 50.66%（49.34% vs. 100%）。Full RAG 在 CB 上的准确率降至 48.21%，低于 Baseline 的 78.57%；而在 AgNews 上，Full RAG 的得分为 91.42%，UCPOF 为 89.99%。出处：§6.2 · p. 16, §6.4 · p. 18
  • UCPOF 位于效率—准确率 Pareto 前沿的左上方附近，并在进入高成本区域前停止；在该区域，强制检索可能降低准确率。触发率约为 60% 时，准确率趋于饱和；调优后的阈值使测试集触发率约为 ∼77%。出处：§6.4 · p. 18, Figure 6 · p. 19

7 讨论与结论

本文提出 LSFU 和 UCPOF，用于优化提示词，并通过静态提示词优化与动态校正，在准确率和推理效率之间取得平衡。论文还指出了任务范围、提示词构建和阈值泛化方面的局限。

7 讨论与结论

  • 本文提出考虑类别先验的对数尺度焦点不确定性（LSFU）和 UCPOF，以应对提示词敏感性、不确定性度量失真以及完整 RAG 带来的噪声。结论将 LSFU 描述为提示词优化的基础，将 UCPOF 描述为由静态与动态两阶段组成的框架。出处：§7 · p. 19
  • 平均准确率达到 78.09%（比 Baseline 高 6.03%），且推理成本低于完整 RAG；UCPOF 将静态优化与由 LSFU 控制的动态校正相结合。效率比较涵盖检索触发率和测试准确率。出处：Table 8 · p. 20, §7 · p. 20
  • 通过将低 LSFU、高置信度样本用作少样本示例，平均准确率比随机选择高 1.75%。论文指出，这些示例可提供决策锚点，减少认知噪声和幻觉传播风险。出处：§7 · p. 20
  • 该框架仅适用于分类任务，未能充分优化示例排列或指令细节，并且其动态阈值的泛化依赖于领域分布的稳定性。论文将拓展至更多任务以及提示词结构优化列为未来工作。出处：§7 · pp. 20–21

A 其他数据集上的效率分析

附录按照 Section 6.4 中的实验方案，报告了 ACE 以外数据集的效率–准确率帕累托曲线，以及检索触发率与准确率之间的关系曲线。

A 其他数据集上的效率分析

  • 附录将 Section 6.4 的效率分析扩展至 ACE 以外的数据集，并报告帕累托曲线以及检索触发率与准确率之间的关系曲线。该段说明了实验方案，但未给出曲线结果。出处：A Efficiency Analysis on Other Datasets · p. 23

B 跨模型可扩展性

跨模型实验表明，UCPOF 优于静态基线、Gold Shot 和完整 RAG，在更大规模的 Qwen 模型和参数量较少的 Llama 模型上也表现出优势。

B 跨模型可扩展性

  • 实验使用不同规模的 Llama-3 和 Qwen 模型，检验 LSFU 是否依赖特定架构。此外，还展示了 CASIE 和 AgNews 上的效率分析。出处：B Cross-Model Scalability · p. 23, Figure 8 · p. 24, Figure 9 · p. 24
  • 在跨模型场景中，UCPOF 相较于静态基线、静态优化（Gold Shot）和完整 RAG，平均准确率提升了 2.17%–3.56%。作者指出，LSFU 的先验校准机制不依赖特定的模型预训练范式。出处：B Cross-Model Scalability · p. 23
  • Qwen2.5-14B 的平均准确率为 80.38%，高于完整 RAG 的 80.10%。文中称，随着模型参数量增加，UCPOF 仍保持性能优势。出处：B Cross-Model Scalability · p. 23
  • Llama-3-8B 在 CB 任务上的准确率为 83.93%，高于完整 RAG 的 82.14%。作者指出，CB 对语义较为敏感，并称这一低参数量模型上的提升最为显著。出处：B Cross-Model Scalability · p. 23

C 其他模型上的先验消融结果

附录报告了其他模型骨干上的先验消融结果。

C 其他模型上的先验消融结果

D 关于提示结构验证的补充实验

补充实验采用“Task→Example→Input”结构，提供了跨模型和参数的数据，以支撑 Section 5.2 并增强提示优化的可靠性。

D 关于提示结构验证的补充实验

E 验证 LSFU 中的 Top-K 参数

在测试的各个 K 值下，top-K 熵项都很稳定：K = 50 已涵盖相关的高概率质量，进一步增大 K 收益甚微，却会增加成本。

E 验证 LSFU 中的 Top-K 参数

Loading 2603.18009v1…