A Survey on Post-training of Large Language Models

1 引言

• 后训练通过微调、对齐、知识适配和推理能力提升来改进预训练模型，产出 GPT-4 [9]、LLaMA-3 [25]、Gemini-2.0 和 Claude-3.5 等 PoLM。预训练旨在获得通用能力，而后训练则使模型适配特定任务和需求；不过，面对新任务时仍可能需要重新训练或大幅调整参数。出处：§1 · p. 5

1.1 主要贡献

• 本综述是首个全面梳理 PoLM 的研究，追溯其从 ChatGPT 的 RLHF 到 DeepSeek-R1 的冷启动 RL 的演进，并分析微调、对齐、推理、效率、集成与适配。本文还探讨了计算复杂度和伦理考量等相关挑战。出处：§1.1 · p. 6
• 本文提出结构化分类体系，将后训练方法分为五类、数据集分为七种，并将应用归纳至专业、技术和交互领域。该框架对方法、数据集和应用进行梳理，以阐明它们之间的关联及实际影响。出处：§1.1 · pp. 6–7, Figure 2 · p. 7
• 本综述重点介绍 o1 [41] 和 DeepSeek-R1 [28] 等 LRM，指出其面临的可扩展性、伦理对齐和多模态集成挑战，并提出自适应强化学习与公平性感知优化方案。本文强调，未来后训练研究应以提升推理能力、领域适应性、精确性和可信度为目标。出处：§1.1 · p. 7

1.2 文章结构

• 本文依次梳理 PoLM 的发展历程、微调、对齐、推理、效率、集成与适配、数据集、应用、未解决问题及未来方向，并以研究展望作结。各部分涵盖 SFT 和 RFT；RLHF、RLAIF 和 DPO；自我改进与推理强化学习；压缩、PEFT 和蒸馏；以及多模态、领域适配和模型合并方法。出处：§1.2 · p. 7

2.1 PoLMs 的发展历程

• PoLMs 从 BERT [2] 和 GPT 出发，历经微调、对齐、推理、效率优化、领域适配和多模态集成，最终发展到 o1 [41] 和 DeepSeek-R1 [28]。这一发展历程见 Fig. 3，体现了系统从具备通用语言能力转向适应特定任务、以推理为核心的演变。出处：§2.1 · p. 8, Figure 3 · p. 9

2.2.1 策略优化原理

• PPO [46] 通过裁剪目标约束策略更新，从而稳定 RLHF [45]；其价值函数则估计累积奖励，以引导优化。裁剪范围可防止策略相较于先前策略发生大幅偏移；价值函数学习则通过最小化预测值与实际累积奖励之间的误差来进行。出处：§2.2.1 · p. 10

2.2.2 RLHF 原理

• RLHF [45] 通过学习由奖励引导的策略，使其在输入—输出对上最大化期望奖励，从而使语言模型的输出符合人类偏好。该框架对词元序列生成进行建模，并可使用 CNN/DailyMail [59] 和 TL;DR 训练用于摘要等任务的专用系统，例如 GPT-2 。出处：§2.2.2 · pp. 10–11

2.2.3 DPO 原理

• DPO [49] 根据人类对成对输出的偏好直接优化输出，省去传统奖励函数，简化基于偏好的策略优化。其公式采用受 KL 约束的奖励目标和 Bradley-Terry 偏好模型，表示一个输出优于另一个输出的概率。出处：§2.2.3 · p. 11

2.2.4 GRPO 原理

• GRPO [64] 移除 PPO 的评论家模型，并根据组内得分估计基线，在依据组内相对奖励计算优势的同时，大幅降低训练资源消耗。对于每个问题，该方法从旧策略中采样多个输出，并利用这些输出相对于组内基线的优势来优化策略。出处：§2.2.4 · pp. 11–12

3.1 监督微调

• SFT 直接调整预训练模型参数，并利用带标签的任务数据将通用预训练知识转化为精确且契合语境的任务表现。T5 [42] 等较小模型适用于资源受限场景，而 GPT-4 [9] 等较大模型则能胜任复杂且数据丰富的任务。出处：§3.1 · p. 12

3.1.1 SFT 数据集准备

• SFT 数据集准备包括构造指令—实例对、借助 Self-Instruct [86] 扩充多样性、使用 ROUGE-L 去重，以及依据 IFD [88] 等质量阈值筛选配对数据。Instruction Mining [90] 通过质量规则以及响应长度、奖励模型平均分等指标 [65]，提供了更高效的评估替代方案。出处：§3.1.1 · pp. 12–14

3.1.2 SFT 流程

• SFT 通过最小化预测概率与真实标签之间的交叉熵，利用特定任务的标注数据细化预训练阶段学得的通用表征。BERT [2] 展示了这一过程：在 IMDB 等数据集上，将 BooksCorpus 和 Wikipedia 中获得的宽泛表征专门化。出处：§3.1.2 · p. 14

3.1.3 全参数微调

• 全参数微调会更新模型的每个参数，适用于高精度应用，但会带来巨大的内存开销，因此催生了 LoRA [92]、Prefix-tuning [43]、LOMO 、混合精度和激活检查点等方法。微调一个 65-billion-parameter 模型可能需要超过 100 GB 的 GPU 内存；GPT-3-to-InstructGPT [45] 展示了计算开销巨大的全参数方法。出处：§3.1.3 · pp. 14–15

3.2.1 指令微调

• 指令微调通过将现有数据集转化为自然语言指令，并用 Self-Instruct [86] 示例加以扩充，提升跨任务和跨领域的灵活性。广泛覆盖语言、领域和任务，提供清晰指令，加入 Chain-of-Thought prompting [47] 等示例，并均衡采样任务，有助于提升泛化能力 [97]。出处：§3.2.1 · pp. 15–16

3.2.2 Prefix-tuning

• Prefix-tuning 通过可训练的逐层前缀向量引导模型行为，同时冻结核心参数；P-Tuning v2 [99] 则以共享的多任务提示扩展了这一方法。重参数化技巧使用小型 MLP 学习前缀参数，从而稳定训练并实现高效的任务适配。出处：§3.2.2 · p. 16

3.2.3 Prompt-tuning

• 在许多任务中，Prompt-tuning 的效果可媲美全参数微调，同时所需的可训练参数显著更少，并能降低计算和内存开销。其效果取决于底层语言模型的能力，而 P-Tuning v2 则将其扩展到不同模型规模和复杂任务。出处：§3.2.3 · p. 16

3.3 强化微调

• ReFT 的表现显著优于传统 SFT，且可通过多数投票或重排序进一步提升，无需额外训练数据。ReFT 利用现有 SFT 数据集进行学习，同时探索多条有效的思维链路径，并借助推理时策略优化输出。出处：§3.3 · p. 17

• 对齐旨在引导 LLM 输出符合人类预期和偏好，尤其适用于安全关键或面向用户的应用。出处：§4 · p. 17

基于人类反馈的强化学习 / 基于 AI 反馈的强化学习

• RLHF 使用人工标注数据作为奖励信号，而 RLAIF 使用 AI 生成的反馈来提升可扩展性。出处：§4 · p. 17

直接偏好优化

• DPO 直接从成对的人类偏好数据中学习，无需显式奖励模型。出处：§4 · p. 17

• Table 2 对比了 2022–2024 年的对齐方法，考察奖励模型、反馈、强化学习和优化等特征。八项指标涵盖显式或隐式奖励建模、奖励粒度与极性、反馈类型、是否使用参考模型、在线或离线策略学习，以及在线或离线优化。出处：Table 2 · p. 18

4.1 基于人类反馈的强化学习

• RLHF [104] 通过将人类偏好标签或奖励信号转化为奖励引导的策略更新，补充 SFT [45]，从而提升指令遵循能力、事实一致性和用户相关性。GPT4 [9]、Claude 和 Gemini [76] 均受益于这些机制。出处：§4.1 · p. 18

4.1.1 RLHF 的反馈机制

• 反馈机制涵盖主要评估、补充干预和表征特定信号，在可解释性、可扩展性、抗噪性和泛化能力之间进行权衡。主要反馈包括批评 [125]、比较 、跨时反馈 [127]、代理奖励 [128]、社会行为 、改进 [130] 和自然语言反馈 [131]；补充形式包括紧急停止 和重要性标签 。出处：§4.1.1 · pp. 18–20, Table 3 · p. 19

4.1.2 RLHF 的奖励模型

• 由于真实奖励 r(x, y) 未知，RLHF 根据偏好比较学习 rθ(x, y)，同时使用 β 控制的正则化，使策略 π 保持接近参考模型 ρ。奖励评估采用考虑变换的距离度量，如 EPIC [140]、DARD [141]、类 EPIC 距离 和 STARC [143]；此外还使用检查数据集和经筛选的数据集，包括 PRFI [144]、CONVEXDA 和 REWARDFU-SION [145]。出处：§4.1.2 · p. 20

4.1.3 RLHF 的策略学习

• 策略学习结合线上、离线和混合设置，以平衡反馈响应速度、数据覆盖范围、样本效率、标注成本和策略性能。线上方法收集实时偏好，离线方法复用带标签的轨迹，混合方法则将离线预训练与线上聚合相结合，包括 DPS 、PPS 和 PEPS 、PFERL 以及 PERL 。出处：§4.1.3 · pp. 20–21

4.2.1 RLAIF 与 RLHF

• RLAIF [105] 通过提供可扩展、持续的 AI 生成偏好反馈，解决 RLHF 中人类标注成本高、耗时长且不一致的问题。这减少了对人工标注者的依赖，同时保留了由人类引导的优化。出处：§4.2.1 · p. 21, §4.2 · p. 21
• RLAIF 使用 AI 生成而非人类生成的反馈来更新策略，其表现可与 RLHF 相当或更优，并超越监督微调基线，即使偏好标注器规模相同 。Figure 10 总结了 RLHF 与 RLAIF 在方法上的区别。出处：§4.2.1 · p. 21, Figure 10 · p. 22

4.2.2 RLAIF 训练流程

• RLAIF 流程 收集一致的 AI 反馈，基于 AI 生成的标签训练奖励模型，并迭代更新策略，以最大化各项任务中的累积奖励。AI 生成的标签提升了可扩展性并减少对人力资源的依赖，但可能引发一致性和偏差问题。出处：§4.2.2 · p. 22

4.3 直接偏好优化

• DPO 以单阶段策略训练取代 RLHF 中的奖励建模和强化学习阶段，直接在人类偏好数据上训练，从而降低复杂度并提升稳定性。它不依赖 Bradley-Terry 模型 ，并将奖励函数直接关联到最优策略。出处：§4.3 · pp. 22–23

4.3.1 DPO 基础

• DPO 最大化偏好输出相对于非偏好输出的似然，使目标策略与人类偏好对齐，无需单独的奖励模型，同时保留 KL 正则化的一致性保证 [159]。其目标使用偏好三元组 {(x, yw, yl)}，以及目标策略与参考策略之间经重参数化的奖励差。出处：§4.3.1 · pp. 23–24

4.3.2 DPO 训练细节

• DPO 从固定参考策略初始化可训练的目标策略，随后依据对采样候选回答的人类比较结果对其进行迭代更新。参考策略提供稳定的基线，偏好标签则用于评估连贯性、相关性和清晰度。出处：§4.3.2 · p. 24
• DPO 训练依赖稳健的参考策略和多样化的偏好数据，以便通过更新完善已有能力、捕捉不同用户的期望，并避免对狭窄任务过拟合。通常使用监督微调来初始化参考策略。出处：§4.3.2 · p. 24

4.3.3 DPO 变体

• DPO 变体通过 token 级、迭代式、长度正则化、无参考策略、列表式和负偏好目标，分别应对更细粒度的生成、冗长程度、对参考策略的依赖、列表式偏好以及不期望的输出。例如，token-level DPO [118]、TDPO [119]、Iterative DPO [111]、R-DPO [116]、SimPO [121]、LiPO [113] 和 NPO [120]。出处：§4.3.3 · p. 25

5.1 用于推理的自我优化

• 自我优化方法通过内在循环、外部反馈、经微调的内在修订或经微调的外部优化来检测并纠正错误，从而提升推理能力。该分类涵盖内部纠错、外部工具与参考资料、模型微调，以及这些机制的组合。出处：§5.1 · p. 25, Figure 12 · p. 26
• 外部自我优化和经微调的自我优化通过验证中间输出、纳入工具或参考资料，以及更新模型来增强推理能力，提升逻辑一致性和正确性。示例包括 CRITIC、Reflexion、Self-Debug、FLARE、Logic-LM、Self-Edit、Baldur 和 CodeRL；RL4F 报告称，在深入推理任务的基准测试中平均提升 10%。出处：§5.1 · pp. 26–27

5.2.1 将推理建模为 MDP

• RL 将推理建模为马尔可夫决策过程，其中状态编码推理轨迹，动作选择下一推理步骤，策略则最大化累积奖励。该框架涵盖 token 生成、逻辑变换、定理选择和终止；PPO [46] 和 A2C [200] 可用于优化推理策略。出处：§5.2.1 · pp. 28–29

5.2.2 推理的奖励设计

• 推理奖励设计必须在稀疏的最终答案信号与更密集的反馈之间取得平衡，后者反映逐步准确性、自洽性以及来自人类或 AI 的偏好。二元正确性奖励简单但方差较高；逐步奖励、基于一致性的奖励和基于偏好的奖励，则能为多步推理提供更细粒度的指导。出处：§5.2.2 · p. 29, §5.2.1 · p. 29

5.2.4 冷启动下用于推理的 RL

• DeepSeek-R1-Zero 表明，从基础模型出发进行纯冷启动 RL，无需预先标注的数据集或监督微调，也能自主发展出复杂的思维链推理能力。其由奖励驱动的迭代式自我进化提升了复杂多步任务的表现，并在基准测试中达到最先进水平。出处：§5.2.3 · p. 30, §5.2.4 · p. 31

5.2.3 基础模型上的大规模 RL

• DeepSeek-R1 的 RL 流程结合逐步奖励建模、自适应探索和轨迹剪枝，以提供细粒度反馈、平衡探索与利用，并将计算集中于有希望的推理路径。GRPO 通过基于组的基线估计降低了基于 critic 的 PPO 所需开销，从而支持资源受限条件下的可扩展 RL。出处：§5.2.3 · pp. 30–31

6 面向效率的 PoLM

• 后训练效率旨在通过模型压缩、参数高效微调和知识蒸馏，加快处理速度、降低内存占用并减少资源消耗。模型压缩可缩小计算开销；PEFT 仅更新一小部分参数；知识蒸馏则将能力从较大的教师模型迁移到较小的学生模型。出处：§6 · p. 31

6.1 模型压缩

• 量化压缩权重、激活值和 KV 缓存；剪枝则移除不重要的参数；低秩近似用更小的矩阵表示权重。综述涵盖仅权重量化、权重与激活值量化、KV 缓存量化，以及非结构化和结构化剪枝策略。出处：§6.1 · p. 31, §6.1.1 · p. 32, §6.1.2 · pp. 32–33

6.1.1 后训练量化

• 后训练量化使用小型校准数据集调整权重和激活值，以提升计算效率并保持性能，相关方法涵盖 PTQ 和 QAT。代表性技术通过低比特表示以及专门的缩放或分组策略，处理内存占用、激活值离群点、敏感权重和长上下文下 KV 缓存增长等问题。出处：§6.1.1 · p. 32

6.1.2 参数剪枝

• 参数剪枝通过移除不重要的权重或整个参数组来提升效率；结构化方法着眼于硬件效率，非结构化方法则提高稀疏度。相关方法包括 SparseGPT 报告的稀疏度、基于幅值和激活值的剪枝、基于 Hessian 敏感度的选择，以及 LoRA 辅助的结构化剪枝。出处：§6.1.2 · pp. 32–33

6.2 参数高效微调

• PEFT 冻结 LLM 主干网络，仅调整少量新增或选定的参数，从而降低重新训练成本并支持任务适配。其分类包括加性、选择性、重参数化和混合 PEFT，涵盖适配器、软提示、掩码、低秩更新及这些策略的组合。出处：§6.2 · p. 34, §6.2.2 · p. 35, §6.2.3 · p. 35

6.2.1 加性 PEFT

• 加性 PEFT 引入适配器或软提示等可训练模块，不改动原有参数，在高效的任务专项微调过程中保留基础模型的知识。适配器采用瓶颈投影；软提示方法则优化连续输入向量或逐层前缀。出处：§6.2.1 · pp. 34–35

6.2.2 选择性 PEFT

• 选择性 PEFT 仅更新由二值掩码选定的参数，通过基于相关性的选择或动态选择降低计算成本。相关方法采用可微稀疏化、Fisher 信息、彩票票据选择、二阶近似或有针对性的参数组。出处：§6.2.2 · p. 35

6.2.3 重参数化 PEFT / 6.2.4 混合 PEFT

• 重参数化和混合 PEFT 通过低秩更新，以及组合 LoRA、前缀微调、适配器和任务专属配置搜索，提升适配效率。动态秩方法、初始化与梯度改进、门控机制和基于 NAS 的方法，可针对不同任务和模型规模灵活配置参数用量。出处：§6.2.3 · pp. 35–36, §6.2.4 · p. 36

概述

• 集成与适配提升 LLM 在多样化现实任务和情境中的通用性、效率与鲁棒性。这些方法通过处理异构数据、针对特定领域专门化模型，以及发挥多种架构的优势，解决复杂挑战。出处：§7 · p. 39

多模态集成

• 多模态集成使 LLM 能够处理文本、图像和音频等不同模态。Figure 18 展示了典型大型多模态模型的架构。出处：§7 · p. 39, Figure 18 · p. 39

领域适配与模型合并

• 领域适配针对特定行业或用例优化 LLM，而模型合并则结合不同模型的能力，以优化整体性能。这些策略共同拓展了模型在各类任务和情境中的适用性。出处：§7 · p. 39

7.1 多模态集成

• LMMs 通过模态编码器、预训练 LLM 主干和模态连接器整合异构数据，以支持视觉代码生成、梗图解读和数学推理等跨模态任务 [326] [327] [50] [328].这些后训练方法对各个架构组件进行改进，以提升多模态集成效果和性能。出处：§7.1 · p. 39

7.1.1 模态连接

• 模态连接方法包括基于投影、查询和融合的策略，用于将多模态输入合成为连贯的表征 [328].投影方法将输入与 LLM 文本嵌入对齐；查询方法利用可学习 token 提取结构化信息；融合方法则将多模态特征直接嵌入 LLM。出处：§7.1.1 · pp. 39–40, Figure 19 · p. 40

7.1.2 模态编码器

• 模态编码器将异构输入压缩为语义丰富的表征，以支持多种 LMM 任务中的视觉、音频、3D 理解和跨模态生成。视觉编码器支持图像和视频理解，音频编码器支持语音与音频-语言处理，其他编码器则处理点云等模态，并支持统一的文本-图像-视频-音频生成。出处：§7.1.2 · pp. 41–42

7.2 领域适配

• 领域适配将源模型转化为特定领域的目标模型，在降低标注数据和计算需求的同时，提升编程与数学推理能力 [382] [384] [385] [386] [387].它旨在处理专用术语和推理范式，而这些往往会给通用模型带来挑战。出处：§7.2 · p. 42

7.2.1 知识编辑

• 知识编辑通过更新模型中指定的参数来融入新信息，同时限制模型在原始数据上的性能损失，并避免全面重新训练 [388].编辑对象可以是注意力或前馈组件，其中 ε 用于限制模型在原始数据集上的性能下降。出处：§7.2.1 · p. 43
• 知识编辑方法通过识别相关事实、将其与现有表征关联，并利用相应技术将其嵌入模型内部，从而限制知识丢失、编辑冲突、过拟合和计算成本 [389, 390, 391, 392, 393, 394, 395, 396, 397, 398, 399, 400, 401, 402, 403, 404, 405, 406, 407].相关方法包括可编程范围检测、反事实建模、基于事件的边界设定、选择性神经元更新、反向梯度遗忘和 token 级平滑。出处：§7.2.1 · p. 44

7.2.2 检索增强生成

• 基于训练的 RAG 通过检索外部信息，提升特定领域的相关性和事实准确性；独立、顺序和联合训练则用于对齐检索器与生成器 [48] [408] [409] [414] [415].独立训练将模块分开训练，顺序训练分阶段优化模块，联合训练则端到端地共同优化两者；应用领域包括问答、科学研究和医疗保健 [48] [411].出处：§7.2.2 · pp. 44–45

7.3 模型合并

• 模型合并将专用模型整合为统一架构，在无需大规模重新训练的情况下提升部署效率和多任务泛化能力 [431] [432]。给定候选模型 M = {M1, M2, . . . , Mn}，目标是学习合并函数 F_merge，以生成统一模型 M′。出处：§7.3 · p. 45

7.3.1 模型合并的层级

• 模型合并分为三个层级：权重层面的参数融合、输出层面的分布聚合，以及模型层面跨子模型或层的路由。权重层面的方法包括 Model Soup 、Task Arithmetic [435]、TIES-merging 和 DARE ；输出层面的方法包括 LLMBlender [438]、FuseLLM [439] 和 FuseChat [440]；模型层面的方法则采用路由机制，例如 Switch Transformer [54]、SoftMoE [441] 和 SMEAR [442]。出处：§7.3.1 · pp. 46–47, Figure 21 · p. 46

7.3.2 合并前的方法

• 合并前的方法通过参数线性化、架构变换或权重对齐来建立兼容性，从而减少冲突并保留各组成模型的能力。例如，TAFT 和注意力层线性化 ；用于架构变换的 FuseChat [440] 和 CLAFusion ；以及用于权重对齐的 OTFusion 、Git re-basin 、Deep-Align 和 REPAIR 。出处：§7.3.2 · p. 47

7.3.3 合并过程中的方法

• 合并过程中的方法通过基础、加权、子空间、基于路由和后校准等策略动态管理融合；基础平均可能因未缓解的参数交互而产生任务干扰 [435]。加权方法包括 MetaGPT [452]、SLERP [432] 和 Layer-wise AdaMerging ；子空间方法包括 TIES-Merging 、DARE 和 Concrete ；路由方法包括 SMEAR [442]、Weight-Ensembling MoE 和 Twin-Merging ；Representation Surgery 则用于合并后的表征校正。出处：§7.3.3 · pp. 47–48

8 数据集

• 训练后数据集分为人工标注、蒸馏和合成三类，可单独或组合使用，以在 SFT 和 RLHF 中平衡可扩展性、成本与性能。Table 9 汇总了这些数据集的来源、规模、语言、任务和训练后阶段。出处：§8 · p. 48, Table 9 · p. 49

8.1 人工标注数据集

• 人工标注数据集为指令微调和偏好对齐提供准确且结合上下文的信号，但标注一致性、可扩展性、偏见和领域覆盖仍是局限。这类数据集通过提示—回答对支持 SFT，并通过对有用性、无害性、质量和用户偏好的评估支持 RLHF。出处：§8.1 · pp. 48, 50

8.2 蒸馏数据集

• 蒸馏数据集将真实交互或人机比较压缩为高效的 RLHF 资源，其中包括 ShareGPT 的约 90,000 段对话，以及 HC3 的 161,000 组问答对。ShareGPT 收录自然对话；HC3 则对比 ChatGPT 与人类在开放式问题、金融、医学、法律和心理学领域的回答。出处：§8.2 · pp. 50–51

8.3 合成数据集

• 合成数据集利用 LLM 生成、自我指令、自我对话和真实用户交互数据，扩展 SFT 指令与对话训练；示例规模从 Self-Instruct-52K 到超过 12 million 条记录的 UltraChat。这些方法通过自动生成和筛选，扩大任务、语言和对话覆盖范围。出处：§8.3 · pp. 51–52
• 合成数据可降低成本、提升可扩展性和隐私保护，但也可能牺牲深度与真实性，并传播偏见或模型错误，因此需要与人工生成数据结合。随着合成语料扩展，仍需进行质量保障、复杂度校准和偏见缓解。出处：§8.3 · pp. 51–52

9.1 专业领域

• 后训练赋予法律、医疗和金融模型领域专业知识，提升其专业推理能力和术语识别能力，以胜任诊断、预测和法律辅助等专业任务。LawGPT 和 Lawyer-LLaMA 等法律助手可支持法学任务；ChatMed 、PULSE 、FinGPT [512]、DISC-FinLLM [513] 和 XuanYuan 则展现了领域专用能力的提升。出处：§9.1 · pp. 52–53

9.2 技术与逻辑推理

• 后训练通过专门数据、监督微调、强化学习和结构化思维链，提升数学推理和代码生成能力。DeepSeekMath [64] 使用 SFT 和 GRPO [64]；OpenAI 的 o1 [41] 改进多步推理与编程能力；Codex 和 Code Llama [384] 则支持软件开发工作流。出处：§9.2 · pp. 53–54

9.3 理解与交互

• 经过后训练的 LLM 可通过整合情感信息、多模态输入和视觉—时间数据，支持个性化推荐、自然语音交互以及视频理解或生成。LLaRA 和 AgentRec 支持对话式推荐；Whisper 和 GPT-4o 推进语音应用；Video-LLaMA [341] 和 Sora 拓展视频能力，同时也带来可扩展性、隐私和治理方面的顾虑。出处：§9.3 · p. 54

超越大规模 RL 的推理能力提升

• 提升推理能力需要探索大规模 RL 之外的替代方案，使模型能够超越基准测试中的多步任务，进行开放式科学推理和策略推理。结合自监督一致性检查与领域专属先验的多目标 RL，有望减少对穷尽式人工反馈的依赖 [545]。出处：§10 · p. 55

面向下一代 LLM 的后训练可扩展性

• 后训练必须能够扩展至下一代模型，同时避免不可持续的计算需求，以免资源受限的研究者以及多模态或实时应用受到排斥。值得探索的方向包括轻量级 RL、联邦式后训练，以及能够保留推理能力和适应性的蒸馏 [547] [548]。出处：§10 · p. 55

RL 驱动模型的伦理对齐与偏见缓解

• RL 驱动的后训练必须缓解随文化而异的偏见，同时不牺牲实用性，也不在敏感应用中过度审查。公平性感知 RL、多方利益相关者偏好模型和对抗式去偏是可行方案 [550]。出处：§10 · p. 55

实现整体推理的无缝多模态整合

• 多模态后训练必须对齐文本、图像、音频及其他输入，以实现连贯的整体推理，同时应对数据异质性和综合语料稀缺的问题。统一的模态编码器、动态 RL 策略，以及 Magpie [481] 等多模态基准和合成数据集，有望弥补这一缺口。出处：§10 · pp. 55–56

语境自适应可信度框架

• 可信度应根据语境进行调整，动态平衡安全性与实用性，而非采用静态或过度严格的后训练目标。利用实时反馈和可解释安全指标开展语境感知 RL，为实现可适应的可靠性提供了路径 [551]。出处：§10 · p. 56

后训练创新的可及性与普及

• 后训练创新必须通过高效的开源工具、协作式模型共享，以及成本更低的数据和 RL 方法，让资源雄厚机构之外的群体也能使用。面向 RL 的可扩展 PEFT 适配方法 [92]，以及类似 Magpie [481] 的合成数据流水线，是推动技术普及的可行机制。出处：§10 · p. 56

创造性智能与 System 2 思维

• 未来的推理模型必须将 System 2 审慎思考与创造性智能结合起来，从而提出新颖想法、综合跨领域概念并灵活解决问题，迈向 AGI。这一前沿方向对艺术创作、科学发现和战略创新尤为重要 [552]。出处：§10 · p. 56

• 本综述系统梳理了微调、对齐、推理、效率以及集成与适配在专业、技术和交互领域的应用。涵盖法律分析和多模态理解等应用。出处：§11 · p. 57
• 从早期对齐创新到复杂推理框架，PoLMs 提升了 LLM 的推理精度、领域适应性和伦理健全性。综述将这一演进定位于 ChatGPT 2018 年的对齐起点与 DeepSeek-R1 2025 年的推理里程碑之间。出处：§11 · p. 57
• 持续存在的挑战包括偏见残留、计算可扩展性，以及因情境而异的伦理对齐。这些局限也提醒我们，PoLM 技术带来的能力提升虽显著，却并非没有边界。出处：§11 · p. 57
• 本综述提出的新颖分类体系支持综合性路径，将推理进展与效率和伦理要求相结合。这一框架汇总了近期 PoLM 进展，并串联起主要技术范式。出处：§11 · p. 57
• 未来进展有赖于跨学科协作、严格的方法评估，以及自适应、可扩展的框架，从而开发可靠且负责任的 LLM。这一方向旨在提升不断演变的科学与社会应用中的精度、伦理稳健性和多面性。出处：§11 · p. 57