AI 摘要 · 由英文经 AI 翻译
DecFlowEdit: Self-Localized Flow-based Image Editing via Guidance Decoupling
Zheyuan Zhan, Can Wang, Jiawei Chen, Chun Chen, Siwei Lyu, Zeyu Zheng, Defang Chen
TL;DR
FlowEdit 中默认的 CFG 会导致背景泄漏；移除 CFG 虽能改善定位，却会削弱语义编辑能力。DecFlowEdit 从不使用 CFG 时的速度差中提取先验，并据此重新加权默认 CFG 更新。在三种基于流的骨干模型上，该方法提升了背景保持效果，相较 FlowEdit 将结构距离降低 61–73%。
问题
默认 CFG 的非对称设置会削弱未变化区域中源速度与目标速度的抵消，使残余更新泄漏到背景。
出处：§3 · p. 4方法
DecFlowEdit 将不使用 CFG 时的速度差聚合为空间先验，并用它重新加权默认 CFG 下的编辑更新。
出处：§1 · p. 2结果
在 FLUX、SD3 和 SD3.5 上，相较原始 FlowEdit，DecFlowEdit 将结构距离降低约 61–73%，CLIP 相似度则降低 2–3%。
出处：§5.2 · p. 6要点与局限
在三种基于流的骨干模型上，将定位与语义编辑分开可提升保持效果，同时更好地平衡语义保真度与结构保持。
出处：§6 · pp. 9–10时间聚合先验不太适用于全局风格变化，因为它可能依赖内容且分布不均，而非均匀覆盖整幅图像。
出处：G LIMITATIONS · p. 23
Abstract
from arXiv · showhide
Flow-based image editing (FlowEdit) enables inversion-free semantic changes through the difference between source and target velocities. In this paper, we observe that FlowEdit's default classifier-free guidance (CFG) configuration, with asymmetric source and target scales, causes substantial background leakage. Matching these guidance scales, for example by removing CFG, improves edit-relevant localization but severely degrades editability. To get the best of both worlds, we propose DecFlowEdit, which decouples the optimal guidance scales for localization and for editing in flow-based generative models. In particular, DecFlowEdit first extracts an edit-relevant prior by temporally aggregating velocity differences evaluated without CFG, and then uses this prior to reweight the original updates under default CFG. Our method remains training-free and inversion-free, requiring neither external spatial masks nor attention manipulation. Experiments on PIE-Bench across FLUX, SD3, and SD3.5 show that DecFlowEdit improves background preservation, reducing structure distance by approximately 61 to 73 percent and background LPIPS by 68 to 80 percent relative to FlowEdit at comparable editing fidelity.
1 引言
免训练图像编辑灵活性高，但需要在语义变化与保留编辑无关内容之间取得平衡。DecFlowEdit 将定位与编辑解耦：先在不使用 CFG 的情况下提取空间先验，再将其应用于默认 CFG 更新。
1 引言
- 免训练编辑使用预训练生成模型，无需针对特定任务进行优化，但更强的语义变化可能会改变预期编辑区域以外的内容。目标是在实现用户指定变化的同时保留编辑无关内容。出处：§1 · p. 1
- FlowEdit 无需反演或操纵注意力，但空间上全局的更新可能会在非编辑区域累积残余差异，导致背景泄漏。其速度差异通常在编辑相关区域更强，但在其他区域也可能存在。出处：§1 · p. 1
- 默认的非对称 CFG 会削弱未变化区域中源速度与目标速度之间的抵消；不使用 CFG 并匹配引导尺度虽能改善定位，却会削弱语义编辑效果。因此，有助于定位编辑的引导配置不同于能够实现有效编辑的配置。出处：§1 · p. 2
- DecFlowEdit 将不使用 CFG 时的速度差异聚合为一个空间先验，再利用该先验对默认 CFG 更新重新加权。该方法无需训练、反演、外部掩码或注意力操纵；Figure 1 对比了编辑效果与内容保留情况。出处：§1 · p. 2, Figure 1 · p. 2
2 相关工作
以往免训练编辑方法通过反演、内部注意力或特征干预，或显式空间定位来保留内容。DecFlowEdit 则从 FlowEdit 的速度差中提取定位信息，并据此约束编辑。
2 相关工作
- 反演与再生成方法先将源图像映射为噪声，再在目标条件下重新生成；注意力和特征干预则将源图像信息注入生成过程。后者需要访问模型内部架构，还可能增加推理复杂度。出处：§2 · pp. 2–3
- 注意力和特征干预对层与时间步的选择较为敏感，会增加实现和推理开销，还需要针对特定骨干网络重新设计。当保留的模式与目标语义相冲突时，较大的源图像与目标图像语义差距也可能引入伪影。出处：§2 · p. 3
- FlowEdit 基于目标条件与源条件下的速度差构建无需反演的路径，但默认 CFG 可能使更新扩散到预期区域之外。DecFlowEdit 利用定位更准确的无 CFG 响应形成先验，以约束默认 CFG 下的更新。出处：§2 · p. 3
- 定位方法会使用注意力图、用户掩码、分割模型或预测差异；基于预测的掩码可能不稳定，而 DecFlowEdit 会沿时间维度聚合 FlowEdit 响应。由此得到的软先验无需操纵注意力、外部分割或用户提供的掩码，即可实现空间控制。出处：§2 · p. 3
3 背景
Flow matching 将生成表示为由条件速度场引导的轨迹。FlowEdit 使用成对的源状态和目标状态，并对二者的速度差进行积分，从而避免反演；但 CFG 的设置可能会在未改变区域留下残余更新。
3 背景
- Flow matching 学习随时间变化的条件速度场，使数据样本沿线性插值轨迹趋向一个先验，通常是标准高斯分布。该场通过预测先验样本与数据样本之差进行训练。出处：§3 · p. 3
- 反演与再生成方法将源图像映射到共享噪声潜变量，再根据目标提示词从中重新生成，但可能大幅改变图像细节。共享潜变量只能提供粗略的结构控制。出处：§3 · pp. 3–4
- FlowEdit 在每个时间步将源状态与目标状态配对，并对二者条件速度之差进行积分，形成直接、无需反演的编辑路径。共享噪声有助于抵消未改变区域中的相似响应，从而保留源图像内容。出处：§3 · p. 4
- 强非对称 CFG 可能导致未改变区域中的源图像与目标图像响应不匹配，削弱抵消效果，并使残余更新泄漏到背景。Figure 2 展示了在 w/o CFG 和默认 CFG 设置下，速度差图及编辑结果的对比。出处：§3 · p. 4, Figure 2 · p. 4
4 方法
DecFlowEdit 将用于定位编辑区域的引导与用于实现语义变化的引导分离。它在不使用 CFG 的条件下提取软空间先验，并将该先验应用于默认 CFG 更新。
4 方法
- 该方法先考察 CFG 对定位和编辑的不同影响，再在不使用 CFG 的条件下提取先验，并用它约束默认 CFG 更新。该方法包括先验提取和先验引导编辑两个阶段。出处：§4 · p. 4
4.1 将定位与编辑解耦
- 不使用 CFG 时，速度差异集中在山羊上，但几乎不会改变图像；默认 CFG 会将山羊替换为马，但也会改变邻近的猫。先验引导编辑结合局部化响应与默认 CFG 的强度，在替换山羊的同时保留猫及其他区域。出处：§4.1 · p. 5
4.2 不使用 CFG 提取先验
- 先验阶段聚合采样调度中段的不使用 CFG 速度差异，计算其范数，对能量图进行平滑，并将响应转换为软空间先验。采样步数约为原来的四分之一的调度方案，在 FLUX、SD3 和 SD3.5 上取得了相近的编辑与保留效果。出处：§4.2 · p. 5
4.3 使用默认 CFG 进行先验引导编辑
- 编辑阶段在默认 CFG 下重新计算速度差异，并在每一步应用同一空间先验：在编辑区域内保留较大的更新，在区域外抑制较小的更新。空间权重沿通道维度广播，并在每次 FlowEdit 更新之前应用。出处：§4.3 · pp. 5–6
5 实验
在三种骨干模型上，DecFlowEdit 比 FlowEdit 更能保留背景；实验也表明，不同 guidance 设置分别更适合定位或语义编辑。对速度差异和空间先验的比较进一步揭示了这种分离的作用机制及其效果范围。
5.1 实验设置
- PIE-Bench 评估使用 700 个样本，并报告结构、背景保留和基于 CLIP 的保真度指标，同时在 FLUX、SD3 和 SD3.5 上进行受控的 FlowEdit 对比。先验使用 w/o CFG (1, 1)，编辑则采用默认 CFG；软先验的阈值为 τ = 0.55，平滑度为 s = 0.08。出处：§5.1 · p. 6
5.2 PIE-Bench 主要结果
- 在 FLUX、SD3 和 SD3.5 上，DecFlowEdit 相较于原始 FlowEdit 将结构距离降低约 61–73%。背景保留能力提升的同时，CLIP 相似度降低 2–3%；仅用四分之一长度进行先验提取，仍能较好保留内容，并保持有竞争力的文本对齐效果。出处：§5.2 · p. 6, Table 1 · p. 7
5.3 CFG 对定位和编辑的影响
- 不使用 CFG 时 IoU 最高、CLIP 最低；使用默认 CFG 时 CLIP 最高、IoU 最低。与默认 CFG 提取的先验相比，不使用 CFG 提取的先验可将背景 LPIPS 降低约 39–50%；编辑区域的 CLIP 差异小于 0.13%。出处：§5.3 · p. 7
5.4 理解依赖 guidance 的定位机制
- 在 FLUX 上，非编辑/编辑速度幅值比在不使用 CFG 时为 0.5175，在使用默认 CFG 时为 0.8007；时间 Cos 间隔分别为 0.12740 vs. 0.04984。空间比值表明，不使用 CFG 时编辑区域与非编辑区域的对比更明显；较大的时间 Cos 间隔则意味着对编辑区域差异的保留更具选择性。出处：§5.4 · pp. 8–9
5.5 空间先验比较
- 与其他内部定位方法相比，DecFlowEdit 的先验具有更高的 IoU、更低的背景 LPIPS 和结构距离，且编辑区域 CLIP 表现有竞争力。与 Auto VLM→SAM3 相比，尽管掩码 IoU 较低，但在背景 LPIPS 相近时，DecFlowEdit 的编辑区域 CLIP 更高、结构距离更低。出处：§5.5 · p. 9
6 结论
DecFlowEdit 将空间定位与语义编辑分离，从而提升基于流的图像编辑中的空间控制能力。作者在三种基于流的骨干模型上报告称，该方法能更好地平衡语义保真度与结构保留。
6 结论
- DecFlowEdit 无需训练或反演，即可提升基于流的图像编辑中的空间控制能力。该方法不修改底层生成模型，也不需要额外监督。出处：§6 · pp. 9–10
- 无 CFG 更利于空间定位，而默认 CFG 更利于有效的语义编辑。DecFlowEdit 利用这一区别，更好地保留与编辑无关的内容。出处：§6 · p. 9
- 在三种基于流的骨干模型上，这种分离带来了更可靠的编辑轨迹，并更好地平衡了语义保真度与结构保留。作者指出，基于流的编辑器内部动态可提供有用的空间信号，以控制编辑过程。出处：§6 · p. 10
A 指导依赖的定位补充分析
附录解释了为何指导不匹配会在未改变区域留下残余速度更新，并测量指导对空间和时间对比度的影响。在三个骨干模型上，不使用 CFG 可带来更清晰的编辑／非编辑区域幅值对比；在 FLUX 上，它还带来更大的时间方向差异和抵消差异。
A.1 指导依赖定位的直观解释
- 默认 CFG 可能会在未改变的对象上留下残余速度差异，因为源和目标的指导强度不对称，即使语义相同，也会产生不同响应。成对状态共享采样噪声；当编辑状态在非编辑区域仍接近源状态时，共同内容分量可以部分抵消。出处：§A.1 · p. 12
A.2 单步内空间对比
- 在 FLUX 上，从不使用 CFG 切换到默认 CFG 后，R 从 0.5175 升至 0.8007；在 SD3 上从 0.5985 升至 0.8334；在 SD3.5 上从 0.5903 升至 0.8409。默认 CFG 下，样本平均 Rt 在每个实际更新步都更高：FLUX 为 24/24，两个 SD 骨干模型各为 33/33。出处：§A.2 · p. 13
A.3 时间方向对比
- 在 FLUX 上，对于 Cos（0.12740 vs. 0.04984）和 TCR（0.08470 vs. 0.03135），不使用 CFG 时的编辑／非编辑区域差距均大于默认 CFG。这些差距表明，向量聚合后的方向一致性和保留幅值具有更强的区域对比度，支持使用不带 CFG 的结果提取先验。出处：§A.3 · p. 13, Table 3 · p. 13
B 掩码提取基线
附录比较了用于 FLUX 编辑的定位掩码基线，包括速度分歧图、注意力派生掩码，以及外部 VLM-to-segmentation 流程。附录还详细说明了阈值选择，以及对空掩码的评估处理。
掩码信号与阈值设定
- DiffEdit-Single 和 DiffEdit-Multi 分别采用单步和多步源–目标速度分歧；所提出的先验则聚合与其编辑算子对齐的 FlowEdit 速度差。在 556 个局部任务上，阈值 0.5 时，两个 FLUX DiffEdit 变体的 IoU 分别为 0.0702 和 0.1228；τ = 0.15 时，其 IoU 分别为 0.3368 和 0.3615。出处：B MASK EXTRACTION BASELINES · pp. 14–15
基于注意力的掩码
- 附录纳入了 Prompt-to-Prompt 和 MasaCtrl 的基于注意力的掩码：它们聚合选定 token 的注意力图，并应用各自特定的阈值。Prompt-to-Prompt 导出 LocalBlend 的硬掩码；MasaCtrl 风格的 FLUX 掩码则来自双流 Transformer 块中的联合注意力图。出处：B MASK EXTRACTION BASELINES · pp. 14–15
外部分割基线
- Auto VLM→SAM3 生成用于分割的源侧对象或部件短语，并保留实例概率供后续编辑使用。当 SAM3 返回的实例中没有置信度高于 0.5 的实例时，评估采用全 1 权重图；分割和编辑使用不同的掩码处理方式。出处：Figure 6 · p. 14, B MASK EXTRACTION BASELINES · p. 15
C 实现细节
附录说明了实现设置，并考察空间重加权和先验参数对编辑效果与保真度的影响。在编辑区域 CLIP 相近时，空间重加权的背景 LPIPS 优于均匀缩放；阈值的选择则需要权衡语义变化与保真度。
C 实现细节
- 先验提取阶段使用 w/o CFG (1, 1)，先验引导编辑则使用默认 CFG 和特定于骨干网络的调度；完整提取的计算成本约为单次 FlowEdit 编辑的 2×，短提取则为 1.25×。完整版本在两个阶段使用相同数量的采样步；Ours-short 的提取步数约为完整版本的四分之一。出处：C IMPLEMENTATION DETAILS · pp. 15–16
D 参数敏感性与编辑效果—保真度权衡
- 参数研究改变更新强度、先验阈值、软化程度和聚合窗口，以刻画编辑效果与保真度之间的权衡，而非追求某一设置下所有指标都达到最高。除非另有说明，实验使用 τ = 0.55 和 s = 0.08，先验引导编辑时采用默认 CFG。出处：D PARAMETER SENSITIVITY AND… · p. 16
D.1 空间重加权与均匀缩放的比较
- 当 λ = 1 时，空间重加权和均匀缩放都会还原为原始 FlowEdit；比较时控制变量是相近的 CLIP，而非相同的 λ。均匀缩放会衰减所有位置和通道，而空间重加权针对先验值较低的位置。出处：§D.1 · p. 16
- 在编辑区域 CLIP 相近时，空间重加权的背景 LPIPS 显著低于均匀缩小更新幅度。这表明，除了统一减弱编辑强度之外，空间选择性也有助于提升保真度。出处：§D.1 · p. 16, Figure 7 · p. 17
D.2 阈值：定位与后续编辑
- 在展示的阈值中，τ = 0.40 在三个骨干网络上都取得最高的掩码 IoU；随着 τ 增大，CLIP 和背景 LPIPS 均下降。作者将 τ = 0.55 作为偏重保真度的工作点，而非普适最优值。出处：§D.2 · p. 17
D.3 软化程度：二值掩码不变，编辑结果仍会变化
附录展示了即使二值掩码保持不变，软化程度仍会改变最终编辑结果；而测试的聚合窗口只带来较小的性能差异。此外，附录将真实掩码结果作为诊断性参考，并记录 CFG 设置和评估流程。
D.3 软化程度：二值掩码不变，编辑结果仍会变化
- 在 FLUX 扫描中，增大软化程度 s 会同时降低编辑区域的 CLIP 和背景 LPIPS，尽管阈值为 0.5 的二值掩码保持不变。当 τ = 0.55 时，s 从 0.04 到 0.16 的取值均得到相同的 IoU (0.4150)、precision (0.6130) 和 recall (0.6293)。出处：§D.3 · pp. 17–18, Figure 9 · p. 18
D.4 聚合窗口敏感性
- 测试的聚合窗口之间，定位和编辑效果差异较小，这表明不使用 CFG 的空间信号稳定，且对窗口选择具有鲁棒性。无论窗口设置如何，先验提取轨迹都会执行全部 24 次 FLUX 更新。出处：§D.4 · p. 19, Table 5 · p. 19
D.5 真实掩码诊断
- 使用真实掩码编辑会使 CLIP 从 22.71 降至 22.41；其保持效果分数是诊断性参考，而非公平的自动方法基线。真实掩码还用于定义背景评估区域，因此该变体具有 oracle 优势。出处：§D.5 · p. 19, Table 6 · p. 19
E CFG 配置：定位与编辑
- 直接编辑的 CFG 对比包括 w/o CFG (1, 1)、各骨干网络的默认引导设置及对称引导设置；生成图像时均未使用空间掩码。在每个骨干网络内，对比使用相同的输入图像和配对噪声采样。出处：§E.1 · p. 19, Table 7 · p. 20
E.1 实验设置
- 评估使用 556 个局部任务计算 IoU 和背景指标，而展示的 CLIP 和 SSIM 则基于 700 个任务。附录报告了 FLUX、SD3 和 SD3.5 在各自标准 FlowEdit 设置下的结果。出处：§E.1 · p. 20
E.2 FLUX 和 SD3.5 的补充结果
在不同 CFG 设置下，移除 CFG 可提升定位能力，但会削弱编辑效果；提取先验时不使用 CFG、编辑时采用默认 CFG，则能改善背景保真度。全局范数匹配无法恢复默认 CFG 下的编辑质量，多随机种子测试也显示保真度提升仍然有效。
E.2 FLUX 和 SD3.5 的补充结果
- 在 FLUX 和 SD3.5 上，不使用 CFG 时先验 IoU 最高，但编辑区域 CLIP 最低；默认 CFG 下 CLIP 最高、IoU 最低。提高对称引导强度会提升 CLIP，但降低 IoU。出处：Figure 10 · p. 20, §E.2 · p. 20
E.3 先验提取时 CFG 的影响
- 使用不含 CFG 的先验时，FLUX、SD3 和 SD3.5 上的背景 LPIPS 分别下降 50.0%、41.1% 和 39.4%；编辑区域 CLIP 分别变化 +0.013%、−0.121% 和 −0.103%。两种配置均使用默认 CFG 进行先验引导编辑，且采用相同的 556 个局部编辑任务。出处：Table 8 · p. 21, §E.3 · p. 21
E.4 逐步全局范数匹配
- 全局范数匹配使编辑区域 CLIP 高于不使用 CFG 的结果，但在全部三个骨干模型上仍低于默认 CFG；结构距离则更高。SD3 和 SD3.5 的四项背景指标也都变差，FLUX 的结果则不一；范数匹配后的编辑结果还出现严重模糊。出处：Table 9 · p. 21, §E.4 · pp. 21–22
F 多随机种子主要结果
- 在五个随机种子下，DecFlowEdit 相比 FlowEdit 持续改善背景和结构保真度，标准差较小，语义编辑指标也具有竞争力。重复实验采用 PIE-Bench 流程，并报告多次运行的均值和标准差。出处：Table 10 · p. 22, F MULTI-SEED MAIN RESULTS · p. 22
G 局限性
DecFlowEdit 对具有明确空间锚点的局部编辑最可靠；添加物体和全局风格编辑会给其定位先验带来挑战。额外的先验提取步骤也会增加推理时间。
G 局限性
- 当源图像中存在明确的编辑目标或空间锚点时，该方法对局部编辑最可靠。经时间聚合的速度差异可在该区域周围累积由编辑驱动的响应，从而形成选择性先验。出处：G LIMITATIONS · p. 22
- 添加物体的编辑通常在源图像中没有对应对象，因此先验可能扩散，或附着到语义相关的已有区域，而非新物体的预期位置。出处：G LIMITATIONS · pp. 22–23
- 全局风格变换超出该方法的适用范围，因为其先验依赖内容且分布不均；论文建议对需要全局一致性的变换使用原始 FlowEdit。出处：G LIMITATIONS · p. 23
- 额外的先验提取步骤需要约 2× 的采样步数；采用短采样调度时则需要 1.25×。该步骤无需训练、优化、外部分割或注意力操控。出处：G LIMITATIONS · p. 23
H 更广泛的影响
- 编辑能力的提升可能有助于创意生产和用户控制，但更可靠的工具也可能被滥用来制作具有欺骗性的视觉内容。出处：H BROADER IMPACT · p. 23
I 资产与许可
- 该工作既未引入新数据集，也未引入预训练生成模型；其发布的资产是带有复现说明的匿名化实现。出处：I ASSETS AND LICENSES · p. 24