PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

Delta-Adapter: Scalable Exemplar-Based Image Editing with Single-Pair Supervision

Jiacheng Chen, Songze Li, Han Fu, Baoquan Zhao, Wei Liu, Yanyan Liang, Li Qing, Xudong Mao

arXiv:2605.07940v1cs.CV

TL;DR

Exemplar 기반 이미지 편집은 일반적으로 정렬된 이미지 쌍 두 개가 필요해 대규모 학습 데이터를 구축하기 어렵다. Delta-Adapter는 exemplar 쌍 하나에서 semantic delta를 학습해 편집 모델에 주입하며, 네 가지 기준선보다 기존 및 미관측 작업에서 더 높은 성능을 보인다.

  • 문제

    기존 exemplar 기반 편집 방법은 정렬된 이미지 쌍 두 개가 필요해 학습 데이터 구축이 어렵고 모델 학습의 확장성을 제한한다.

    출처: §4.1 · p. 3

  • 방법

    Delta-Adapter는 텍스트 안내 없이, 편집된 이미지를 직접 노출하지 않고, exemplar 쌍 하나에서 vision encoder가 추출한 semantic delta를 사전 학습된 편집 모델의 조건으로 사용한다.

    출처: §1 · p. 2, §4.1 · p. 3

  • 결과

    미관측 작업에서 Delta-Adapter는 GPT-A 점수 4.008을 기록해 RelationAdapter의 2.884보다 높았으며, 기존 및 미관측 작업 전반에서 기준선보다 우수했다.

    출처: §1 · p. 2, §5.2 · p. 8, §6 · p. 9

  • 시사점 및 한계

    단일 쌍 supervision으로 기존 대규모 편집 데이터셋을 활용해 학습할 수 있으며, 까다로운 미관측 exemplar에 대해 테스트 시점 적응도 가능하다.

    출처: §1 · p. 2

    semantic-delta consistency loss가 신뢰할 수 있는 특징 추출을 위해 첫 번째 denoising 단계에서 복원된 denoised latent가 충분히 선명해야 한다는 점에 의존한다.

    출처: §4.4 · p. 6

Abstract

from arXiv · show

Exemplar-based image editing applies a transformation defined by a source-target image pair to a new query image. Existing methods rely on a pair-of-pairs supervision paradigm, requiring two image pairs sharing the same edit semantics to learn the target transformation. This constraint makes training data difficult to curate at scale and limits generalization across diverse edit types. We propose Delta-Adapter, a method that learns transferable editing semantics under single-pair supervision, requiring no textual guidance. Rather than directly exposing the exemplar pair to the model, we leverage a pre-trained vision encoder to extract a semantic delta that encodes the visual transformation between the two images. This semantic delta is injected into a pre-trained image editing model via a Perceiver-based adapter. Since the target image is never directly visible to the model, it can serve as the prediction target, enabling single-pair supervision without requiring additional exemplar pairs. This formulation allows us to leverage existing large-scale editing datasets for training. To further promote faithful transformation transfer, we introduce a semantic delta consistency loss that aligns the semantic change of the generated output with the ground-truth semantic delta extracted from the exemplar pair. Extensive experiments demonstrate that Delta-Adapter consistently improves both editing accuracy and content consistency over four strong baselines on seen editing tasks, while also generalizing more effectively to unseen editing tasks. Code will be available at https://delta-adapter.github.io.

1 서론

Delta-Adapter는 텍스트 안내 없이 단일 이미지 쌍으로부터 전이 가능한 편집 의미를 학습해 pair-of-pairs exemplar 기반 편집의 한계를 해결한다. 사전 학습된 vision encoder로 semantic delta를 추출하고 Perceiver 기반 adapter를 통해 주입해, 편집 정확도와 콘텐츠 일관성을 높이고 다양한 편집 작업에 대한 일반화 성능을 개선한다.

동기

  • Exemplar 기반 편집은 소스/타깃 이미지 쌍으로 변환을 표현하므로, 미묘한 외관 변화와 편집 범위를 말로 정확히 설명해야 하는 어려움을 피할 수 있다.이 패러다임은 image analogy라고도 한다.출처: §1 · p. 2

문제

  • 기존 방법은 pair-of-pairs supervision을 사용하며, 새로운 쿼리 쌍의 타깃을 예측하려면 편집 의미를 공유하는 두 개의 밀접하게 대응된 이미지 쌍이 필요하다.쌍 사이의 통제되지 않은 차이 때문에 의도한 편집을 분리하기 어려울 수 있다.출처: §1 · p. 2

방법

  • Delta-Adapter는 시각적 변환을 semantic delta로 인코딩해 텍스트 안내 없이 single-pair supervision으로 전이 가능한 편집 의미를 학습한다.delta는 사전 학습된 vision encoder를 사용해 하나의 exemplar 쌍에서 계산하고, Perceiver 기반 adapter를 통해 사전 학습된 이미지 편집 모델에 주입한다.출처: §1 · p. 2

실용적 장점

  • 개별 소스/타깃 쌍으로 학습하면 기존 대규모 편집 데이터셋을 직접 활용할 수 있어 편집 유형의 다양성이 커지고 미관측 편집에 대한 일반화 성능이 향상된다.단일 쌍 정식화는 까다로운 미관측 exemplar에 대한 효율적인 테스트 시점 적응도 가능하게 한다.출처: §1 · p. 2

결과

  • 다양한 편집 작업에서 Delta-Adapter는 편집 정확도, 콘텐츠 일관성, 미관측 편집에 대한 일반화 성능 면에서 네 가지 강력한 기준 방법보다 우수하다.테스트 시점 적응은 미관측 작업에서 성능을 추가로 크게 향상한다.출처: §1 · p. 2

2 관련 연구

관련 연구는 다양한 조건 신호를 사용하는 diffusion 기반 이미지 편집과 이미지 쌍에서 변환을 학습하는 exemplar 기반 방법을 아우른다. exemplar 기반 접근법에는 이미지 쌍이 정의하는 변환을 표현하도록 파라미터를 조정하는 최적화 기반 방법이 포함된다.

Diffusion 기반 이미지 편집

  • Diffusion 모델은 고품질 이미지 생성과 편집을 주도하며, 텍스트, 마스크, 구조 정보, 참조 이미지를 조건 신호로 사용한다.텍스트는 유연한 의미적 제어를 제공하고, 마스크는 편집 영역을 지정하며, 기하학적 단서는 공간적 충실도를 높인다.출처: §2 · pp. 2–3
  • 참조 유도 방법은 참조 이미지의 외관, 정체성 또는 스타일을 대상 이미지로 전달한다.이 방법은 편집 위치 지정과 구조에 초점을 둔 방법을 보완하는 조건화 전략을 제공한다.출처: §2 · p. 3

Exemplar 기반 이미지 편집

  • Exemplar 기반 편집은 이미지 쌍에서 시각적 변환을 학습하며, 고전적인 이미지 유추 프레임워크를 대규모 생성 모델로 확장한다.최근 diffusion 기반 접근법은 추론 시 exemplar 쌍을 사용하는 방식에 따라 분류된다.출처: §2 · p. 3
  • 최적화 기반 exemplar 방법은 이미지 쌍이 정의하는 변환을 표현하도록 학습 가능한 파라미터를 조정한다.이는 추론 시 exemplar 쌍을 사용하는 방식에 따라 구분되는 diffusion 기반 exemplar 편집 접근법의 큰 범주 중 하나다.출처: §2 · p. 3

3 사전 지식

이 방법은 잠재 공간에서 이미지 생성을 Rectified Flow로 모델링하는 FLUX를 기반으로 한다. Rectified Flow는 학습 중 속도 네트워크가 일정한 궤적 속도를 예측하도록 하면서 깨끗한 잠재 표현과 잡음 잠재 표현을 선형 보간한다.

Rectified Flow

  • Rectified Flow는 깨끗한 이미지 잠재 표현 z0와 가우시안 잡음 잠재 표현 z1 ∼ N(0, I)를 t ∈ [0, 1]에서 zt = (1 − t)z0 + tz1로 보간한다.출처: §3 · p. 3
  • 속도 네트워크 vθ는 잡음이 섞인 잠재 표현 zt, 시간 단계 t, 텍스트 프롬프트 c를 입력받아 z1 − z0를 예측하며, 예측된 속도로부터 거친 깨끗한 잠재 표현 추정치를 복원할 수 있다.출처: §3 · p. 3

4 방법

Delta-Adapter는 타깃 이미지를 직접 노출하는 대신 의미 변환 델타를 조건으로 사용해 단일 소스-타깃 쌍으로부터 예시 기반 이미지 편집을 학습한다. Perceiver 기반 어댑터는 이 델타를 고정된 편집 백본에 주입하며, flow matching 및 의미 일관성 손실로 재구성과 편집 방향을 감독한다.

단일 쌍 정식화

  • 예시 쌍 {a, a′}에서 모델은 a →a′의 변환을 semantic delta로 추출하고, 텍스트 안내 없이 이를 보지 못한 쿼리 이미지에 적용한다.모델은 (a, ∆a→a′)를 입력으로 받아 a′를 재구성하므로, 각 단일 쌍이 스스로를 감독하는 데 쓰인다.출처: §4.1 · pp. 3–4

학습 목적 함수

  • 학습 목적 함수는 flow matching 재구성과 semantic delta consistency를 결합해 생성된 편집 방향을 정답 변환에 맞춘다.일관성 항은 패치 가중 코사인 거리를 사용하며, 정답 semantic delta의 크기가 큰 영역에 더 큰 비중을 둔다. L = Lflow + λsdc Lsdc.출처: §4.1 · p. 4, §4.4 · pp. 5–6

시맨틱 델타 추출

  • 패치 수준 SigLIP 특징은 차분 전에 layer normalization을 거친 뒤, 게이트가 0에서 시작하는 gated residual projection으로 정제된다.Layer normalization은 인스턴스 수준의 크기 변동을 억제하면서 방향성 특징 변화를 보존하고, 학습 가능한 제한 게이트는 잔차 보정을 점진적으로 반영한다.출처: §4.2 · pp. 4–5

델타-토큰 어댑터

  • 정제된 델타는 Perceiver resampler와 토큰별 affine projection을 통해 고정 길이 편집 토큰으로 변환되어, 국소적 편집 정보와 관계 정보를 보존한다.각 잠재 토큰에는 고유한 projection ei = Wi ri + bi가 적용되어 편집의 서로 다른 측면을 특화할 수 있다.출처: §4.3 · p. 5

백본 주입

  • 편집 토큰은 학습 가능한 잔차 주입을 사용하는 분리형 cross-attention 분기를 통해 모든 DiT 블록에 입력되며, 백본 가중치는 고정된 상태로 유지된다.델타 측 projection과 그에 앞선 projection 계층만 최적화된다.출처: §4.3 · p. 5

5 실험

실험 결과, Delta-Adapter는 query 이미지의 콘텐츠를 보존하면서 exemplar의 편집 의미를 전이하며, 기존 및 미관측 태스크에서 기준 방법보다 우수한 성능을 보인다. 또한 연속적인 편집 제어와 어려운 미관측 쌍에 대한 효과적인 테스트 시점 적응을 지원한다.

평가 프로토콜

  • LPIPS, CLIP-I, GPT-C, GPT-A를 사용해 지각적 유사성, 의미 정렬, 콘텐츠 일관성, 편집 정확도를 평가한다.GPT-C와 GPT-A는 5점 척도를 사용한다.출처: §5.1 · p. 6

정성적 평가

  • 정성적 비교에서 Delta-Adapter는 exemplar의 편집 의미를 더 충실하게 포착하면서 query 이미지의 구조와 정체성을 더 잘 보존한다.출처: §5.2 · p. 7, Figure 3 · p. 7

연속적 이미지 편집

  • Delta-Adapter는 분리된 cross-attention 주입 강도 λca를 조절해 연속적인 이미지 편집을 가능하게 한다.RelationAdapter와 같은 전체 exemplar 쌍을 사용하는 방법과 달리 편집 신호만 주입하므로 이러한 제어가 가능하다.출처: §5.2 · p. 7, Figure 5 · p. 9

정량적 평가

  • LoRWeB에서 자주 나타나는 거의 동일한 출력은 제외하면, Delta-Adapter는 모든 기준 방법보다 편집 정확도와 콘텐츠 일관성이 우수하다.LoRWeB는 일관성 점수가 가장 높지만, 편집 실패가 잦아 편집 정확도는 상당히 낮다.출처: §5.2 · p. 8, Table 1 · p. 8

테스트 시점 적응

  • 테스트 시점 적응을 20 gradient steps 수행하면 어려운 미관측 exemplar의 성능이 크게 향상되어, 거친 편집 결과가 지정된 변환을 충실히 반영하는 출력으로 바뀐다.출처: §5.2 · pp. 8–9, Figure 6 · p. 9

6 결론 및 한계

Delta-Adapter는 편집된 이미지를 조건으로 사용하지 않고 semantic delta를 조건으로 삼아, 텍스트 안내 없이 단일 쌍 감독으로 exemplar 기반 이미지 편집을 수행한다. 학습 중 쌍을 이룬 예시 이미지가 필요하지 않으며, 관찰된 편집 과제와 관찰되지 않은 편집 과제에서 강력한 기준선 네 가지보다 우수한 성능을 보인다.

결론

  • Delta-Adapter는 텍스트 안내 없이 단일 쌍 감독으로 exemplar 기반 이미지 편집을 수행한다.이 프레임워크는 편집된 이미지를 직접 조건으로 사용하는 대신 semantic delta를 조건으로 삼는다.출처: §6 · p. 9
  • semantic delta를 조건으로 사용하면 학습 중 쌍을 이룬 예시 이미지가 필요하지 않아, 데이터 수집을 확장하고 테스트 시점에 적응할 수 있다.출처: §6 · p. 9
  • Delta-Adapter는 관찰된 편집 과제와 관찰되지 않은 편집 과제 모두에서 강력한 기준선 네 가지보다 우수한 성능을 달성한다.출처: §6 · p. 9

A 구현 세부사항

Delta-Adapter는 FLUX.2-klein-4B2, SigLIP-2 이미지 인코딩, Perceiver-resampler adapter를 기반으로 하며 약 백만 개의 이미지 쌍으로 학습한다. 베이스라인은 공식 체크포인트를 사용하거나 재학습 프로토콜을 따르고, 텍스트 지시가 필요한 방법에는 텍스트 지시를 생성한다.

제안 방법

  • Delta-Adapter는 FLUX.2-klein-4B2, SigLIP-2, 128개의 학습 가능한 쿼리를 사용하는 Perceiver resampler를 사용한다.학습에는 bfloat16 정밀도에서 lr = 1 × 10−4, weight decay = 0.01, β1 = 0.9, β2 = 0.99로 설정한 AdamW를 사용한다.출처: A Implementation Details · p. 14
  • 전체 모델은 약 백만 개의 이미지 쌍으로 100K steps 동안 학습하며, 4× H200 GPU에서 GPU당 배치 크기 16을 사용한다.출처: A Implementation Details · p. 14

베이스라인

  • RelationAdapter, LoRWeB, VisualCloze는 공식 사전 학습 체크포인트와 기본 추론 설정을 사용하고, Edit Transfer는 Relation 데이터셋으로 재학습한다.이 베이스라인들은 예시 쌍과 함께 텍스트를 요구하므로, 각 평가 사례에 대해 GPT-5.4를 사용해 간결한 편집 설명을 생성한다.출처: A Implementation Details · p. 14

B 추가 정성적 결과

추가 정성적 결과는 까다로운 편집에서 Delta-Adapter의 성능을 보여 주고, 기존 및 미관측 편집 작업에서 기준 방법들과 비교한다.

추가 정성적 결과

  • Figures 7–9는 기존 및 미관측 편집 작업에서 까다로운 Delta-Adapter 편집 결과와 기준 방법들의 정성적 비교를 보여 준다.Figure 7은 더 폭넓은 까다로운 결과를 제시하고, Figures 8과 9는 각각 기존 작업과 미관측 작업에서의 비교를 다룬다.출처: B Additional Qualitative Results · p. 14

C 추가 정량 결과 · D 추가 베이스라인과의 비교 · E 실패 사례

추가 결과에 따르면 Delta-Adapter는 보지 않은 검증 세트에서 베이스라인보다 우수하며, 범용 멀티모달 모델은 예시 기반 편집에 어려움을 겪는다. 주요 한계는 세밀한 디테일, 특히 텍스트 콘텐츠와 예시 이미지의 문자 일관성을 보존하는 것이다.

C 추가 정량 결과

  • Delta-Adapter는 RelationAdapter의 보지 않은 검증 세트에서 편집 정확도와 콘텐츠 일관성 모두에서 모든 베이스라인보다 일관되게 우수하다.생성 이미지와 정답 이미지 간의 일관성 점수로 CLIP-I와 LPIPS를 사용해 평가한다.출처: C Additional Quantitative Results · p. 14
  • Delta-Adapter의 GPT-A 점수 4.077은 최고 성능 베이스라인인 RelationAdapter의 3.432보다 높다.이 점수는 보지 않은 검증 세트에서 보고되었다.출처: C Additional Quantitative Results · p. 14

D 추가 베이스라인과의 비교

E 실패 사례

  • Delta-Adapter는 다양한 편집 작업에 일반화되지만, 세밀한 시각적 디테일, 특히 텍스트 콘텐츠를 보존하는 데 어려움을 겪을 수 있다.Figure 12에 대표적인 실패 사례가 제시되어 있다.출처: E Failure Cases · p. 14
  • 모델은 예시 쌍의 문자와 일치하지 않는 문자를 생성할 수 있다.이 한계는 사전 학습된 vision encoder가 세밀한 시각적 디테일을 충실히 포착하지 못하는 데 일부 기인한다.출처: E Failure Cases · pp. 14–15

F GPT 기반 평가 지표 세부 사항

평가에서는 네 개의 이미지 입력을 바탕으로 편집 결과의 편집 정확도와 콘텐츠 일관성을 GPT-5.4로 점수화한다. 변환의 충실도와 편집되지 않은 쿼리 이미지 콘텐츠의 보존 여부를 평가한다.

G 사람 선호도 평가 · H 사회적 영향 · I 사전 학습 모델 및 데이터셋 라이선스

이 논문은 쌍별 사람 선호도 평가를 통해 Delta-Adapter를 평가하고, 활용 분야와 오용 위험을 논의하며, 사전 학습 모델과 데이터셋의 라이선스를 기록한다. 추가 정성적 결과와 비교, 실패 사례를 통해 변환 전이의 품질과 일반화 성능, 한계를 살펴본다.

G 사람 선호도 평가

  • 참여자는 각 기준 방법과 Delta-Adapter를 비교해, 편집되지 않은 쿼리 영역을 보존하면서 예시 변환을 더 잘 전이하는 편집 결과를 선택한다.이 연구에서는 768개의 판단을 수집한다.출처: G Human Preference Evaluation · p. 15

H 사회적 영향

  • Delta-Adapter는 텍스트 지시 없이 예시 쌍에 기반한 편집을 지원하여 콘텐츠 제작, 예술적 탐색, 시각적 프로토타이핑에 활용될 수 있다.시각 정보만 사용하는 방식은 예시 기반 편집의 진입 장벽을 낮춘다.출처: H Societal Impact · p. 15
  • 이 방법은 오해를 유발하는 이미지를 만드는 데 악용될 수 있으므로, 합성 또는 편집 이미지의 신뢰할 수 있는 탐지와 책임 있는 배포 관행이 필요하다.본문은 오용을 완화하려면 탐지와 책임 있는 배포가 필요하다고 지적한다.출처: H Societal Impact · p. 15

I 사전 학습 모델 및 데이터셋 라이선스

  • 구현에는 FLUX.2 Community License에 따른 FLUX.2-klein-4B와 Apache 2.0 License에 따른 SigLIP-2가 사용된다.이는 논문에 명시된 사전 학습 모델의 라이선스다.출처: I Licenses for Pre-trained Models and… · p. 15
  • 학습에는 공개적으로 이용 가능한 Relation, Pico-Banana, NHR-Edit 이미지 쌍 데이터셋을 사용하며, 각 데이터셋 저자의 라이선스를 준수한다.평가 이미지는 이 데이터셋 또는 인용된 외부 출처에서 가져온다.출처: I Licenses for Pre-trained Models and… · p. 15
  • 추가 정성적 결과는 Delta-Adapter가 예시 쌍에서 변환을 추론해 보지 않은 쿼리 이미지에 적용하는 모습을 보여준다.그림에는 이 방법으로 생성한 추가 편집 결과가 제시된다.출처: Figure 7 · p. 16
  • 기존 및 미관측 편집 과제의 정성적 비교에서는 나열된 기준 방법보다 의미 변환을 더 충실히 수행하고 보존 또는 일반화 성능이 더 우수하다고 보고한다.기존 과제 비교에는 RelationAdapter, LoRWeB, Edit Transfer가 포함되며, 미관측 과제 비교에는 RelationAdapter, LoRWeB, VisualCloze가 포함된다.출처: Figure 8 · p. 17, Figure 9 · p. 18
  • Delta-Adapter는 정확한 텍스트 렌더링에 어려움을 겪어, 텍스트가 포함된 예시의 문자와 일치하지 않는 문자를 생성한다.이는 이 방법의 실패 사례로 제시된다.출처: Figure 12 · p. 20
Loading 2605.07940v1…