Source-linked AI summary
Semantic Browsing: Controllable Diversity for Image Generation
Sara Dorfman, Maya Vishnevsky, Omer Dahary, Or Patashnik, Daniel Cohen-Or
TL;DR
Text-to-image 모델은 동일한 prompt에 대해 시각적으로 유사한 해석을 자주 생성해 의미 있는 탐색을 제한한다. 이 논문은 명시적 semantic decision을 통해 diversity를 유도하여, 각 출력이 구별되고 해석 가능한 대안을 나타내는 구조화된 gallery를 생성한다.
문제
Text-to-image 모델은 하나의 prompt에서 여러 개의 그럴듯한 출력을 원하는 사용자의 요구에도 불구하고, 샘플 간 semantic variation이 제한적인 경우가 많다.
방법
이 방법은 명시적 semantic constraint와 구조화된 branching을 사용해 의미 있는 variation axis를 따라 탐색 가능한 image gallery를 생성한다.
결과
최첨단 text-to-image 모델을 대상으로 한 실험에서 일관되고 상당한 diversity 개선과 해석 가능한 semantic alternative가 나타났다.
시사점 및 한계
생성된 출력은 구조화되고 탐색 가능한 semantic space를 이루며, 그 차이는 우연한 변동이 아니라 명시적이고 해석 가능하며 지속적이다.
시사점 및 한계
이렇게 얻은 semantic space는 generative model의 fidelity와 agent reasoning에 의존하며, 현재 VLM은 풍부하고 다양한 대안을 제안하는 능력이 여전히 제한적이다.
Abstract
from arXiv · showhide
Modern text-to-image models excel in visual fidelity and prompt adherence. However, this strict adherence comes at the cost of diversity: generated samples tend to collapse into a single visual interpretation. Existing methods to improve diversity produce outputs driven by incidental variations rather than meaningful design choices. This motivates a new variant of the diversity task where structure is enforced on the generated samples. We introduce a method for controlled diversity that enables Semantic Browsing, where users can navigate structured image galleries and experience creative exploration through a systematic traversal of meaningful, interpretable axes of variation. Achieving this level of semantic control requires a deep understanding of the scene. We exploit the fact that recent text-to-image models are trained on elaborated captions, effectively decoupling semantic decision-making from pixel generation. This enables a paradigm shift: instead of relying on stochastic variation within the text-to-image model, we induce diversity directly at the text level. By leveraging rich textual representations, we allow a Vision Language Model (VLM) to operate on the full scene context. To overcome the generic outputs typical of standard VLMs, we employ an agentic workflow that explicitly enforces structured variation attuned to the original prompt. We demonstrate that our method produces diverse and navigable design spaces where every variation corresponds to a specific, user-understandable semantic decision.
1 서론
이 논문은 통제된 semantic diversity의 한 형태인 Semantic Browsing을 소개한다. 이는 사용자가 stochastic difference가 아니라 의미 있고 해석 가능한 변형을 체계적으로 탐색하도록 한다. Agentic VLM workflow는 prompt를 그럴듯한 variation dimension으로 확장해, 변하지 않는 prompt 요소를 보존하면서 구조화된 image gallery를 구성한다.
- 1 서론: 일반적인 text-to-image sampling은 semantic variation이 제한적인 결과를 내는 경우가 많으며, prompt가 충분히 구체화되지 않았더라도 생성 결과가 동일한 high-level interpretation으로 수렴한다.샘플은 시각적으로 중요하지 않은 세부 사항만 다르거나 심각한 편향을 보일 수 있다 [Cohen et al. 2025].
- 1 서론: 기존 diversity 방법은 conditioning을 perturb하거나 sampling trajectory를 서로 밀어내거나 diverse subset을 선택하지만, 사용자가 얻는 변형을 명시적으로 통제하지는 않는다.따라서 샘플 간 차이는 의미 있게 지정된 design choice가 아니라 우연한 변형에 의해 결정된다 [Sadat et al. 2023; Um and Ye 2025; Corso et al. 2023; Dahary et al. 2026; Parmar et al. 2025].
- 1 서론: Semantic Browsing은 diversity를 우연히 출현하는 stochastic variation이 아니라, 해석 가능한 image attribute에 대한 명시적이고 사용자가 이해할 수 있는 변화로 정식화한다.예를 들어 object attribute, configuration, lighting, weather, background가 있으며, 그 밖의 prompt 요소는 보존한다.
- 1 서론: Agentic VLM workflow는 사용자 prompt를 풍부하게 만들고, 생성 이미지가 변할 수 있는 그럴듯하면서도 충분히 지정되지 않은 semantic dimension을 식별한다.이 dimension은 원래 prompt와 양립 가능한 대안적 semantic interpretation 또는 design choice를 나타낸다.
- 1 서론: 이 접근법에는 지정된 semantic은 정밀하게 변경하면서 수정되지 않은 image aspect는 모두 보존하는 fine-grained prompt control을 갖춘 image generator가 필요하다.이를 통해 gallery 간 차이가 의도된 semantic variation에서만 발생하도록 보장한다.
- 1 서론: 최신 text-to-image model을 대상으로 한 실험은 일관되고 큰 폭의 diversity 향상을 보이며, 통제된 semantic difference를 갖는 구조화된 gallery를 체계적으로 탐색할 수 있게 한다.각 gallery variation은 stochastic sampling이 아니라 명시적으로 지정된 semantic decision에 대응한다.
2 관련 연구
기존 연구는 guidance, sampling, prompt-level 방법 또는 creative exploration을 통해 다양성을 높이지만, prompt alignment를 희생하거나 추가 학습이 필요하거나 전역적 semantic structure가 부족한 경우가 많다. 이 연구는 대신 training-free hierarchical tree로 명시적 semantic 대안을 구성하고, 여러 agent를 사용해 하나의 결과로 수렴하기보다 해석을 탐색한다.
- Text-to-Image Generation에서의 Diversity: 기존 diversity 방법은 variety를 fidelity, computational cost 또는 reliability와 맞바꾼다. CFG는 diversity를 억제하고, Autoguidance는 separately trained weak model을 필요로 하며, lightweight 대안은 여전히 신뢰성이 낮다.최근 stage-wise 분석에서 CFG의 diversity suppression이 보고되었고 [Jin et al. 2025], Autoguidance는 unconditional model을 weaker variant로 대체한다 [Karras et al. 2024].
- Text-to-Image Generation에서의 Diversity: Conditioning 및 latent-level 방법은 sample variety를 높이지만 guidance를 완화하거나 semantic prompt level 아래에서 sampling을 조작하기 때문에 prompt alignment를 저하시킬 수 있다.CADS [Sadat et al. 2023]와 Guidance Interval [Kynkäänniemi et al. 2024]은 denoising 중 conditioning을 조절하는 반면, Particle Guidance [Corso et al. 2023]와 MinorityPrompt [Um and Ye 2025]는 latent-level 메커니즘을 사용한다.
- Text-to-Image Generation에서의 Diversity: PAG가 dataset dependence와 전역적인 prompt relationships의 부재를 보이는 것과 달리, 이 접근법은 training-free이며 hierarchical tree를 사용해 semantic diversity를 집합적으로 추론한다.PAG는 diverse sampling에 GFlowNets를 사용하는 반면 [Yun et al. 2025], 제안 시스템은 생성 이미지를 계층적으로 구성하고 여러 tree node에 걸쳐 추론한다.
- Creative Generation과 Exploration: object sub-categories를 탐색하거나 기존 concept를 재조합하는 기존 creative-generation 방법과 달리, 이 방법은 semantic space 내부에서 직접 creative alternatives를 탐색한다.ConceptLab [Richardson et al. 2024]과 adaptive negative prompting [Golan et al. 2025]은 creative sub-categories를 대상으로 하는 반면, 다른 방법들은 visual concept를 분해하고 병합해 영감을 얻는다 [Goldberg et al. 2026; Vinker et al. 2023].
- Controllable Generation을 위한 Multi-Agent Systems: 기존 multi-agent system이 prompt를 하나의 single best result를 향해 정제하는 것과 달리, 이 연구는 여러 agent를 사용해 해석을 탐색하고 이를 hierarchical tree로 구성한다.Maestro [Wan et al. 2025]와 PromptSculptor [Xiang et al. 2025]는 output을 정제해 intent alignment와 fidelity를 높이는 반면, 제안 workflow는 intent를 좁히기보다 exploration을 우선한다.
3 방법
이 방법은 프롬프트 해석을 구조화된 scene JSON의 계층적 트리로 표현하며, semantic constraint를 통해 탐색 가능하고 프롬프트에 충실한 변형을 만든다. Multi-agent workflow는 변경 가능한 세부 요소를 식별하고 semantic aspect로 조직하며, 다양한 refinement를 제안하고 개연성을 검증하는 과정을 반복해 트리를 확장한다.
- Scene Tree 표현: 이 방법은 프롬프트를 완전히 구체화된 scene 해석으로 확장하고, 노드가 구조화된 JSON scene 해석인 rooted tree를 구성한다.구조화된 표현은 객체, 속성, 전역 scene 속성을 세밀하게 제어할 수 있게 한다.
- Semantic Browsing: 각 edge는 하나의 semantic aspect를 구체화하는 atomic constraint를 적용하며, 모든 노드를 rendering하면 구조화된 Semantic Browsing을 위한 이미지 트리가 생성된다.이전에 고정된 constraint는 branch를 따라 보존되고, branching은 선택된 aspect의 대안적 실현을 탐색한다.
- 트리 요구사항: 한 노드의 children은 하나의 semantic aspect를 공유하고 의미 있게 달라야 하며, 프롬프트 및 선행 branch constraint와 논리적으로 일관되어야 한다.이 요구사항들은 함께 Semantic Structuring, Heterogeneity, Plausibility를 강제해 탐색 가능한 변형과 맥락에 대한 충실성을 균형 있게 유지한다.
- Multi-Agent Workflow: 이 workflow는 한 번에 하나의 노드를 확장한다. Context Analyst는 변경 가능한 세부 요소를 식별하고, Brainstormer는 이를 high-impact aspects로 묶으며, Decision Maker는 발산적 constraint를 정식화하고, Critic은 일관성을 검증한다.이 workflow는 현재 scene, 원래 프롬프트, 그리고 이전에 적용된 constraint의 순서화된 trajectory를 조건으로 새로운 branch를 만든다.
4 실험
Semantic Browsing은 이미지 품질과 prompt 정렬을 유지하면서 구조화된 다양성을 크게 향상시키며, semantic control은 rendering backbone 전반에서 효과적으로 유지된다. 또한 생성된 hierarchy가 의미적으로 타당하고 논리적으로 일관되며, specialized agent role에 의존한다는 점을 실험으로 확인했다.
- Model-Agnostic Design: 이 framework는 model-agnostic하다. FIBO module은 prompt enhancement와 scene refinement를 수행하고, FLUX.2는 최종 이미지를 성공적으로 rendering한다.이를 통해 semantic control과 underlying rendering backbone을 분리한다.
- 정성적 다양성: Semantic Browsing은 개별 entity의 세밀한 변화와 setting 및 mood의 총체적 변화를 생성하는 반면, baseline method는 하나의 mode로 수렴한다.구조화된 output은 ancestor node를 공유하는 triplet을 이루므로, 초기 branching decision이 서로 다르면서도 내부적으로 일관된 variation을 만든다.
- 정량적 비교: 3.34 Vendi Score와 0.61 DINO Similarity는 모든 baseline보다 우수한 다양성을 보이며, 6.52 Aesthetic Score는 comparable한 수준을 유지한다.이는 image quality를 희생하지 않고 Semantic Browsing이 semantic coverage를 확장함을 확인한다.
- 효율성과 사용자 연구: 추가된 agentic structure에도 불구하고 Semantic Browsing은 computational cost에서 baseline method와 경쟁력 있는 수준을 유지한다.baseline 비교당 무작위로 선택한 12개 prompt에 대해 25명의 participant가 head-to-head study를 수행하여, 네 가지 diversity method와 비교한 perceptual quality와 diversity를 평가했다.
- 계층적 구조: Hierarchical Consistency는 0.87/1.0에 도달하며, semantic distance는 tree graph distance가 증가할수록 커진다. 이는 인접 node가 관련성을 유지하고 먼 node일수록 더 크게 diverge함을 보여준다.이 결과는 논리적 연속성과 parent-child change가 한 번에 하나의 semantic aspect만 수정해야 한다는 요구를 검증한다.
- 절제 실험: Specialized agent role을 분리하면 overall diversity가 0.362에서 0.389로 증가하며, 7.2% relative improvement를 보이고 모든 edge distance에서 더 큰 DINO distance가 나타난다.Context Analyst를 제거하면 VQAScore는 0.90으로 유지되지만 plausibility가 크게 감소한다. Critic을 제거하면 VQAScore가 0.90에서 0.87로 낮아지고 semantic drift가 허용된다.
5 결론, 한계 및 향후 과제
이 논문은 semantic diversity를 stochastic variation이 아니라 명시적이고 해석 가능한 의사결정으로 규정하며, 구조화되고 탐색 가능한 이미지 대안 공간을 생성한다. 현재 범위는 generative model의 fidelity와 VLM diversity에 의해 제한되지만, 이 패러다임은 video, 3D, multimodal generation으로 확장될 수 있다.
- 명시적 semantic decision은 생성된 이미지 간 차이를 해석 가능하고 지속적으로 만들며, 우연한 변형의 모음이 아닌 구조화된 공간을 산출한다.
- multi-agent reasoning process는 상속된 semantic commitment를 유지하면서 under-specified prompt에 대한 여러 개연성 높은 해석을 탐색한다.
- 탐색되는 semantic space는 generative model이 세밀한 prompt modification을 충실하게 구현하는 능력에 좌우된다.
- Modern VLM은 일관성과 개연성을 유지하지만 풍부하고 다양한 semantic alternative를 제안하는 능력에는 여전히 한계가 있어, 탐색의 폭을 제한한다.
- 구조화된 semantic exploration은 image를 넘어 video, 3D content, multimodal generation으로 확장될 수 있으며, 일관되고 탐색 가능한 대안 공간을 가능하게 한다.
부록 · A Baselines
부록에서는 동일한 FIBO generation model과 설정별 hyperparameter optimization으로 구현한 baseline과 비교해 이 접근법을 평가한다. 이 baseline들은 stochastic seeding, post-hoc selection, high-temperature sampling, generator-level diversity intervention을 검증한다.
- A Baselines: 모든 baseline은 동일한 FIBO generation model을 사용하며, 이 평가 설정에 맞춰 hyperparameter를 최적화한다.이 설계는 방법 간 공정한 비교를 가능하게 한다.
- A Baselines: Stochastic VLM Seeding은 초기 prompt-to-JSON VLM 호출의 random seed를 변경해 27-image gallery를 생성한다.다양성을 전적으로 model 고유의 stochasticity에 의존한다.
- A Baselines: Post-Hoc Diversity Optimization은 79 candidates를 과잉 생성한 뒤, QIP [Parmar et al. 2025]를 통해 pairwise DINO distance를 최대화하는 27개를 선택한다.각 instance에는 엄격한 300-second limit이 적용되며, 79-candidate pool은 제안된 tree-generation method의 총 LLM calls와 일치한다.
- A Baselines: High-Temperature VLM Seeding은 초기 VLM sampling temperature를 최대로 높여, 더 낮은 확률의 token 선택이 structured intervention 없이 diversity gap을 줄일 수 있는지 검증한다.이는 unstructured generation entropy를 검증하기 위해 conventional probability-distribution sampling과 비교한다.
- A Baselines: CADS [Sadat et al. 2023]는 text embedding에 random noise를 주입하며, 최적화된 parameter는 𝜏1 = 0.5, 𝜏2 = 0.9, 𝑠 = 3, 𝜓 = 0.5다.이는 text-to-image input space를 수정하는 generator-level method다.
- A 베이스라인: Guidance Interval [Kynkäänniemi et al. 2024]은 denoising timestep range의 오분의 일에만 classifier-free guidance를 적용한다.이 제한된 구간은 표준 CFG 없이도 FIBO가 비교적 강한 성능을 보이는 이유가 된다.
- A Baselines: CADS, Guidance Interval, Power-Law CFG를 Stochastic VLM Seeding과 결합해 완전한 27-image gallery를 생성하고 random seeding을 넘어서는 additive diversity를 검증한다.이 조합은 inference-level technique이 stochastic VLM variation에 더해 이점을 제공하는지 분리해 검증한다.
B 구현 세부 사항
에이전트는 구조화된 응답 템플릿, 역할별 토큰 제한과 temperature, 일시적인 API 오류에 대한 재시도 처리를 적용해 Gemini 2.5 Flash를 사용한다.
- 구현 세부 사항: 에이전트는 Gemini 2.5 Flash, 사전 정의된 parseable 응답 템플릿, 역할별 4K–8K 출력 제한, 0.4 또는 0.7로 고정된 temperature, exponential backoff를 적용한 최대 3회 재시도를 사용한다.이 설정은 드물게 발생하는 일시적인 API 오류에 대한 출력 구조와 견고성을 높인다.
C 효율성
계산 비용은 image rendering과 독립적으로 agentic workflow에 대해 측정하며, 27-image gallery에서 결과당 amortized cost로 산출한다. Semantic Browsing은 결과당 10.2초와 15.9K tokens를 요구하는 반면, Stochastic VLM Seeding은 8.5초와 3.3K tokens로 더 저렴하다.
- C 효율성: Semantic Browsing은 27-image gallery에서 생성 결과당 10.2초와 15.9K tokens를 요구하며, Stochastic VLM Seeding의 8.5초와 3.3K tokens와 비교된다.평가는 결과당 amortized workflow cost를 측정하며 image-generation rendering은 제외한다. 후자의 비용은 underlying text-to-image backbone에 따라 달라지고, 동일한 수의 이미지를 생성하는 방법들에서는 공유된다.
- C 효율성: 효율성 평가는 agentic-workflow cost와 image-generation rendering cost를 분리한다.Rendering cost는 underlying text-to-image backbone에 따라 달라지며, 동일한 수의 이미지를 생성하는 방법들에서는 공유된다.
E VLM 선택에 대한 민감도
다른 모든 구성 요소를 고정한 채 Gemini 2.5 Flash를 ChatGPT-5.5로 교체해도 결과가 거의 일치해 VLM 선택에 대한 강건성을 보인다.
- E VLM 선택에 대한 민감도: ChatGPT-5.5에서 Vendi 3.30, Aesthetic 6.72, VQAScore 0.94를 얻었으며, 이는 Gemini의 Vendi 3.34, Aesthetic 6.52, VQAScore 0.90과 거의 일치한다.이 비교에서는 agentic workflow의 VLM backbone만 교체했으므로, 이 framework가 특정 모델에 맞춰 설계된 것이 아님을 보여준다.
F 스케일링 Ablation
Ablation 결과, tree depth 또는 branching factor를 늘리면 gallery diversity가 일관되게 높아지지만, Vendi 향상 폭은 점차 줄어들며 scaling 차원에 따라 quality trade-off가 다르게 나타난다.
- Scaling Ablation: tree depth 또는 branching factor 중 하나를 늘리면 Vendi가 일관되게 증가하지만, 향상 폭은 점차 작아진다.scaling 분석에서는 depth D와 branching factor BF를 변화시킨다.
- Depth Scaling: 더 깊은 tree는 VQAScore를 점진적으로 낮추는 반면 aesthetic quality는 향상시키며, 이는 엄격한 prompt adherence와 더 풍부한 semantic discovery 사이의 trade-off를 보여준다.이 효과는 BF = 1로 depth를 scaling할 때 보고된다.
- Width Scaling: branching-factor 값이 클 때 더 넓은 tree는 VQAScore와 aesthetics를 모두 완만하게 저하시킨다.이 효과는 D = 1로 width를 scaling할 때 보고된다.