PaperlayerView exact revision on arXiv

Source-linked AI summary

ShutterMuse: Capture-Time Photography Guidance with MLLMs

Jiayu Li, Yixiao Fang, Tianyu Hu, Wei Cheng, Ping Huang, Zheheng Fan, Gang Yu, Xingjun Ma

arXiv:2606.25763v1cs.CV

TL;DR

Capture-time photography guidance는 framing decision과 subject pose를 모두 다뤄야 하지만, 기존 benchmark와 model은 이 기능을 충분히 지원하지 못한다. 이 논문은 benchmark, dataset, unified MLLM을 제시하며, ShutterMuse가 photographer-side 성능에서 앞서고 더 낮은 inference cost로 경쟁력 있는 pose recommendation을 제공함을 보인다.

  • 문제

    Photographer framing과 subject pose를 위한 capture-time MLLM guidance는 아직 충분히 연구되지 않았으며, 기존 aesthetic-cropping benchmark는 주로 post-hoc crop prediction을 평가한다.

  • 방법

    이 논문은 CaptureGuide-Bench를 제시하고, 130K 샘플로 구성된 annotated dataset을 구축하며, supervised 및 reinforcement fine-tuning으로 ShutterMuse를 개발한다.

  • 결과

    ShutterMuse는 평가된 baseline 가운데 overall photographer-side performance에서 최고 성능을 달성하며, substantially lower inference cost로 경쟁력 있는 subject-side pose recommendation을 제공한다.

  • 시사점 및 한계

    결과는 MLLM이 image capture 중 photography를 위한 실용적인 interactive assistant로 활용될 수 있음을 시사한다.

Abstract

from arXiv · show

Real-world photography requires capture-time guidance for both camera framing and subject pose. Yet existing aesthetic cropping benchmarks mainly evaluate post-hoc crop prediction and overlook subject-side recommendations, leaving the capture-time guidance capabilities of multimodal large language models (MLLMs) underexplored. To address this gap, we introduce CaptureGuide-Bench, a benchmark with two complementary tasks: photographer-side composition decision and refinement, and subject-side scene-conditioned pose recommendation. Our evaluation reveals limitations: general-purpose MLLMs can make composition decisions but lack precise refinement localization, while specialized aesthetic cropping models localize crops effectively but are limited to refinement; neither provides actionable pose guidance. To support model development, we further construct CaptureGuide-Dataset, comprising 130K samples with textual rationales and structured visual annotations, and develop ShutterMuse, a unified MLLM trained with supervised and reinforcement fine-tuning. Experiments on CaptureGuide-Bench show that ShutterMuse achieves the best overall photographer-side performance among evaluated baselines and competitive subject-side pose recommendation with substantially lower inference cost, demonstrating the potential of MLLMs as interactive assistants for photography during image capture.

1 서론

ShutterMuse는 CaptureGuide-Bench, CaptureGuide-Dataset, 그리고 photographer-side 및 subject-side 추천을 구조화해 제공하는 unified MLLM을 도입해, 아직 충분히 탐구되지 않은 capture-time photography guidance 문제를 다룬다. 실험에서 photographer-side 성능이 우수하고, subject-side pose guidance에서도 효율적이면서 경쟁력 있는 결과를 보인다.

  • 동기: MLLM은 visual understanding, aesthetic reasoning, instruction following에서 발전해 왔지만, image capture 중 photography를 안내하는 능력은 아직 충분히 탐구되지 않았다.이 연구는 capture-time assistance에 특화된 benchmark를 통해 이 공백을 겨냥한다.
  • Benchmark: CaptureGuide-Bench는 photographer-side composition decision 및 refinement와 subject-side pose recommendation을 통해 capture-time guidance를 평가한다.Photographer-side 평가는 refine, keep, reject decision과 refinement가 필요할 때의 valid framing box를 포함한다.
  • Dataset: CaptureGuide-Dataset은 textual rationale, structured composition box, pose keypoint, visibility state를 포함한 약 130K개의 sample로 구성된다.Photographer-side subset은 다섯 가지 scenario와 여섯 가지 composition aspect ratio를 아우르며, subject-side subset은 흔한 다섯 가지 human pose type을 다룬다.
  • 실험 결과: ShutterMuse는 평가된 baseline 가운데 전체 photographer-side 성능이 가장 우수하며, inference cost가 substantially lower한 경쟁력 있는 subject-side pose recommendation을 달성한다.이 결과는 image capture 중 MLLM을 interactive assistant로 활용할 수 있음을 뒷받침한다.
  • 모델: ShutterMuse는 structured하고 interpretable한 capture-time guidance를 생성하도록 supervised fine-tuning과 reinforcement fine-tuning으로 학습된 unified MLLM이다.이 모델은 photographer-side와 subject-side assistance를 모두 제공하도록 설계되었다.

2 관련 연구

기존 연구는 미적 cropping을 주로 사후적 구도 보정으로 다루며, proposal- 및 regression-based 방법으로 개선된 crop을 예측한다. 한편 text-conditioned motion-generation 방법은 언어 지시로부터 제어 가능한 신체 동작을 합성한다.

  • 미적 image cropping은 전통적으로 더 나은 crop을 예측해 촬영된 이미지를 개선하는 사후적 과제이며, FCDB와 FLMS를 포함한 benchmark에서 정립되었다 (Chen et al., 2017).
  • 기존 미적 cropping 방법은 미적 단서를 사용해 후보 crop의 순위를 매기는 proposal-based approaches와 regression-based approaches로 구성된다 (Su et al., 2024; Zeng et al., 2019; Zhang et al., 2026; Du et al., 2026).
  • 최근 human motion-generation 방법은 언어 지시로부터 제어 가능한 신체 동작을 합성하며, T2M-GPT와 MotionGPT 같은 discrete-token 접근법과 MoMask의 hierarchical tokenization을 포함한다 (Tevet et al., 2022; Chen et al., 2023; Zhang et al., 2023a; Jiang et al., 2023; Guo et al., 2024; Zhang et al., 2023b).

3 데이터셋 및 벤치마크

이 절에서는 촬영 시점의 photographer-side 및 subject-side guidance를 위한 약 130K개 샘플 규모의 리소스인 CaptureGuide-Dataset과, composition decision 및 pose recommendation을 포괄하는 held-out benchmark인 CaptureGuide-Bench를 소개한다. 또한 두 guidance 설정에 대한 annotation pipeline과 task-specific evaluation protocol을 정의한다.

  • 데이터셋 및 벤치마크: CaptureGuide-Dataset은 약 130K개의 이미지를 포함하며, 100K개의 photographer-side guidance 샘플과 30K개의 subject-side guidance 샘플로 구성된다. CaptureGuide-Bench는 두 task를 모두 평가한다.이 benchmark는 표준화된 평가와 downstream method 개발을 위해 해당 dataset을 기반으로 구축된다.
  • 데이터셋 구축: Photographer-side 데이터는 refine, reject, keep의 세 가지 decision과 refined composition box, 그리고 결함·강점·reframing strategy를 설명하는 comment를 결합한다.12K-image expert seed set은 10명의 trained annotator가 cross-review와 함께 라벨링한 뒤, expert-seeded 및 MLLM-verified self-distillation pipeline에서 scaling에 사용된다.
  • 데이터셋 구축: Subject-side 샘플은 사람이 제거된 scene image, keypoint로 표현된 target human pose, 그리고 scene-conditioned pose의 적합성을 설명하는 textual rationale로 이루어진 triplet이다.Generation pipeline은 scene context를 보존하면서 사람을 제거하고, COCO 17-keypoints를 추출하며, visibility state를 모델링한 뒤 filtering과 human correction을 적용한다.
  • 벤치마크 설계: CaptureGuide-Bench는 training에서 421개의 photographer-side 샘플과 552개의 subject-side example을 hold out하며, photographer-side refine image마다 3–5개의 ground-truth box를 제공한다.두 complementary subset은 composition decision-making과 subject-side pose guidance를 다루며, 해당 샘플은 SFT와 RFT 모두에서 제외된다.
  • 평가 지표: Photographer-side evaluation은 decision accuracy와 함께 maximum IoU 및 minimum boundary displacement error를 사용한 refinement localization을 측정하고, geometry 평가를 task-aware MLLM-Score로 보완한다.reject가 아닌 prediction의 경우, scoring은 annotated compositional strength와 defect를 기준으로 predicted refinement box 또는 keep prediction의 full image를 평가한다.
  • 평가 지표: Subject-side evaluation은 reference keypoint를 정확한 target이 아니라 plausible pose configuration으로 취급한다. 물리적으로 타당하고 scene에 부합하며 시각적으로 매력적인 pose가 여러 개 존재할 수 있기 때문이다.이 protocol은 단일 geometric criterion에 의존하기보다 pose plausibility, semantic alignment, visual appeal을 평가하려는 실용적 목표를 반영한다.

4 SHUTTERMUSE

ShutterMuse는 capture-time photographer-side 및 subject-side photography guidance를 위한 Qwen3-VL-8B 기반 unified MLLM으로, supervised fine-tuning 후 reward-based reinforcement fine-tuning을 적용해 학습된다.

  • Framework: ShutterMuse는 Qwen3-VL-8B Bai et al. (2025)에 기반한 MLLM에서 photographer-side와 subject-side capture-time guidance를 통합한다.
  • Supervised Fine-Tuning: Supervised fine-tuning은 CaptureGuide-Dataset에서 guidance type에 따라 schema가 달라지는 structured JSON responses를 생성하도록 prompt-following을 학습한다.
  • Supervised Fine-Tuning: Subject-side 출력은 17 normalized COCO keypoints와 visibility labels를 사용해 pose guidance를 지정하며, visibility labels는 visible, occluded, out-of-frame keypoints를 구분한다.
  • Reinforcement Fine-Tuning: Group Relative Policy Optimization은 task-specific rewards를 사용해 20,000 EMDP- 및 SGGP-based samples로 decision-making과 output accuracy를 추가로 향상한다.
  • Reinforcement Fine-Tuning: Photographer-side rewards는 three-way decision correctness를 평가하고, refinement의 경우 predicted composition box 내부에서 salient-subject preservation을 평가한다.
  • Reinforcement Fine-Tuning: Subject-side reinforcement는 visibility annotations를 사용해 predicted 및 ground-truth 17-dimensional visibility vectors 간 일치도를 보상한다.

5 실험

실험 결과, ShutterMuse는 photographer-side guidance 전반에서 가장 강력한 성능, 경쟁력 있는 subject-side pose recommendation, 그리고 reinforcement fine-tuning과 전체 reward 설계의 상당한 이점을 제공한다. 정성적 분석과 reliability 분석을 통해 모델의 동작과 EMDP data-generation pipeline도 추가로 살펴본다.

  • Photographer-side guidance: ShutterMuse는 photographer-side guidance 전반에서 가장 균형 잡힌 성능을 달성하며, 가장 높은 IoU, 가장 낮은 BDE, 가장 높은 refinement success rate를 보인다. 반면 specialized 및 general-purpose baseline은 상호보완적인 약점을 보인다.InstructCrop과 Venus는 경쟁력 있는 crop quality를 제공하지만 reject 및 keep decision에서는 성능이 낮다. 반면 general-purpose MLLM은 three-way decision을 더 잘 처리하지만 crop localization 정확도가 낮다.
  • Subject-side guidance 결과: ShutterMuse는 plausibility, interaction, aesthetics 전반에서 subject-side mean score 0.34를 달성했으며, 이는 GPT-Image-2의 0.35에 근접한다.Image-editing foundation model은 여전히 약간의 우위를 유지하는데, 이는 더 큰 capacity와 광범위한 pretraining이 anatomy, feasibility, interaction, aesthetics에 대한 더 강한 prior를 제공하기 때문으로 해석된다.
  • 정성적 비교: 정성적 비교 결과, ShutterMuse는 다양한 capture-time scenario에서 적절한 decision을 내리고, 미적으로 정 refined된 결과를 생성하며, 해석 가능한 rationale을 제공한다. 이는 불필요하게 crop하는 Venus의 경향과 대조적이다.비교는 photographer-side guidance와 subject-side guidance를 모두 포함한다.
  • Training Strategy 및 Reward Design의 효과: GRPO는 SFT-only training 대비 IoU를 72.39%에서 74.30%로, RSR을 68.97%에서 82.76%로, KSR을 63.64%에서 74.55%로, MLLM-Score를 0.56에서 0.64로 높인다.또한 subject-side plausibility와 interaction을 개선하지만 aesthetics는 변화시키지 않는다. 이는 discrete capture-time decision과 composition-frame alignment에서 특히 큰 이점이 있음을 보여준다.
  • Training Strategy 및 Reward Design의 효과: 전체 reward 설계는 평가된 metric 전반에서 가장 높은 성능 또는 공동 최고 성능을 달성하며, subject-side reward를 제거하면 plausibility가 낮아진다.이는 Rsub이 pose recommendation과 visible body-part constraint 간 일관성을 향상시키며, 각 reward component가 최종 성능에 기여함을 보여준다.
  • EMDP의 Reliability Analysis: EMDP reliability는 seed training, expansion, SFT, RFT, verifier calibration, hyperparameter selection에서 제외된 450개의 held-out expert-annotated sample을 사용해 세 라운드에 걸쳐 평가된다.또한 각 라운드에서 무작위로 sampling한 example을 사용해 verifier reliability를 평가한다.

6 사용자 연구

사용자 연구는 CaptureGuide-Bench에서 표본 추출한 사례에 대해 6명의 참가자가 수행한 블라인드 순위를 사용해 MLLM 기반 평가와 인간 선호도의 일치도를 평가한다. 사진가 측 및 피사체 측의 서로 다른 baseline과 ShutterMuse를 비교한다.

  • 순위 일치도: Table 4는 보고된 비교를 MLLM-Score와 인간 선호도 간의 순위 일치도로 정의하며, 순위가 낮을수록 성능이 우수함을 의미한다.
  • 연구 설정: 이 연구는 CaptureGuide-Bench의 각 subset에서 무작위로 100개의 테스트 사례를 표본 추출하고, 블라인드 평가를 위해 6명의 참가자를 모집한다.모든 사례와 참가자의 순위를 종합한다.
  • 사진가 측 평가: 사진가 측 비교에는 Gemini-3.0-Pro, GPT-5.5, InstructCrop, Venus, ShutterMuse가 포함된다.이러한 모델은 종합된 인간 순위를 통해 평가된다.
  • 피사체 측 평가: 피사체 측 비교에는 Nano-Banana-Pro, GPT-Image-2, ShutterMuse가 포함된다.이 연구는 표본 추출한 모든 사례와 참가자에 대한 순위를 종합한다.

7 결론

이 논문은 촬영 시점의 사진 촬영 가이던스를 지원하기 위해 CaptureGuide-Bench와 CaptureGuide-Dataset을 소개하고, supervised 및 reinforcement fine-tuning으로 학습한 통합 MLLM인 ShutterMuse를 제안한다. ShutterMuse는 평가된 baseline 중 photographer-side 성능 종합에서 최고를 달성했으며, 경쟁력 있는 subject-side pose recommendation과 상당히 낮은 inference cost를 보인다.

  • Benchmark: CaptureGuide-Bench는 이미지 촬영 중 photographer-side composition refinement와 subject-side pose recommendation 양쪽에서 MLLM을 평가한다.
  • Resources and model: 이 연구는 구조화된 annotation과 textual rationale을 포함하는 CaptureGuide-Dataset을 구축하고, supervised 및 reinforcement fine-tuning으로 학습한 통합 MLLM으로 ShutterMuse를 제안한다.
  • Results: ShutterMuse는 평가된 baseline 중 photographer-side 성능 종합에서 최고를 달성하면서 refinement accuracy와 keep/reject decision의 균형을 유지하고, 상당히 낮은 inference cost로 경쟁력 있는 subject-side pose recommendation을 제공한다.이 결과는 CaptureGuide-Bench에서 보고되었다.

A 주석 프로토콜 · A.1 촬영자 측 주석 지침

촬영자 측 프로토콜은 구도를 다시 잡아 구도를 유지하거나 개선할 수 있는지를 기준으로 이미지를 keep, refine, reject로 분류한다. 주석자는 keep 및 refine 사례에 대해 구도상의 근거를 제시하고, reject 사례에 대해서는 크롭으로 해결할 수 없는 결함을 설명한다.

  • A.1 촬영자 측 주석 지침: Refine 라벨은 크롭 또는 재구성을 통해 구도를 개선할 수 있는, 사용 가능한 피사체나 콘텐츠를 나타낸다.일반적인 문제로는 피사체의 약한 부각, 치우치거나 불균형한 시각적 중심, 지나치게 작은 피사체, 주의를 분산시키는 배경 등이 있다.
  • A.1 촬영자 측 주석 지침: Keep 라벨은 이미 구도상 적절한 프레이밍을 나타내며, 추가 크롭을 하면 유용한 맥락이 제거되거나 이미지 품질이 저하된다.주석자는 명확한 피사체 배치, 균형 잡힌 구조, 적절한 배경 맥락, 일관된 장면 배치 등의 강점을 기술한다.
  • A.1 촬영자 측 주석 지침: Reject 라벨은 크롭 또는 재구성으로 효과적으로 교정할 수 없는 심각한 결함이 있는 이미지를 제외한다.예로는 흐림, 가림, 부적절한 노출, 피사체 누락, 기울어진 프레이밍 등이 있으며, 주석자는 이러한 크롭으로 해결할 수 없는 문제를 기록한다.

A.2 피사체 측 주석 지침

피사체 측 주석은 COCO-17 keypoint 순서를 따르며, 구조화된 pose metadata와 자연어 rationale을 결합한다. 주석 품질은 pose visualization, visibility correction, professional photographer review를 통해 점검한다.

  • A.2 피사체 측 주석 지침: 17개 keypoint는 COCO-17 순서를 따르며, 좌우는 피사체의 해부학적 관점에서 정의한다.
  • A.2 피사체 측 주석 지침: 각 피사체 측 instance에는 task type, 자연어 rationale, 정규화된 keypoint 좌표, visibility label이 저장된다.
  • A.2 피사체 측 주석 지침: Visibility label은 이미지 내에서 보이는 keypoint에 1, 이미지 내에서 가려진 keypoint에 0, 이미지 경계 밖의 keypoint에 -1을 사용한다.
  • A.2 피사체 측 주석 지침: 주석자는 기하학적으로 일관되지 않은 pose를 제외하고, 잘못된 visibility flag를 수정하며, 다섯 명의 전문 사진작가가 의도된 pose를 재구성하는 데 사용할 수 없는 rationale을 수정하거나 제거한다.Guidance example은 recomposition이 적절한지, 결함이 crop으로 제거할 수 없는지, 또는 framing이 이미 적절한지에 따라 refine, reject, keep 사례를 구분한다.

B MLLM-BASED 평가 프롬프트 · C BASELINE 프롬프트 템플릿

평가 프롬프트는 photographer-side composition assessment와 subject-side pose assessment를 표준화하고, baseline 템플릿은 비교 가능한 cropping 및 pose-generation protocol을 적용한다. subject-side 출력은 MLLM 평가 전에 공통 skeleton visualization으로 변환된다.

  • B.1 PHOTOGRAPHER-SIDE MLLM-SCORE PROMPT: Photographer-side 평가는 예측된 각 composition frame을 red box로 overlay하고, 그 안에 포함된 composition만 세 단계 척도인 0, 0.5, 1로 평가한다.프롬프트는 score, level, reason, original problems가 해결되었는지 여부, 사용된 composition technique을 포함한 JSON 출력을 요구한다.
  • B.2 SUBJECT-SIDE MLLM-SCORE PROMPT: Subject-side 평가는 단일 skeleton visualization에서 physical plausibility, scene interaction, pose aesthetics를 독립적으로 측정하고, score를 {0, 0.5, 1.0}으로 정규화한다.visualization은 full-body, three-quarter-body, upper-body pose를 구분하며, red body parts는 예측된 occlusion을 나타낸다.
  • B.2 SUBJECT-SIDE MLLM-SCORE PROMPT: Physical plausibility는 natural scale, 신뢰할 수 있는 scene contact, floating이나 penetration의 부재, 그리고 사람이 합리적으로 모방할 수 있는 pose를 높게 평가한다.rubric은 visualization 특유의 head–torso separation, 약간의 standing-pose floating, crossed legs, seated floating feet, 적절한 경우 생략된 lower-body keypoints를 허용한다.
  • B.2 SUBJECT-SIDE MLLM-SCORE PROMPT: Scene interaction은 의미 있는 상호작용이 없는 경우부터 sitting이나 leaning을 거쳐, movement나 gaze를 포함하는 독특한 object 또는 scene interaction까지 이어진다.Pose aesthetics 역시 ordinary static pose에서 environment에 맞춘 detailed, dynamic, expressive action으로 단계적으로 높아진다.
  • C.1 PHOTOGRAPHER-SIDE PROMPT: Specialized cropping baseline은 official checkpoint, default setting, original-paper prompt를 사용하는 반면, general MLLM baseline은 공정한 비교를 위해 unified prompt를 사용한다.Unified photographer prompt는 이미지를 excellent, improvable, unsalvageable로 분류한 뒤, normalized target-ratio bounding box 또는 <non>을 요청한다.
  • C.2 SUBJECT-SIDE PROMPT: Bounding box는 normalized [x1,y1,x2,y2] coordinate와 지정된 aspect ratio를 사용하며, subject-side baseline은 대신 environment-compatible, aesthetic, physically plausible human mesh를 요청한다.Specialized cropping baseline은 pose prediction에 적용할 수 없으며, 생성된 mesh는 scene을 보존하면서 extra people, floating, penetration, stiff movement, 근거 없는 body–environment relationship을 피해야 한다.
  • C.2 SUBJECT-SIDE PROMPT: Rendering, texture, lighting, editing-artifact 차이를 피하기 위해 baseline edit는 subject-side MLLM 평가 전에 standardized skeleton visualization으로 변환된다.이 protocol은 각 edited image에서 human keypoint를 추출하고, proposed method에서 사용하는 것과 동일한 skeleton format으로 다시 visualization한다.

D 피사체 측 가이던스의 실패 사례 분석

실패 사례에서 피사체 측 pose recommendation은 발목 keypoint만으로 발과 지면의 접촉을 충분히 표현하기 어려워 발 주변에서 떠 있는 것처럼 보일 수 있다. 이러한 시각화 artifact에도 불구하고 사용자는 의도된 pose를 이해하고 모방할 수 있으며, 더 조밀하거나 접촉을 고려한 keypoint를 사용하면 물리적 지지 모델링을 개선할 수 있다.

  • 실패 사례: 추천 pose는 skeleton 시각화에서 발 주변에 약간 떠 있는 것처럼 보일 수 있으며, 이는 현재 피사체 측 가이던스 pipeline의 한계를 드러낸다.이 artifact는 특히 발 주변에서 두드러지며, 일부 사례에서 자동 평가와 지각적 품질 사이에 불일치를 만든다.
  • 실패 사례: 이 artifact는 대체로 YOLO-style extraction이 발목은 localization하지만 발가락이나 전체 발 접촉 영역은 localization하지 않는 17개 keypoint를 사용하기 때문에 발생한다.그 결과 렌더링된 skeleton은 피사체가 실제로 지면을 지지하는 상태를 정확히 반영하지 못할 수 있다.
  • 실제 영향: 떠 있는 시각화에도 불구하고 사용자는 의도된 신체 구성을 이해하고 추천 pose를 모방할 수 있으므로, usability는 크게 영향을 받지 않는다.이 한계는 주로 pose recommendation의 이해 가능성보다는 물리적 접촉 표현과 관련된다.
  • 향후 연구: 향후에는 더 조밀한 신체 keypoint, 명시적 발 keypoint 또는 contact-aware representations를 사용해 발과 지면의 지지를 더 정확하게 모델링할 수 있다.이 대안들은 신체와 장면 사이의 물리적 접촉을 표현하는 데 ankle-only keypoint가 불충분하다는 문제를 겨냥한다.
Loading 2606.25763v1…