AI 요약 · 영어에서 AI 번역
EyeFormer: Predicting Personalized Scanpaths with Transformer-Guided Reinforcement Learning
Yue Jiang, Zixin Guo, Hamed Rezazadegan Tavakoli, Luis A. Leiva, Antti Oulasvirta
TL;DR
기존 모델은 평균적인 주의 패턴을 예측하지만, 서로 다른 자극 전반에서 fixation 순서와 지속 시간이 중요함에도 개인별 scanpath 예측은 여전히 해결되지 않은 과제다. EyeFormer는 Transformer 기반 강화학습 정책으로 개인별 및 집단 수준 scanpath를 예측하며, 논문은 집단 수준 비교에서 유리한 결과와 개인화 GUI 레이아웃 적용 사례를 보고한다.
문제
기존 모델은 평균적인 주의 패턴을 예측할 수 있지만, 개인의 scanpath를 예측하는 모델은 없으며 정적 saliency map은 fixation 순서와 지속 시간을 반영하지 못한다.
출처: §1 · pp. 1–2방법
EyeFormer는 Transformer를 강화학습 정책으로 사용해 scanpath를 예측하며, 공간 및 시간에 따른 fixation 정보도 예측하고 소수의 사용자 샘플로 예측을 개인화할 수 있다.
출처: §1 · p. 2결과
EyeFormer는 집단 수준 예측에서 기존 최첨단 모델보다 우수하거나 대등한 성능을 보이며, 소수의 샘플로 개인별 scanpath 변이를 모델링한다.
출처: §7 · p. 12시사점 및 한계
논문은 사용자의 scanpath 샘플을 바탕으로 개인화된 GUI 레이아웃을 제시하고, 개인 간 변이가 최소화된 단일 최적화 레이아웃도 보여준다.
출처: §1 · p. 2이 모델은 고정 길이 scanpath와 fixation 예측으로 제한되며, UEyes를 바탕으로 7초의 자유 시청 구간을 사용한다.
출처: §7 · p. 12
Abstract
from arXiv · showhide
From a visual perception perspective, modern graphical user interfaces (GUIs) comprise a complex graphics-rich two-dimensional visuospatial arrangement of text, images, and interactive objects such as buttons and menus. While existing models can accurately predict regions and objects that are likely to attract attention ``on average'', so far there is no scanpath model capable of predicting scanpaths for an individual. To close this gap, we introduce EyeFormer, which leverages a Transformer architecture as a policy network to guide a deep reinforcement learning algorithm that controls gaze locations. Our model has the unique capability of producing personalized predictions when given a few user scanpath samples. It can predict full scanpath information, including fixation positions and duration, across individuals and various stimulus types. Additionally, we demonstrate applications in GUI layout optimization driven by our model. Our software and models will be publicly available.
1 서론
인터페이스의 시각적 복잡성과 사람마다 다른 시청 전략 때문에 개인별 GUI 주의 양상을 예측하기는 어렵다. EyeFormer는 개인 및 집단 수준에서 scanpath의 공간적·시간적 특성을 예측하며, 논문은 개인화된 GUI 레이아웃 최적화 사례를 제시한다.
1 서론
- 인터페이스는 텍스트, 이미지, 애니메이션, 상호작용 객체를 포함하고 사람마다 시청 전략이 달라 GUI 주의 양상을 예측하기 어렵다.논문은 개인 간 큰 차이 때문에 ‘평균 scanpath’가 실제 시청자의 행동을 대표하지 못한다고 지적한다.출처: §1 · pp. 1–2
- 정적인 saliency map과 달리 scanpath는 응시 순서와 지속 시간을 보존하며, 기존 scanpath 연구는 주로 자연 장면에 초점을 맞췄다.서론은 웹사이트와 모바일 GUI에서 시청 패턴이 다를 수 있으므로 여러 자극 유형을 아우르는 통합 모델링이 필요하다고 설명한다.출처: §1 · p. 2
- EyeFormer는 GUI와 자연 장면의 집단 수준 scanpath 지표 대부분에서 최신 모델보다 우수한 성능을 보인다.논문은 개인화된 scanpath 예측을 GUI 레이아웃 최적화에 적용한 사례도 보고한다.출처: §1 · p. 2
- EyeFormer는 Transformer를 활용한 심층 강화학습으로 응시 좌표와 지속 시간을 포함한 scanpath의 공간적·시간적 특성을 예측한다.관련 시청자의 scanpath 샘플 몇 개로 개인화된 scanpath를 생성할 수 있다.출처: §1 · p. 2
- EyeFormer는 scanpath 샘플 몇 개를 바탕으로 개인의 시청 행동을 예측해 해당 시청자의 행동 양상과 선호를 반영한다.서론은 개인화된 scanpath 예측의 응용으로 개인화된 GUI 최적화도 설명한다.출처: §1 · p. 2
2 관련 연구
기존 scanpath 예측 방법은 saliency map에서 시퀀스를 도출하거나, fixation 시퀀스를 직접 예측하거나, reinforcement learning을 이용한 순차 제어 문제로 예측을 정식화한다. 이 연구들은 시간 정보, fixation 순서, 미분 가능성, 연속 행동의 정밀도와 관련된 한계를 다룬다.
2 관련 연구
- scanpath 예측은 조밀한 saliency map 예측과 달리 이산 fixation의 순서를 유지하며, 기존 모델은 주로 개인이 아닌 평균적인 사용자를 표현했다.이 연구는 기존 접근법을 사후적으로 시퀀스 정보를 도출하는 방법, 시퀀스를 직접 예측하는 방법, reinforcement learning을 사용하는 방법으로 분류한다.출처: §2 · p. 2
2.1 Saliency Map 기반 Scanpath 예측
- inhibition of return을 사용하는 saliency map 방법은 시퀀스를 도출할 수 있지만, fixation 지속시간을 무시하고 일관된 fixation 순위화가 부족하며 미분 불가능하다.이 연구는 inhibition-of-return 메커니즘의 사례로 Itti et al. 을 인용하고, 후속 연구 [2] [29]에서 이 메커니즘이 발전했음을 언급한다.출처: §2.1 · pp. 2–3
2.2 Fixation 시퀀스 예측
- 직접 시퀀스 예측 방법에는 매개변수화된 Gaussian 분포, 격자 기반 표현, GAN이 있으며, 보고된 과제로는 오차 누적이나 fixation 지점 정확도 저하가 있다.또한 NeVA [43]는 사람의 scanpath를 모사하기보다 후속 시각 과제를 위한 pretrained model에 의존한다고 설명한다.출처: §2.2 · p. 3
2.3 Scanpath 예측을 위한 Reinforcement Learning
- 격자 이산화는 유한한 행동에 대한 최적화를 가능하게 하지만 fixation 표현을 거칠게 만들며, 연속 제어에서는 가능한 행동이 무한하다.EyeFormer는 fixation 예측을 연속 값 생성으로 정식화하고, 설계된 보상과 함께 모수적 Gaussian 행동 분포를 사용한다.출처: §2.3 · p. 3
- Figure 2는 display 크기에서 입력 이미지 크기로 조정된 inhibition 영역이 모델 크기 조정 후 타원으로 렌더링되는 모습을 보여준다.display의 inhibition 지름은 사람의 시야각에 상응하며, 입력 map의 반지름은 크기 조정 치수를 반영한다.출처: Figure 2 · p. 3
3 방법
EyeFormer는 순차적 fixation 예측을 강화학습 문제로 정식화하고, 이미지와 앞선 fixation을 바탕으로 다음 fixation을 예측하는 Transformer 정책을 사용한다. 이 접근법은 공간적·시간적 fixation 정보와 미분 불가능한 보상을 다룬다.
3 방법
- EyeFormer는 이전 fixation의 장거리 의존성을 포착하는 Transformer와 미분 불가능한 보상으로 scanpath를 최적화하는 강화학습을 사용한다.보상 사례에는 return 억제(inhibition of return)로 계산한 현저도 값이 포함된다.출처: §3 · p. 3
3.1 문제 정식화
- scanpath는 T개의 fixation으로 이루어진 순서열이며, 각 fixation은 정규화된 x 및 y 좌표와 양의 fixation 지속 시간으로 표현된다.이 순서열은 인간 시선의 공간적·시간적 정보를 담는다.출처: §3.1 · p. 3
3.2 환경, 상태, 행동
모델의 policy는 입력 이미지와 이전에 예측된 고정점으로부터 다음 고정점을 예측한다. Figure 3은 훈련과 테스트 과정에서 환경, Transformer policy, 행동, 보상이 어떻게 연결되는지 보여준다.
3.2 환경, 상태, 행동
- policy는 이미지와 이전에 예측된 고정점에 조건화된 분포에서 다음 고정점을 샘플링한다.모델은 상태에 입력 이미지와 이전 고정점이 포함된 환경과 상호작용한다.출처: §3.2 · p. 3
- Figure 3은 Transformer policy가 다음 지점에 대한 행동을 생성하고, 정답 기반 보상이 훈련 중 policy를 갱신하며, 테스트에서는 policy에서 scanpath를 직접 생성하는 과정을 보여준다.개인별 예측에서는 viewer encoder가 이미지 embedding 및 이전 고정점과 함께 viewer embedding을 제공한다.출처: Figure 3 · p. 4
3.3 보상 함수
EyeFormer의 보상은 전체 scanpath와 정답 scanpath 간의 유사도에 주목도가 높은 고정 위치에 대한 보상을 더해 계산한다. 각 구성 요소는 고정 위치와 지속 시간을 반영하며, 억제 기제는 이전에 예측한 위치에 주의가 반복해서 향하는 것을 막는다.
3.3 보상 함수
- 보상은 예측 scanpath와 정답 scanpath 간 DTWD 유사도에 예측된 고정점의 주목도 값 보상을 합산한 것이다.학습에서는 음의 기대 보상을 최소화하며, 이는 양의 보상을 최대화하는 것과 같다.출처: §3.3 · p. 4
3.3.1 지속 시간을 포함한 동적 시간 정렬(DTWD).
- DTWD는 고정 위치를 기준으로 scanpath를 공간적으로 정렬하고, 위치와 지속 시간을 나타내는 3D 벡터로 비교한다.전체 scanpath에 걸쳐 계산하여 정답 궤적 및 지속 시간에 더 가까운 예측을 유도한다.출처: §3.3.1 · p. 4
3.3.2 주목도 값.
- 귀환 억제는 이전에 예측된 고정점 주변 영역 안의 지점에 대한 주목도 값 보상을 0으로 설정한다.이미지 크기 조정에 대응하기 위해 억제 영역은 원에서 타원으로 크기와 형태를 조정한다. 선택한 반경은 이미 방문한 요소로 다시 돌아가는 것을 허용한다.출처: §3.3.2 · pp. 4–5
3.4 정책 네트워크
정책 네트워크는 이미지를 인코딩한 뒤 fixation point 시퀀스를 생성한다. 개인화된 예측에서는 디코더에 viewer embedding을 추가로 입력할 수 있다.
3.4 정책 네트워크
- 정책 네트워크는 먼저 이미지 표현을 학습한 뒤 fixation decoder로 scanpath를 생성한다.집단 수준 예측에는 이미지 표현만 사용하고, 개인 수준 예측에는 viewer embedding도 입력한다.출처: §3.4 · p. 5
3.4.1 Vision Encoder.
- 12-layer Vision Transformer는 이미지 패치를 인코딩하고, 패치 간 관계를 결합해 최종 이미지 embedding을 만든다.인코딩 전에 이미지 크기를 조정하고 겹치지 않는 패치로 분할한다.출처: §3.4.1 · p. 5
3.4.2 Fixation Decoder.
- fixation decoder는 이미지 embedding과 이전에 생성된 fixation point를 사용해 다음 fixation을 생성한다.첫 fixation은 화면 중앙으로 설정하며, 정책은 Gaussian 분포로 표현된다.출처: §3.4.2 · p. 5
3.5 개인화된 scanpath 예측
EyeFormer는 새로운 시청자의 scanpath 몇 개를 사용해 viewer encoder를 조정한 뒤, 그 결과로 얻은 시청자 표현을 이용해 해당 시청자의 scanpath를 예측한다.
3.5 개인화된 scanpath 예측
- 테스트 시 새로운 시청자의 scanpath 몇 개를 사용해 역전파로 viewer encoder를 업데이트하여 해당 시청자에 특화된 예측을 가능하게 한다.viewer encoder는 서로 다른 시청 행동을 별개의 임베딩 공간에 표현하도록 학습되며, 출력은 fixation decoder로 전달된다.출처: §3.5 · p. 5
3.6 정책 그래디언트
EyeFormer는 샘플링한 scanpath에서 그래디언트를 추정하는 REINFORCE로 정책을 학습한다. baseline은 기대 보상을 추정하며, 이를 사용해 그래디언트 추정 분산을 줄인다.
3.6 정책 그래디언트
- REINFORCE는 에피소드에서 얻은 샘플을 사용해 기대 누적 보상의 그래디언트를 추정하고, 이를 바탕으로 정책 파라미터를 갱신한다.각 학습 예제에 대해 미니배치에서 Monte Carlo scanpath 샘플 하나를 사용한다.출처: §3.6 · pp. 5–6
- baseline은 행동이 없는 경우의 기대 보상을 추정하며, 이를 빼면 그래디언트 추정 분산이 줄어든다.연속 공간에서는 정책에서 추출한 여러 샘플의 평균에 해당하는 보상으로 baseline을 정한다.출처: §3.6 · p. 6
4 실험
실험에서는 공간적·시간적·시퀀스 유사도를 측정하는 여러 지표를 사용해 GUI와 자연 장면의 scanpath에서 EyeFormer를 평가하며, 관찰자별 예측도 검증한다.
4.2 지표
- 평가에는 이미지마다 여러 scanpath가 포함된 GUI 및 자연 장면 데이터셋을 사용하고, 널리 쓰이는 scanpath 지표를 적용한다.출처: §4.1 · p. 6, §4.2 · p. 6, §4 · p. 6
4.1.1 GUI 및 정보 그래픽.
- UEyes에는 62명의 참가자가 1,980개의 GUI 및 정보 그래픽 이미지를 본 시선 추적 데이터가 포함되며, OSIE에는 15명의 참가자가 본 자연 장면 이미지 700개가 포함된다.UEyes는 이미지 1,872/108개로 학습/테스트 분할을 사용하고, OSIE는 80%/10%/10% 분할을 따른다.출처: §4.1.1 · p. 6, §4.1.2 · p. 6
4.2.1 동적 시간 왜곡(DTW).
- DTW는 전체 scanpath를 시간 시퀀스로 비교하며, 길이가 서로 다른 시퀀스도 대응시킬 수 있다.핵심 scanpath 특성을 보존하면서 최적의 대응을 찾는다.출처: §4.2.1 · p. 6
4.2.2 시간 지연 임베딩(TDE).
- TDE는 부분 scanpath를 비교하므로, DTW의 전체 scanpath 비교보다 국소적인 평가를 제공한다.출처: §4.2.2 · p. 6
4.2.3 Eyenalysis.
- Eyenalysis는 각 fixation을 다른 scanpath에서 공간적으로 가장 가까운 fixation에 대응시킨 뒤, 대응된 거리의 평균을 구한다.출처: §4.2.3 · p. 6
4.2.4 지속 시간을 고려한 동적 시간 왜곡(DTWD).
- DTWD는 위치에 fixation duration을 더해 DTW를 확장하며, 공간적으로 정렬된 (x, y, t) fixation 벡터를 사용한다.출처: §4.2.4 · p. 6
4.2.5 MultiMatch.
- MultiMatch는 형태, 방향, 길이, 위치, 지속 시간을 평가하여 DTWD의 공간적·시간적 비교를 확장한다.출처: §4.2.5 · p. 6
4 실험
- 개인별 평가를 위해 UEyes에서 목표 테스트 관찰자에 맞춤화된 모델을 다른 테스트 관찰자에 맞춤화된 모델과 비교한다.Figure 4는 관찰자별 소수의 샘플로 생성한 개인화 scanpath를 보여준다. Viewer 1 및 Viewer 2 표시는 예시 간 동일 인물을 가리키지 않는다.출처: Table 1 · p. 7, Figure 4 · p. 7
5 결과
EyeFormer의 집단 수준 예측은 GUI와 자연 장면 전반에서 보고된 대부분의 지표에서 baseline 모델보다 우수하며, 관찰자별 예측도 지원한다. 정성적 비교와 제거 연구를 통해 예측 궤적과 강화학습 및 보상 구성 요소의 기여를 살펴본다.
5 결과
- 집단 수준 scanpath는 개인 수준 결과와 함께 GUI와 자연 장면 전반의 공간적·시간적 특성을 포착하는 것으로 보고된다.Figure 5는 고정 위치, 순서, 지속 시간에 대한 집단 수준 예측을 ground truth와 비교해 보여준다.출처: §5 · p. 7, Figure 5 · p. 8
5.1 개인 수준 scanpath 예측
- 대상 관찰자에 맞춘 개인화는 다른 테스트 관찰자에 맞춘 모델보다 오차가 작으며, 정성적 사례에서는 소수의 관찰자 scanpath 샘플로 맞춤화한 예측을 보여준다.이 개인 수준 비교에는 확립된 baseline 방법이 없었다.출처: §5.1 · p. 7
5.2.1 정량 평가.
- EyeFormer는 GUI와 자연 장면 모두에서 대부분의 scanpath 지표에서 baseline 모델을 능가하며, 지속 시간에 민감한 DTWD와 MultiMatch Duration에서도 우수한 결과를 보인다.Table 2는 지표별 평균 ± SD를 보고하며, 대시는 해당 방법이 지속 시간을 예측할 수 없음을 뜻한다.출처: §5.2.1 · p. 8, Table 2 · p. 10
5.2.2 정성 평가.
- 정성적 비교에서 EyeFormer의 예측은 ground truth에 더 가깝다. salient-value 및 DTWD 보상은 현저한 고정과 더 정확한 고정 순서를 뒷받침한다.비교에서는 점들이 군집되는 현상과 잘못된 고정 순서 등 baseline의 약점을 논의하며, Figures 6 and 7은 Chen et al. [7]을 포함한 기존 모델과의 비교를 보여준다.출처: §5.2.2 · pp. 8, 10, Figure 6 · p. 9, Figure 7 · p. 9
5.3 제거 연구
- 보상 유형 중 하나를 제거하거나 inhibition of return을 제거하면 전반적인 정확도가 낮아지는 반면, 강화학습은 Transformer만 사용한 모델보다 고정과 지속 시간 예측을 향상시킨다.집단 수준 예측에서 RL은 TDE를 14.7%, Eyenalysis를 26.5%, DTWD를 4.8% 향상시킨다.출처: §5.3 · p. 10
6 적용: 개인화 시각 흐름
이 적용에서는 예측된 전체 집단 또는 개인별 scanpath를 사용해 디자이너가 지정한 고정 순서에 맞춰 GUI 레이아웃을 최적화한다. 관찰자 62명을 대상으로 한 테스트에서 개인화 레이아웃은 전체 집단 최적화 레이아웃보다 선택 요소의 고정 지속시간을 늘렸다.
6 적용: 개인화 시각 흐름
- 이 시스템은 GUI 디자인과 디자이너가 지정한 중요 요소의 순서 목록을 바탕으로 전체 집단 최적화 레이아웃과 관찰자별 레이아웃을 생성하며, 이 실험에서는 관찰자별 scanpath 50개를 사용한다.개인별 레이아웃은 개인화된 scanpath 예측을 사용한다.출처: §6 · pp. 10–11
6.2 결과
- Design 1에서 개인화 레이아웃은 선택 요소의 평균 고정 지속시간을 1.29초에서 1.86초로 늘렸으며(+44.19%), 관찰자 62명 모두 원하는 순서를 따랐다.Figure 8은 레이아웃 예시와 주의 결과를 보여준다.출처: Figure 8 · p. 11, §6.2 · p. 12
6.1 최적화 문제 정식화
- 레이아웃 최적화는 예측된 개인화 scanpath를 사용해 요소의 위치와 크기를 선택한다. 이는 배치, 정렬, 선호 위치 지정을 위한 정수 계획법 최적화기를 기반으로 하며, 디자이너가 지정한 순서와 EyeFormer에서 도출한 목적 함수를 반영한다.정식화에는 디자이너가 지정한 고정 순서를 위한 제약 조건이 추가된다.출처: §6.1 · p. 11
6.1.1 고정 순서 제약 조건.
- 순서 제약 조건은 예측된 순서가 디자이너가 지정한 요소들을 순서대로 방문하도록 요구한다. 이를 만족하는 레이아웃 중에서는 목적 함수가 해당 요소들의 고정 지속시간 합을 최대화한다.지정된 순서는 세 요소를 넘어설 수 있다.출처: §6.1.1 · p. 11, §6.1.2 · p. 12
6.2 결과
- Design 2에서 개인화 레이아웃은 선택 요소의 평균 고정 지속시간을 2.75초에서 3.19초로 늘렸으며(+16%); 관찰자 61명이 원하는 순서를 따른 반면, 전체 집단 레이아웃에서는 46명이 따랐다.이 비교에서는 고정 지속시간과 디자이너가 요청한 순서 준수 여부를 모두 평가한다.출처: §6.2 · p. 12
7 논의
EyeFormer는 Transformer 정책과 강화학습을 결합해 개인별 scanpath 모델링에서 최고 수준의 성능을 보고하고, 집단 예측에서는 기존 방법과 동등하거나 더 나은 성능을 보인다. 논의에서는 실용적인 데이터 수집과 모델링 범위의 제약도 짚는다.
7 논의
- EyeFormer는 소수의 샘플로 개인별 scanpath 모델링에서 최고 수준의 성능을 보이고, 집단 예측에서는 기존 방법과 동등하거나 더 나은 성능을 보고한다. Transformer는 장거리 fixation 의존성을 포착하며, 강화학습은 미분 불가능한 목적 함수를 최적화한다.저자들은 Transformer가 핵심이지만 그것만으로는 최적의 결과를 얻기에 충분하지 않다고 설명한다.출처: §7 · p. 12
- 이 모델은 자극과 개인별 시청 행동 전반에 걸친 공간적·시간적 scanpath 특성을 다루며, 저자들은 개인화된 GUI 흐름을 접근성 개선에 활용할 가능성을 제시한다.시청에 어려움이 있는 사람들을 위해 인터페이스를 최적화할 수 있다고 제안한다.출처: §7 · p. 12
- 개인화를 위한 개인별 scanpath 데이터 확보는 여전히 실용적인 과제다. 가능한 방법으로는 허용된 웹캠 사용, 보정 세션, 마우스 움직임을 대리 지표로 활용하는 방법이 있다.이 방법들은 사용자 데이터를 수집하거나 추론할 수 있는 선택지로 제시된다.출처: §7 · p. 12
- 이 모델은 7초 자유 시청 구간 안에서 고정 길이 scanpath와 fixation만 예측한다. 저자들은 관찰자당 50개 샘플과 자연 장면 중심의 지표도 한계로 지적한다.향후 연구에서는 가변 길이, 다른 안구 움직임, 더 적은 샘플, GUI에 더 적합한 지표를 다룰 수 있다.출처: §7 · p. 12