PaperlayerView exact revision on arXiv

Source-linked AI summary

BadWAM: When World-Action Models Dream Right but Act Wrong

Qi Li, Xingyi Yang, Xinchao Wang

arXiv:2607.15207v1cs.LGcs.RO

TL;DR

World-action model은 상상한 미래가 그럴듯하게 유지되는 상황에서도 유해한 행동을 실행할 수 있어, 행동-상상 정렬이 충분히 검증되지 않은 상태다. BadWAM은 이 간극을 악용하는 공격을 정식화하고, WAM 변형 전반에서 closed-loop 성공률을 크게 낮추며 약 30%-50%의 하락을 보고한다.

  • 문제

    공격자가 모델의 상상한 미래를 겉보기에는 그럴듯하게 유지하면서 WAM 행동을 크게 바꿀 수 있는지는 여전히 불분명하다.

  • 방법

    BadWAM은 작은 관측 perturbation을 사용해 action-only 및 imagination-preserving world-action drift attack을 모델링하고 평가한다.

  • 결과

    WAM 변형 전반에서 closed-loop 성공률이 약 30%-50% 하락하며, imagination-preserving attack은 상당한 attack strength를 유지하면서 예측된 미래를 clean rollout에 더 가깝게 만든다.

  • 시사점 및 한계

    WAM의 행동 생성과 미래 예측 간 결합은 action-imagination decoupling을 통해 그 자체로 attack surface가 될 수 있다.

  • 시사점 및 한계

    평가된 defense는 불완전하다. 공격이 non-adaptive하고, preprocessing이 clean performance를 저하시킬 수 있으며, 실용적인 false-positive rate에서 consistency detection이 충분하지 않기 때문이다.

Abstract

from arXiv · show

World-action models (WAMs) are emerging as a promising foundation for embodied control: rather than predicting actions alone, they learn representations that couple action generation with future world prediction. This coupling is often viewed as a source of robustness, interpretability, and safety, as a robot's action can in principle be checked against its imagined future. In this paper, we show that this assumption is fragile. We introduce BadWAM, a unified framework for modeling and evaluating World-Action Drift Attacks: a new class of WAM-specific adversarial attacks that use small visual perturbations to break the alignment between what a WAM imagines and what it executes. BadWAM characterizes this attack surface along two natural criteria: attack strength and stealthiness. When the adversary prioritizes disruption, BadWAM instantiates an action-only adversarial attack, which directly drives the model toward task-failing actions. When the adversary additionally prioritizes stealth, BadWAM instantiates an imagination-preserving adversarial attack, which seeks to induce harmful action shifts while keeping the model's predicted future close to its clean imagination. Together, these two attacks capture a spectrum of WAM-specific failures: from overt action hijacking to stealthier cases where the model appears to imagine a plausible future but executes a desynchronized action. We evaluate BadWAM across different variants of WAMs. Results show that our attacks substantially reduce task success rates under closed-loop execution. For example, our action-only attack reduces the model performance from 96.5% to 43.1% success. The results of our imagination-preserving attack further exposes a WAM-specific vulnerability: moderate future-preserving regularization can maintain strong attack performance while reducing future imagination drift.

1 서론

BadWAM은 작은 시각적 perturbation이 WAM이 실행하는 action과 그럴듯하게 상상한 future를 비동기화하여, future prediction을 safety signal로 사용하는 방식을 약화시킬 수 있음을 보인다. 두 가지 attack variant는 노골적인 action hijacking부터 은밀한 imagination-preserving failure까지 이어지는 취약성을 드러낸다.

  • 배경: WAM은 action generation과 future world prediction을 결합하며, 이는 더 풍부한 representation, planning, verification, safety monitoring을 지원하기 위한 설계다 [22] [27].최근 variant들은 future observation 또는 latent future를 명시적으로 생성하는지, video modeling을 보조적으로 사용하는지, specialized manipulation 및 contact-rich control을 대상으로 하는지에 따라 다르다 [5] [18] [25].
  • 방법: BadWAM은 deployed WAM에 대한 black-box access 하에서 attack strength와 stealthiness를 기준으로 attack surface를 모델링한다.Action-only variant는 task disruption을 우선하는 반면, imagination-preserving variant는 그럴듯한 predicted future를 유지하면서 failure를 유발한다.
  • 실증 결과: Action-only attack은 closed-loop task success를 96.5%에서 43.1%로 낮추는 반면, imagination-preserving attack은 강한 attack performance를 유지하면서 imagination drift를 줄인다.LIBERO [16]와 RoboTwin [6]에서 WAM variant 전반에 걸쳐 수행한 실험은 제한된 시각적 perturbation 하에서의 취약성을 보인다.
  • 문제와 취약성: BadWAM은 adversarial perturbation이 predicted future를 시각적으로 그럴듯하게 유지하는 동안에도 action을 hijack하는 World-Action Drift Attack을 규명한다.이 비동기적 failure는 WAM이 상상하는 것과 robot이 실행하는 것 사이에 위험한 간극을 만든다.

2 관련 연구

World-action model은 여러 아키텍처 형태에 걸쳐 action generation과 학습된 future-world prediction을 결합하며, 이를 바탕으로 future-based safety check를 가능하게 한다. BadWAM은 아직 다뤄지지 않은 보안 공백을 식별한다. 즉, imagined future가 그럴듯하게 유지되는 동안 action이 hijack될 수 있으며, 이는 world model과 imagination integrity를 대상으로 한 기존 공격을 보완한다.

  • World-Action Model: WAM은 latent state, decoded frame 또는 공동 모델링된 future representation과 action prediction을 결합한다는 점에서 reactive policy와 다르다.일부 모델은 inference 시 future prediction을 사용하고, 다른 모델은 이를 주로 training signal로 사용하지만, 이러한 결합은 여전히 취약한 action representation을 형성할 수 있다.
  • World-Action Model: 최근 변형들은 WAM을 object-centric manipulation, 통합 mobility-and-manipulation control, visual-tactile contact-rich manipulation으로 확장한다 [18] [5] [25].이러한 시스템은 WAM이 visual manipulation을 넘어 더 풍부한 embodied setting으로 확장되고 있음을 보여준다.
  • WAM 보안 공백: 기존 WAM 연구는 future prediction을 representation, planning interface 또는 safety signal로 다루지만 [3] [17], monitor는 action alignment를 검증하지 않은 채 imagination만 검사할 수 있다.따라서 observation perturbation이 겉보기에 그럴듯한 imagined future를 유지하면서 execution을 크게 바꿀 수 있는지는 여전히 열려 있다.
  • Adversarial Attack: 기존 adversarial attack 연구는 image classifier, black-box setting, physical transformation, embodied perception 또는 policy failure를 아우른다 [9] [19] [24] [4] [11] [26] [8] [15].이러한 공격은 일반적으로 executed action과 imagined future 사이의 alignment보다는 prediction이나 reactive decision을 겨냥한다.

3 위협 모델

BadWAM은 작고 제한된 시각적 perturbation을 사용해 closed-loop WAM policy에 대한 inference-time attack을 모델링하며, action-only 및 imagination-visible access level을 다룬다. 또한 instruction, dynamics, parameter, training data 또는 robot을 직접 수정하지 않고, model이 상상한 future를 보존하면서 execution을 방해하는 stealthy attack도 평가한다.

  • Inference-Time Setting: 위협 모델은 closed-loop execution으로 배포된 WAM policy를 대상으로 하며, perturb된 각 observation은 action chunk와 선택적으로 imagined latent 또는 decoded future를 생성한다.Robot은 chunk의 일부를 실행하고, environment를 다시 관찰한 뒤 replan한다.
  • Adversarial Capability: Adversary는 concatenated multicamera observation을 포함한 전체 visual input에 제한된 perturbation을 적용하면서 goal, state, dynamics, parameter 및 training data는 변경하지 않는다.Attack된 observation은 clean observation과 시각적으로 가깝게 유지된다.
  • Stealthiness: Stealthy attack은 imagined future를 clean prediction과 가깝게 유지하면서 execution을 저하시켜, imagined outcome과 executed action 사이의 gap을 겨냥한다.Predicted future가 그럴듯해 보이면 monitor가 action을 수용할 수 있으므로 이 gap이 중요하다 [3].
  • Non-Goals: 범위에서 training-time poisoning, model extraction, reward hacking, prompt injection, physical environment modification, direct robot command 및 post-action controller alteration은 제외한다.초점은 inference time에 WAM의 world-action interface를 악용하는 작고 제한된 observation perturbation으로 한정된다.

4 BadWAM

BadWAM은 행동 출력과 상상된 미래 사이의 정렬 문제로 WAM 보안을 정식화하고, 온라인에서 최적화한 제한된 시각적 섭동으로 이 인터페이스를 공격한다. 고강도 행동 교란부터 더 은밀한 상상 보존 공격까지 포괄하며, 그럴듯한 상상 미래와 비동기화된 실행이 공존하는 실패 모드도 포함한다.

  • BadWAM 프레임워크: BadWAM은 행동 편차에 D_act, 상상 드리프트에 D_img를 사용해 world-action drift를 모델링하고, 제한된 시각적 섭동으로 두 요소의 정렬을 공격한다.이 프레임워크는 WAM을 질의 가능한 예측-행동 시스템으로 간주하고, 각 재계획 단계에서 섭동을 최적화한다.
  • 상상 보존 공격: 상상 보존 공격은 λ로 제어되는 Lagrangian 절충을 통해 미래 드리프트를 제한하면서 행동 교란을 최대화한다.λ = 0이면 순수한 행동 교란이 되고, λ가 클수록 상상된 미래를 덜 변화시키는 은밀한 공격을 선호하므로 피해가 줄어들 수 있다.
  • 상상 보존 공격: 이 공격은 로봇이 그럴듯한 미래를 상상하는 것처럼 보이지만 비동기화된 행동을 실행하는 WAM 특유의 실패를 겨냥한다.정성적 결과는 보존 항이 적대적 미래를 clean prediction에 더 가깝게 유지하는 동시에 행동 공간에서의 실패는 여전히 가능하게 함을 보여준다.
  • 최적화 및 평가: BadWAM은 gradient, weight, training data 없이 zeroth-order finite differences를 사용하고 섭동을 ℓ∞ ball에 사영하는 black-box query-based online attack이다.동일한 optimizer가 scalar objective만 변경해 두 공격을 모두 지원하며, 각 재계획 단계에서 섭동을 다시 계산한다.

5 평가

BadWAM은 imagination 기반 모델을 포함한 다양한 WAM 변형에서 closed-loop task success를 크게 저하시킨다. 이러한 실패는 구조적이고 점진적이며 반복 trial에서도 지속된다. 또한 평가 결과, attack strength, future preservation, runtime effectiveness는 서로 다른 조정 가능한 tradeoff에 의해 좌우된다.

  • RQ1: Closed-loop 결과: LIBERO에서 BadWAM은 action-only WAM의 success를 96.5%에서 43.1%로 낮춰 53.4% drop을 유발하며, joint-WAM의 success도 61.5% 또는 63.0%로 낮춘다.Clean joint 및 IDM WAM의 success는 각각 96.7%와 100.0%에 도달한다.
  • RQ1: Closed-loop 결과: Random perturbation은 BadWAM보다 약하다. joint-WAM의 success는 random noise에서 71.0%로 유지되는 반면 BadWAM에서는 61.5%/63.0%이고, white-box attack에서는 49.2%에 도달한다.IDM WAM에서는 random noise를 적용해도 success가 75.2%로 유지되며, BadWAM에서는 66.1%/68.1%, white-box attack에서는 52.8%다.
  • Task-level failure 구조: BadWAM은 작은 action error가 누적되는 spatial 및 long-horizon task에서 가장 큰 피해를 주는 반면, object-centric task에서는 비교적 높은 success가 유지된다.action-only WAM에서 Spatial success는 96.5%에서 16.0%로, Goal success는 97.0%에서 40.0%로, Long-horizon success는 92.5%에서 23.5%로 하락하며, Object success는 93.0%로 유지된다.
  • 반복 trial reliability: 반복 trial에서도 attacked performance는 clean performance와 계속 분리된다. clean action-only WAM은 1.0 pass@k 부근을 유지하는 반면, attacked model은 20회 trial 동안 0.40-0.43 수준에 머문다.이러한 지속성은 일부 운 나쁜 seed가 아니라 체계적인 reliability loss를 나타낸다.
  • RQ3: Mechanism 분석: Attack은 점진적이고 국소적으로 plausible한 action drift를 유발한다. optimization 중 action distance는 증가하는 반면, preservation objective에서는 future-video distance의 변화가 더 완만하다.imagination-preserving attack은 matched resource 조건에서 average predicted-future distance를 14.01에서 13.04로 낮추며, 40개 LIBERO task 중 39개에서 더 낮다.
  • RQ5: Sensitivity 분석: Attack은 tunable하다. λ를 늘리면 future distance가 감소하고, 더 큰 perturbation budget은 attack strength를 높이며, query budget은 비단조적 strength-runtime frontier를 따라 일정 수준까지 success reduction을 개선한다.ε = 0.01에서 joint와 IDM success는 각각 95.8%와 98.3%이고, ε = 0.20에서는 모두 0.0%에 도달한다. 반면 budget 32는 추가적인 success 감소 없이 더 큰 비용을 초래한다.

6 결론

결론은 world-action model에서 지각, 예측, 제어를 결합하는 것 자체가 공격 표면이 될 수 있다고 주장한다. BadWAM은 작은 관찰 perturbation을 통해 task failure를 유도하고, action-only attack을 넘어 action-imagination decoupling을 드러내는 black-box framework로 소개된다.

  • 6 결론: BadWAM은 action generation과 imagined future를 결합하는 것이 world-action model에서 공격 표면을 만들 수 있음을 보인다.이 framework는 지각, 예측, 제어 사이의 연결을 겨냥한다.
  • 6 결론: BadWAM은 작은 관찰 perturbation을 통해 task failure를 유도하는 world-action drift attack용 black-box framework다.
  • 6 결론: action-only attack을 넘어, BadWAM은 WAM 특유의 failure mode인 action-imagination decoupling을 드러낸다.

부록 · A 실험 설정 세부사항 · A.1 전체 및 부분집합 평가 프로토콜

평가는 표준 결과를 위해 전체 LIBERO benchmark sweep을 사용하고, 비용이 큰 진단 연구를 위해 균형 부분집합을 사용한다. 부분집합은 네 가지 manipulation suite 전체의 다양성을 유지하면서 ablation, transfer experiment, defense 간 대응 비교를 가능하게 한다.

  • A.1 전체 및 부분집합 평가 프로토콜: 전체 LIBERO sweep은 네 개의 suite를 대상으로 하며, suite당 10개 task와 task당 20회 trial을 포함해 model–attack pair당 총 800개의 closed-loop episode를 구성한다.Suite는 Spatial, Object, Goal, Long-horizon이다.
  • A.1 전체 및 부분집합 평가 프로토콜: 비용이 큰 진단 연구에서는 suite당 세 개의 task—task ID 0, 4, 9—를 포함하고 task당 10회 trial을 수행하는 균형 부분집합을 사용해 총 120개의 episode를 구성한다.부분집합은 모든 suite의 대표성을 유지하면서 평가 비용을 줄인다.
  • A.1 전체 및 부분집합 평가 프로토콜: Table 4는 보고된 결과 중 어떤 것이 전체 benchmark sweep을 사용하고 어떤 것이 균형 LIBERO 부분집합을 사용하는지 식별한다.이 구분은 표준 benchmark 범위와 비용이 큰 진단 평가를 분리한다.
  • A.1 전체 및 부분집합 평가 프로토콜: 부분집합은 spatial reasoning, object manipulation, goal-conditioned manipulation, long-horizon manipulation을 포함해 suite 다양성을 유지한다.각 부분집합 실험에는 네 가지 범주의 대표 task가 모두 포함된다.
  • A.1 전체 및 부분집합 평가 프로토콜: 동일한 부분집합을 future-preserving-weight, perturbation-budget, query-budget ablation 전반에 사용한다.하나의 고정된 부분집합을 사용하므로 이러한 ablation 간 비교는 task 기준으로 대응된다.
  • A.1 전체 및 부분집합 평가 프로토콜: 고정된 부분집합은 transfer experiment와 defense baseline에 대해서도 대응 비교를 지원한다.이 연구들은 ablation과 동일한 task selection을 사용한다.

A.2 학습 세부사항

실험에서는 action-only, joint, IDM WAM에 대해 공식 또는 FastWAM 기반 학습 구성을 사용하며, RoboTwin 변형은 8 H100 GPU에서 50,000 step 동안 학습한다. LIBERO와 RoboTwin은 benchmark별 multi-camera 입력과 33-frame 학습 window를 사용하고, joint 및 IDM 변형은 FastWAM architecture와 scheduler를 유지한다.

  • 학습 구성: RoboTwin joint 및 IDM WAM은 FastWAM recipe를 사용해 8 H100 GPU에서 50,000 optimization step 동안 학습한다.action-only model은 공식 FastWAM checkpoint를 사용하고, LIBERO joint 및 IDM 변형은 FastWAM default configuration을 사용한다.
  • 모델 구성: joint 및 IDM 변형은 FastWAM architecture, backbone, tokenizer, 그리고 default action 및 video scheduler를 유지한다.configuration은 video backbone으로 Wan-AI/Wan2.2-TI2V-5B를, tokenizer로 Wan-AI/Wan2.1-T2V-1.3B를 사용하며, 1000 training timestep과 shift value 5.0을 적용한다.

A.3 공격 Hyperparameters 및 Query Accounting

BadWAM은 closed-loop replanning 중 전처리된 전체 visual input을 online으로 perturb하며, 기본 ℓ∞ budget ε = 0.06과 공격된 각 replan당 17회의 WAM forward query를 사용한다. 공격 objective는 future-preserving regularization에 따라 달라진다. action-only는 λ = 0으로 설정하는 반면, imagination-preserving은 기본 λ = 0.015를 사용한다.

  • Attack Hyperparameters: ε = 0.06은 각 closed-loop replanning 단계에서 전처리된 전체 visual input에 대한 online perturbation의 범위를 제한한다.perturbation은 공격 대상인 모든 replan에 적용된다.
  • Query Accounting: 공격된 각 replan당 17회의 WAM forward query는 16회의 perturbation query와 1회의 clean reference query로 구성되며, 8개의 paired finite-difference update로 조직된다.이는 기본 zeroth-order finite-difference search configuration이다.
  • Attack Hyperparameters: action-only objective는 future-preserving coefficient를 λ = 0으로 설정하는 반면, imagination-preserving objective는 기본 λ = 0.015로 predicted-future drift에 패널티를 부과한다.Figure 12에서는 두 objective 간 matched-strength comparison을 위해 더 큰 coefficient를 사용한다.

A.4 White-Box Gradient-Access Reference · A.5 Random Perturbation Baseline · A.6 Evaluation Metrics

평가는 BadWAM의 query-based threat model을 더 강한 white-box 진단 및 model-agnostic random perturbation과 구분하고, closed-loop success, behavioral distance, perturbation statistics, repeated-trial reliability을 통해 attack effect를 측정한다. White-box reference는 primary threat model의 일부가 아니라 upper-bound diagnostic으로 사용된다.

  • A.4 White-Box Gradient-Access Reference: White-box gradient access는 action output을 통한 backpropagation이 가능할 때 attack이 얼마나 강해지는지를 맥락화하기 위한 diagnostic reference로만 사용된다.BadWAM 자체는 query access를 가정하며 gradient나 model parameter를 요구하지 않는다.
  • A.4 White-Box Gradient-Access Reference: White-box reference는 16 projected-gradient steps 동안 하나의 bounded episode-start perturbation을 최적화하며, ||δ||∞≤0.06 조건에서 clean action-chunk와 perturbed action-chunk 간 deviation을 최대화한다.step size 0.01, ℓ∞ ball 내부의 random initialization, 최적화 이후의 standard closed-loop inference를 사용한다.
  • A.4 White-Box Gradient-Access Reference: Gradient access는 query-based BadWAM attack보다 vulnerability를 증폭할 수 있으며, 동일한 budget의 random perturbation은 targeted attack보다 훨씬 약하다.따라서 white-box result는 primary threat model이 아니라 diagnostic upper bound로 취급된다.
  • A.5 Random Perturbation Baseline: Random baseline은 BadWAM의 ℓ∞ budget 내부에서 independent uniform perturbation을 sampling하고, input을 valid range로 clipping하며, optimization objective와 model-specific signal을 제거한다.action output, future prediction, gradient, task feedback을 전혀 사용하지 않아, failure가 arbitrary visual corruption만으로 발생하는지 검증한다.
  • A.6 Evaluation Metrics: Closed-loop task success가 primary metric이며, attacked success가 낮을수록 attack이 강함을 의미한다.또한 action distance, predicted-future distance, input perturbation statistics를 보고하며, 앞의 두 지표는 clean behavior로부터의 mean ℓ2 deviation이다.
  • A.6 Evaluation Metrics: Pass@k는 각 task에서 first k trial 중 successful execution의 비율을 측정하고, 이를 task 전체에 걸쳐 평균내어 repeated evaluation에서의 reliability를 평가한다.이를 통해 더 많은 trial을 고려할수록 success를 일관되게 낮추는 attack과 단발적인 unlucky failure를 구분한다.
Loading 2607.15207v1…