FlowR2A: Learning Reward-to-Action Distribution for Multimodal Driving Planning

Xirui Li; Zhe Liu; Xiaoqing Ye; Wenhua Han; Yifeng Pan; Junyu Han; Hengshuang Zhao

Source-linked AI summary

FlowR2A: Learning Reward-to-Action Distribution for Multimodal Driving Planning

Xirui Li, Zhe Liu, Xiaoqing Ye, Wenhua Han, Yifeng Pan, Junyu Han, Hengshuang Zhao

arXiv:2606.24231v12026년 6월 23일cs.AI

TL;DR

Multimodal planner에는 dense reward supervision과 generative proposal modeling을 결합하는 framework가 부족했다. FlowR2A는 dense trajectory-reward pair에서 reward-conditioned action distribution을 학습하고, NAVSIM v1과 v2에서 기존 방법보다 훨씬 높은 품질의 multimodal proposal로 state-of-the-art 성능을 달성한다.

문제
기존 scoring-based 및 anchor-based planner는 dense reward supervision과 generative proposal modeling을 분리해 다루므로, 둘의 결합은 여전히 미해결 planning 과제로 남아 있다.
방법
FlowR2A는 flow-based decoding, fine-grained reward, controllable test-time sampling을 사용해 dense trajectory-reward pair에서 reward-conditioned action distribution을 학습한다.
결과
FlowR2A는 NAVSIM v1과 v2에서 state-of-the-art 성능을 달성하며, 기존 방법보다 훨씬 높은 품질의 multimodal proposal을 생성한다.
시사점 및 한계
FlowR2A는 feasible action distribution 내에서 고품질 multimodal proposal을 일관되게 생성한다.
시사점 및 한계
FlowR2A는 NAVSIM rule-based simulator의 reward-signal fidelity에 의존하며, 부정확한 subscore가 training 과정에 label noise로 전파될 수 있다.

Abstract

from arXiv · show

Multimodal driving planning faces a long-standing tension between two paradigms: scoring-based methods benefit from dense reward supervision but are confined to a fixed action vocabulary, while anchor-based methods generate proposals dynamically yet suffer from sparse supervision constrained to a single ground-truth trajectory. In this work, we propose FlowR2A, which resolves this tension by reframing simulation-based rewards from discriminative targets into generative conditions. By learning the reward-conditioned action distribution from dense trajectory-reward pairs with a flow-matching decoder, FlowR2A unifies the dense supervision of scoring-based methods with the proposal generation of anchor-based methods in a single generative model, forcing the model to internalize the correlation between an action and its outcomes in safety, progress, comfort, and rule compliance. To balance hard safety constraints against soft progress objectives, we introduce fine-grained per-timestep reward conditioning and reward noise augmentation. The generative formulation naturally supports controllable test-time sampling via reward guidance and anchored sampling, producing high-quality proposals. FlowR2A achieves state-of-the-art results on the NAVSIM v1 and v2 benchmarks, with multimodal proposals of substantially higher quality than prior methods.

1 서론

FlowR2A는 dense trajectory-reward pair에서 reward-conditioned action distribution을 학습해 dense reward supervision과 generative proposal modeling 사이의 긴장을 해소한다. 또한 controllable sampling을 가능하게 하며, NAVSIM v1 및 v2에서 더 높은 품질의 multimodal proposal로 state-of-the-art 성능을 달성한다.

기존 paradigm: Scoring-based planner [5] [32] [28] [33]는 dense reward label로 고정된 action vocabulary를 평가하는 반면, anchor-based planner [17] [35] [52] [24]는 proposal을 동적으로 decode하지만 GT에 가장 가까운 하나에만 supervision을 적용한다.그 결과 기존 paradigm에서는 dense action-reward supervision과 generative proposal modeling이 양립할 수 없게 된다.
한계: Anchor-based winner-takes-all supervision은 많은 anchor를 supervision에서 제외해 낮은 품질 또는 퇴화된 proposal을 생성하며, imitation-learning의 병리 현상도 답습한다 [9] [10].여기에는 ego 상태에서 shortcut learning을 하는 현상과 action consequence를 인식하지 못하는 현상이 포함된다.
동기와 접근법: FlowR2A는 dense trajectory-reward pair에서 p(a|r)를 학습해 scoring-based의 dense supervision과 anchor-based의 generative proposal modeling을 통합한다.Simulation-based reward는 action space 전반에서 safety, progress, comfort, rule compliance를 나타내며, 이 formulation은 controllable test-time sampling을 지원한다.
Reward conditioning: Fine-grained per-timestep safety 및 compliance reward는 hard constraint를 더욱 명확히 하며, reward noise augmentation은 decoder가 infeasibility 영역으로 넘어가지 않으면서 high-reward feasible boundary에 접근하도록 돕는다.두 설계는 high-reward action이 feasible-region boundary 근처에 놓이는 실질적 문제를 다룬다.
결과: FlowR2A는 NAVSIM v1 및 v2 [10] [3]에서 state-of-the-art performance를 달성하며, 기존 방법보다 훨씬 높은 품질의 multimodal proposal을 생성한다.이 결과는 fixed candidate나 single-GT supervision에 의존하기보다 전체 conditional action distribution을 모델링하는 접근을 뒷받침한다.

2 사전 지식

Flow matching은 Gaussian noise에서 data로 이어지는 probability path를 정의하고, 그 경로를 따르도록 velocity field를 학습한다. FlowR2A는 학습된 dynamics를 20-step Euler solver로 적분해 clean action sample을 생성한다.

Flow Matching: Flow matching [36] [1] [38]은 data x ∼ p_data(x)와 Gaussian noise ϵ ∼ N(0, I)를 선형 결합해 noisy sample z_t를 만든다.직선형 rectified-flow path에서 z_0은 pure noise이고 z_1은 clean sample이다.
FlowR2A Pipeline: FlowR2A는 scene feature를 조건으로 하는 flow-based action decoder에 AdaLN을 통해 reward embedding을 주입하고, velocity matching으로 이를 supervision한다.Training pipeline은 action-reward pair를 sampling해 noisy sample z_t를 구성한다.
Flow Matching: 모델 v_θ(z_t, t)는 velocity matching으로 학습되어 noise-to-data path를 따라 흐르는 velocity를 예측한다.
Sampling: Inference에서는 z_0 ∼ N(0, I)에서 시작해 20-step Euler solver [12]로 d z_t = v_θ(z_t, t) d t를 풀어 z_1의 clean sample을 생성한다.

3 방법

FlowR2A는 조밀한 시뮬레이션 action-reward pair에서 reward-conditioned action distribution을 학습하며, 세밀한 reward conditioning과 flow 기반 trajectory generation을 결합한다. 인식, reward encoding, proposal decoding, mode selection을 통해 추론 시 controllable multimodal planning을 지원한다.

조밀한 Action-Reward Pair: FlowR2A는 4초 길이 trajectory 8192개를 safety, progress, comfort, rule compliance를 포괄하는 simulated reward label과 짝지어 조밀한 training supervision을 구축한다.이 trajectory는 700K개의 nuPlan trajectory에서 clustering한 뒤 NAVSIM에서 simulation하여 action-reward pair를 생성한다.
세밀한 Reward Signal: 세밀한 reward signal은 submetric과 timestep별 hard-constraint array를 노출해 scalar score의 모호성을 해소하고, collision 및 road-compliance conditioning을 강화한다.timestep별 array는 projected collision time과 ego vehicle이 road와 route를 유지하는지를 인코딩한다.
Encoder: 모델은 multi-view image, BEV LiDAR, ego status, driving command를 인코딩하는 동시에 reward signal을 독립적으로 embedding하고 이를 무작위로 drop하여 subset conditioning과 classifier-free guidance [19]를 가능하게 한다.perception encoder는 auxiliary detection 및 semantic-segmentation loss도 사용하며, imitation head는 추론 anchor를 제공한다.
Flow 기반 Action Decoder: Flow 기반 action decoder는 scene 및 reward feature를 조건으로 noisy continuous trajectory를 denoising하며, scene cross-attention과 reward-conditioned adaptive normalization을 적용한 transformer block을 사용한다.학습에서는 균일하게 sampling한 time에서 trajectory에 Gaussian noise를 corruption하고 flow-matching decoder loss를 최적화한다.
Mode Selector: Mode selector는 예측된 NAVSIM subscore로 decoder proposal의 순위를 매기며, simulated online proposal에 대해 two-stage training으로 finetuning하고 calibration을 위해 vocabulary trajectory를 혼합한다.첫 번째 stage에서는 전체 model을 jointly training하고, 두 번째 stage에서는 decoder를 freeze한 뒤 inference와 일치하는 proposal distribution으로 selector를 학습한다.
추론: 추론 시 classifier-free guidance는 ODE 기반 denoising을 high-reward action 방향으로 유도하며, target reward와 anchor noise level을 변화시켜 proposal sampling을 제어한다.high-reward condition에서는 target PDM score를 제외한 모든 reward entry를 최댓값으로 고정하고, target PDM score는 sampling control로 유지한다.

4 실험

FlowR2A는 NAVSIM v1과 v2에서 state-of-the-art 성능을 달성하면서 실행 가능하고 품질 높은 multimodal proposal을 생성한다. Ablation 결과는 fine-grained reward conditioning, reward noise, guidance, mode selection이 각각 safety, robustness, objective balancing을 뒷받침함을 보여준다.

NAVSIM-v1 결과: FlowR2A는 NAVSIM-v1에서 92.8 PDMS를 달성해 기존 방법보다 ≥1.1 PDMS 앞서며, TTC에서는 ≥0.9, EP에서는 ≥2.1의 격차를 보인다.일반적으로 상충하는 safety와 progress 모두에서 앞서며, single-proposal sampling도 safety metric에서는 경쟁력을 유지한다.
NAVSIM-v2 결과: FlowR2A는 NAVSIM-v2에서 88.9 EPDMS와 보고된 safety 및 progress 점수 최고치를 기록하지만, extended comfort에서는 성능이 낮다.extended comfort 격차는 현재 mode selector가 frame을 독립적으로 scoring해 frame 간 일관성을 제한하기 때문으로 해석된다.
Proposal 품질: FlowR2A는 4개 proposal 이내에 iPad의 64-proposal PDMS를 넘어섰으며, 평균 proposal PDMS에서도 iPad보다 +11.5, DiffusionDrive보다 +29.1 높은 성능을 보인다.모든 proposal의 평균을 내면 가장 큰 이점이 드러나며, 이는 sampling된 action이 scorer가 선택한 trajectory에만 해당하지 않고 실행 가능한 distribution을 이룬다는 주장을 뒷받침한다.
Reward conditioning: 더 세밀한 reward conditioning은 TTC를 88.8에서 94.9로 향상시키며, reward noise는 high-score inference에서 정밀한 reward가 trajectory identifier로 작동하는 것을 막는다.Noise는 reward band를 실행 가능하고 품질 높은 action에 매핑하도록 유도하며, 더 세밀한 conditioning은 trajectory constraint가 위반되는 지점을 드러낸다.
Mode selection과 guidance: Mode selector는 주로 progress를 향상시켜 scored proposal이 늘어날수록 EP를 84에서 90으로 높이며, safety는 포화 상태를 유지한다. CFG는 필수적이며 scale 5에서 포화된다.이 결과는 sampling이 hard constraint를 흡수하는 반면 selection은 soft objective를 정교화한다는 것을 보여준다.
Sampling 전략: smax = 1.0 및 tmin ≤0.5 조건에서 FlowR2A는 일관되게 높은 성능을 유지하며, smin을 낮추면 동일한 0.05 range length에서 더 보수적인 proposal을 생성한다.Inference 시점의 reward-range 조정은 range length를 바꾸지 않고 objective 간 trade-off를 조절한다.

5 관련 연구

기존 multimodal driving planner는 고정 action vocabulary에 대한 scoring 또는 동적으로 생성되는 anchor-based proposal을 사용한다. FlowR2A는 dense supervision과 proposal generation을 결합하고, action distribution을 단일 scalar reward, return, goal이 아닌 timestep별 multi-signal reward에 조건화함으로써 두 패러다임을 연결한다.

End-to-End Autonomous Driving: End-to-end autonomous driving은 단일 미분 가능한 모델을 통해 raw sensor input을 planning output으로 직접 매핑한다.UniAD [20]는 perception, prediction, planning을 통합하고, VAD [22]는 vectorized scene representation을 사용하며, Transfuser [7]는 multi-view image와 LiDAR를 융합한다.
Multimodal Driving Planning: Multimodal planner는 고정 action vocabulary에서 선택하는 scoring-based method와 proposal을 동적으로 decode하는 anchor-based method로 나뉜다.Scoring-based method는 전용 scorer와 simulation-based supervision을 사용하고, anchor-based method는 action anchor에서 proposal을 생성한다.
Multimodal Driving Planning: FlowR2A는 scoring-based method의 dense supervision과 anchor-based method의 generation ability를 통합한다.관련 anchor-based method로는 fixed anchor에서 truncated diffusion을 수행하는 방법, dense trajectory scoring을 이용한 reinforcement-learning post-training, goal-point-conditioned flow matching, iterative proposal refinement가 있다.
Reward-Conditioned Policies and Offline RL: 초기의 reward-conditioned 및 offline-RL method는 단일 scalar reward, return, goal을 조건으로 하여 logged data에서 policy를 학습한다.인용된 방법군에는 reward-conditioned behavioral cloning [25] [45], return-conditioned sequence modeling [4], goal-conditioned supervised learning, diffusion-based planning [21]이 포함된다.

6 결론

FlowR2A는 multimodal driving planning을 위한 reward-conditioned action distribution을 학습하며, 세밀한 reward signal을 통해 dense reward supervision과 generative action modeling을 통합한다. 디코더는 feasible action distribution 내에서 고품질 multimodal proposal을 일관되게 생성한다.

FlowR2A는 multimodal driving planning을 위한 reward-conditioned action distribution을 학습한다.
이 framework는 세밀한 reward signal을 통해 dense reward supervision과 generative action modeling을 통합한다.
실험 결과, FlowR2A는 feasible action distribution 내에서 고품질 multimodal proposal을 일관되게 생성한다.

A 한계와 향후 방향

FlowR2A의 action-distribution 품질은 reward signal의 충실도에 의해 제한되며, 향후에는 NAVSIM의 rule-based simulator를 더 빠른 learned 또는 proxy reward function으로 대체할 수 있다. Reward bias가 주행 안전성에 영향을 미칠 수 있으므로, 실제 사용에는 runtime monitoring과 human oversight가 필요하며, 이 논문은 real-world deployment를 주장하지 않는다.

한계: 학습된 p(a|r)는 reward-signal fidelity에 의해 제한된다. simulator subscore의 부정확성이 supervision으로 전파되기 때문이다.NAVSIM의 ego-area check는 인접한 area polygon 사이의 틈으로 인해 false detection을 생성할 수 있으며, 이는 timestep별 ego-area array에 label noise를 유입한다.
향후 방향: FlowR2A는 rule-based simulation을 learned reward model, hand-crafted proxy metric 또는 GTRS [33]와 같은 pretrained trajectory scorer로 대체함으로써 NAVSIM을 넘어 확장될 수 있다.이러한 대안은 rule-based simulation보다 상당히 빠르며 online labeling을 지원할 수 있다고 설명된다.
광범위한 영향: Reward-signal bias 또는 blind spot은 autonomous-driving behavior로 전파될 수 있으므로, 실제 사용에는 독립적인 runtime monitoring과 human oversight가 필요하다.평가는 closed-loop NAVSIM simulation으로 제한되며, 이 논문은 real-world deployment에 대해 어떠한 주장도 하지 않는다.

B 기존 생성형 플래너와의 비교 · C 추가 실험

FlowR2A는 외부 multimodality 메커니즘을 사용한 단일 ground-truth supervision에 의존하지 않고, dense action-reward pairs에서 reward-conditioned action distributions를 학습한다는 점에서 기존 생성형 플래너와 다르다. 추가 실험은 기존 생성형 policy가 single-trajectory regression으로 붕괴할 수 있는 반면, FlowR2A는 inference 시 denoising을 거의 필요로 하지 않음을 보여준다.

B 기존 생성형 플래너와의 비교: FlowR2A는 dense action-reward pairs로 decoder를 학습한다. 반면 기존 flow 또는 diffusion 플래너는 scene마다 하나의 ground-truth trajectory를 사용하고 외부에서 multimodality를 주입한다.기존 메커니즘으로는 fixed anchors, goal-point selection, scorer outputs가 있다.
B 기존 생성형 플래너와의 비교: Naive diffusion 또는 flow policy는 single-trajectory regression으로 붕괴할 수 있다. 결정론적 ground-truth supervision은 noise input이 정보를 인코딩하도록 유도할 동기를 거의 제공하지 않기 때문이다.따라서 서로 다른 noise sample은 수렴 시 하나의 mode로 수렴한다.
B 기존 생성형 플래너와의 비교: DiffusionDrive [35]는 20 trajectory anchors, winner-takes-all reconstruction, 별도의 classification head를 사용해 multimodal anchor space 전반에 proposal이 분포하도록 강제한다.ground truth에 가장 가까운 anchor만 reconstruction supervision을 받는다.
B 기존 생성형 플래너와의 비교: GoalFlow 는 별도로 구성한 separately constructed high-scoring goal-point condition을 변화시켜 diversity를 얻지만, flow decoder는 여전히 단일 ground-truth trajectory를 대상으로 학습된다.따라서 해당 flow도 naive policy와 동일한 degeneration을 겪는다.
B 기존 생성형 플래너와의 비교: inference에서는 single denoising step만으로 충분하며, 이는 noise input이 지닌 정보가 적음을 보여준다. Table 5는 이에 해당하는 NAVSIM navtest latency breakdown을 보고한다.latency 측정은 단일 NVIDIA H20 GPU, batch size 1, 1000 samples 조건에서 수행됐다.
B 기존 생성형 플래너와의 비교: CATG [37]는 trajectory, endpoint, ego-progress conditioning을 추가하지만, 여전히 flow decoder를 단일 ground-truth trajectory에 대해 학습하므로 per-condition mode collapse가 발생할 가능성이 더 높다.target endpoint는 사전 학습된 GTRS [33] scorer의 top-100 candidates에서 선택된다.

C.1 지연 시간 분석 … D.2 보상 점수 분포

FlowR2A의 지연 시간은 순차적 denoising이 지배하며, denoising 단계 수와 reward 가중치 조절을 통해 속도–품질 및 진행–안전 간 trade-off를 조절할 수 있다. 정성적 sampling은 제어 가능한 proposal 다양성을 보여주며, reward label은 trajectory 전반에서 매우 비균일하다.

C.1 지연 시간 분석: Denoising이 프레임당 지연 시간의 75%를 초과하는 반면, perception, reward encoding, mode selection을 합친 시간은 22 ms 미만이며 proposal 수에 따른 지연 시간 변화는 9 ms에 불과하다.따라서 순차적 denoising이 주요 계산 병목이다.
C.2 Denoising 단계 수: K=10 denoising 단계를 사용하면 1.7× 속도 향상과 0.6 PDMS 하락이 발생하며, PDMS는 기본 설정인 K=20에서 포화된다.지연 시간은 K에 따라 대략 선형으로 증가한다.
C.3 Mode Selector Aggregation Weight: Aggregation weight를 변경해도 PDMS는 0.3 이내로 유지되며, progress와 safety를 조절할 수 있다. 이때 EP가 90.1에서 88.0으로 하락하는 동안 TTC는 96.0에서 97.1로 상승한다.이 가중치는 재학습 없이 inference 시점에 조절할 수 있는 제어 수단이며, 공식 NAVSIM weight는 여전히 견고하다.
D.1 Sampling Space 시각화: rhigh를 0.80에서 1.00으로 높이면 proposal이 더 높은 ego progress를 향하도록 이동하며, tinit를 0.75에서 0.95로 높이면 proposal이 imitation-learning 출력에 더 가깝게 anchor된다.tinit가 높을수록 sampled proposal의 공간적 분산이 줄어든다.
D 정성적 결과: 정성적 sampling control은 proposal의 progress와 공간적 다양성을 재구성하며, sampled action space 전반에서 제어 가능한 generation을 보여준다.rhigh와 tinit sweep은 이러한 정성적 control mechanism을 제공한다.
D.2 Reward Score Distribution: 8192-trajectory vocabulary 전반에서 대부분의 candidate는 낮은 aggregate PDMS를 받는 반면, 고품질 action은 sparse subset을 이루며 reward signal은 상호 보완적인 영역을 형성한다.EP와 HC는 soft progress 및 smoothness 선호를 나타내는 반면, timestep별 TTC-time과 ego-area label은 hard constraint를 국소화한다.

D.3 실패 사례 · D.4 확장 비교 · E NAVSIM 벤치마크 및 PDM Score

FlowR2A의 실패는 인지 범위와, 더 중요하게는 모드 선택이 여전히 병목임을 드러내며, 확장 장면과 벤치마크 세부 사항은 평가 맥락을 넓힌다. NAVSIM 섹션은 데이터셋, 시뮬레이션 파이프라인, 세부 점수, 그리고 PDMS/EPDMS 집계 방식의 차이를 정의한다.

D.3 실패 사례: FlowR2A는 궤적 중간의 차량을 놓치거나 TTC 또는 DAC 동작이 불충분하고, 실행 가능한 대안이 있음에도 안전하지 않은 모드를 선택해 실패한다.Figure 11은 인지 누락, 근접 추종, 가장자리 이탈, ranking 오류를 포함한 네 가지 대표적인 navtest 실패 사례를 제시한다.
D.3 실패 사례: 주요 한계는 인지 범위와 mode-selector quality이며, selector가 더 직접적으로 개선 가능한 병목으로 확인된다.decoder가 대부분 실행 가능한 proposal을 생성하더라도 selector가 실패하는 proposal을 여전히 상위에 올릴 수 있어, 회복 가능한 여지가 남는다.
D.3 실패 사례: Figure 9는 하나의 navtest 장면에서 높은 reward target과 초기 denoising time을 변경할 때 configuration마다 60 sampled proposals가 어떻게 달라지는지 시각화한다.다른 모든 inference 설정은 sampling-space grid 전반에서 고정된다.
D.3 실패 사례: Figure 10은 하나의 navtest 장면에서 8192 vocabulary trajectories 전반의 PDMS, NC, EP, HC, TTC-time, ego-area reward signal을 나타낸다.더 밝은 색은 PDMS, NC, EP, HC에서 더 높은 점수를 나타내며, TTC-time과 ego-area는 위반이 발생한 경우에만 선택적으로 표시한다.
D.4 확장 비교: Figures 12–14는 본 논문의 정성적 비교를 additional navtest scenes로 확장한다.이 그림들은 주요 예시를 넘어 추가적인 정성적 비교를 제공한다.
E NAVSIM 벤치마크 및 PDM Score: NAVSIM [10] [3] 벤치마크 섹션은 데이터셋, 시뮬레이션 파이프라인, 평가 세부 점수, reward 구성 프레임워크를 명시한다.또한 v1의 PDMS 집계, v2의 EPDMS 집계, 두 버전 간 차이를 정의한다.

E.1 데이터셋 및 시뮬레이션 파이프라인 … F.3.2 궤적 샘플링

이 논문은 NAVSIM의 시뮬레이션 기반 평가와 FlowR2A의 구현을 자세히 설명하며, dense reward 구성, reward-conditioned flow decoding, mode selection, rebalanced trajectory sampling을 다룬다. NAVSIM v1/v2는 safety gate와 comfort/compliance 항이 서로 다르고, 학습에는 simulated state sequence와 score-density-aware sampling을 사용한다.

E.1 데이터셋 및 시뮬레이션 파이프라인: NAVSIM은 10 Hz에서 LQR-controlled kinematic bicycle을 통해 8개의 waypoint를 replay하여 4-second plan을 평가하고, scoring을 위해 41 simulated state를 생성한다.데이터셋에는 multimodal observation, driving command, agent track, map, future trajectory를 포함한 103k navtrain 및 12k navtest frame이 있다.
E.2 Subscore; E.3 Aggregation; E.4 v1과 v2의 차이: NAVSIM은 multiplicative safety/compliance gate와 weighted progress, collision, comfort, lane-quality 항을 결합하며, v2에서는 DDC와 TLC gate를 추가하고 C를 HC로 대체하며 LK와 EC를 추가한다.PDM reference trajectory는 ego progress를 정규화한다. EC는 정의되지 않은 경우 제외되며, v2는 human reference도 동일하게 실패한 경우를 용인하도록 human penalty filter를 적용한다.
F.1 Reward Construction: FlowR2A는 각 navtrain scene에 대해 8192-trajectory vocabulary를 simulation하여 dense action-reward pair를 생성하고, scalar NAVSIM v2 reward와 더 높은 해상도의 per-timestep TTC-time 및 ego-area array를 사용한다.scalar set에는 NC, DDC, TLC, EP, LK, HC, PDM이 포함된다. EP는 safety-gated되고 정규화되며, DAC와 TTC는 temporal array로 대체된다.
F.1 Reward Construction: Reward construction은 offline CPU process로 수행되며, scalar reward에는 32개 machine에서 약 하루, per-timestep reward에는 8개 machine으로 구성된 4개 node에서 approximately eight hours가 소요된다.학습 중 EP와 PDM score에는 σ = 0.05인 Gaussian noise를 추가하지만 inference 시에는 추가하지 않는다.
F.2.2 Reward Encoder: reward encoder는 type-specific module을 사용해 discrete, scalar, per-timestep reward를 embedding하며, scheduled reward dropout을 통해 unconditional 및 partially conditioned distribution을 모두 학습시킨다.모든 reward는 probability 0.5로 유지하고, probability 0.1로 jointly drop하거나 probability 0.4로 independently drop하며, 각 reward의 drop probability는 0.5다.
F.2.3 Flow-based Action Decoder; F.2.4 Mode Selector: four-block transformer flow decoder는 diffusion time과 256-dimensional reward embedding을 AdaLN modulation에 conditioning하여, 8개의 (x, y, θ) waypoint로 표현된 4-second trajectory를 생성한다.mode selector는 lightweight transformer로 proposal을 scoring하고, continuous TTC label과 tbound = 2 seconds를 사용해 NAVSIM subscore와 auxiliary TTC-time 및 ego-area array를 예측한다.
F.3.2 Trajectory Sampling: trajectory sampling은 scene별 PDM-score density에 반비례하도록 sample에 weight를 부여해 score imbalance를 상쇄하며, α = 0.6인 KDE rebalancing을 사용하고 decoder와 selector에 각각 20개의 trajectory를 별도로 sampling한다.Uniform sampling은 드문 high-score trajectory를 과소 대표한다. α = 0은 trajectory에 대해 uniform이고, α = 1은 score bin에 대해 uniform이다.

F.3.3 Stage 1: End-to-End Training … F.4.1 Default Sampling Configuration

학습 파이프라인은 공동 최적화된 stage-1 구성 요소를 사용한 뒤, decoder proposal과 sampled vocabulary trajectory에 대해 selector만 finetuning한다. 추론에서는 classifier-free guidance, anchored sampling, 무작위 reward 및 noise 제어를 포함한 고정 Euler 기반 설정을 사용한다.

F.3.3 Stage 1: End-to-End Training: Stage 1에서는 velocity-matching loss Ldec에 40의 가중치를 부여하고, Lperc에는 각각 agent class, box, BEV semantic, IL-head loss에 10, 1, 14, 10의 가중치를 부여하며, Lsel에는 10의 가중치를 부여한다.이 가중치는 gradient scale의 균형을 맞추도록 선택된다.
F.3.3 Stage 1: End-to-End Training: Stage 1에서는 reduced selector supervision을 보조 scene-feature signal로 사용하고, v2 subscore NC, DAC, EP, TTC, HC를 예측하며, per-timestep TTC-time 및 ego-area head는 제외한다.이를 통해 stage-2 finetuning 절차 이전에 selector target을 정의한다.
F.3.3 Stage 1: End-to-End Training: t → 1 부근에서 Ldec를 안정화하기 위해 학습 시 denominator를 max(1 − t, 0.05)로 clip한다. 이 loss 전용 clip은 underlying sampling formulation에 영향을 주지 않는다.clip된 변환은 vθ = (xθ − zt) / max(1 − t, 0.05)이다.
F.3.4 Stage 2: Mode Selector Finetune: Stage 2에서는 mode selector를 제외한 모든 구성 요소를 freeze하고, stage-1 vocabulary trajectory와 inference-time decoder proposal을 연결하도록 두 epoch 동안 finetuning한다.학습은 8개의 H20 GPU에서 batch size 256으로 수행하며, 그 외 설정은 stage 1과 동일하다.
F.3.4 Stage 2: Mode Selector Finetune: Stage 2에서는 inference와 동일한 방식으로 sampling한 decoder proposal, inverse-density-weighted random vocabulary trajectory 32개, simulator-derived subscore, per-timestep TTC-time 및 ego-area array를 사용해 selector를 학습한다.selector는 App. F.2.4에서 정의한 Lsel 하에서 이러한 target을 예측한다.
F.4.1 Default Sampling Configuration: Default sampling은 20 denoising step, CFG scale wg=5를 사용하는 Euler scheduler와, zero-shot anchored sampling의 anchor로 IL-head output을 사용한다.rhigh와 tinit은 proposal마다 독립적으로 균등 sampling하며, target score는 [0.9, 1.0], initial noise level은 [0.5, 0.9]이다.

F.4.2 실험별 Sampling 설정 · F.4.3 Classifier-Free Guidance용 Reward Subset

실험별 추론 설정은 proposal 수, tmin 하한, 단일 proposal 구성만 다르다. Classifier-free guidance는 무작위화한 target score와 hard safety, 주행 가능 영역, comfort 제약을 결합한 선택 reward를 사용한다.

F.4.2 실험별 Sampling 설정: Table 8에 요약된 것처럼, 실험별 추론 설정은 proposal 수, tmin 하한, 단일 proposal 구성만 다르다.Table 8은 Appendix F.4.1의 기본 구성과 다른 항목을 정의한다.
F.4.2 실험별 Sampling 설정: 단일 proposal Tab. 1 평가에서는 random sampling으로 인한 noise를 피하기 위해 rhigh와 tinit를 대표값으로 고정한다.그 외 단일 proposal 실험에서는 multi-proposal 추론과 동일하게 두 control을 모두 기본 범위에서 sampling한다.
F.4.2 실험별 Sampling 설정: Tab. 3에서는 iPad [17]의 비교 설정에 맞추기 위해 64 proposals를 사용한다.
F.4.3 Classifier-Free Guidance용 Reward Subset: Classifier-free guidance는 세 scalar reward—NC, HC, target PDM score—와 두 per-timestep reward인 TTC-time 및 ego-area를 조건으로 사용한다.target score를 제외한 모든 항목은 최댓값으로 설정하고, target score는 [smin, smax]에서 무작위화한다.
F.4.3 Classifier-Free Guidance용 Reward Subset: 이 prescribed subset은 대부분의 scene-dependent reward를 비워 두어, 학습된 p(a|r)가 추론 중 이를 균형 있게 조정하도록 한다.PDM target score는 고품질 action을 판단하는 overall indicator로 사용한다.
F.4.3 Classifier-Free Guidance용 Reward Subset: NC와 per-timestep safety 및 drivable-area reward는 모든 proposal에 걸쳐 hard constraint를 강제하도록 고정한다.이 reward들은 모든 timestep에서 no collision, safety, drivable-area 준수를 나타낸다.
F.4.3 Classifier-Free Guidance용 Reward Subset: HC는 안정적이고 쉽게 만족할 수 있는 regularizer로 포함되어, 결과 trajectory dynamics를 평활화한다.