Source-linked AI summary
Generate What You Prefer: Reshaping Sequential Recommendation via Guided Diffusion
Zhengyi Yang, Jiancan Wu, Zhicai Wang, Xiang Wang, Yancheng Yuan, Xiangnan He
TL;DR
Sequential recommendation은 일반적으로 positive item과 sampled negative item을 분류하지만, interaction history에서 oracle item을 생성하는 연구는 아직 충분히 이루어지지 않았다. DreamRec은 이 과제를 history-guided diffusion generation으로 재구성하며, 비교 방법보다 recommendation performance를 일관되게 향상시킨다.
문제
Sequential recommender는 대체로 positive candidate와 sampled negative candidate를 분류하며, historical interaction에서 oracle-item generation은 탐구되지 않은 채 남아 있다.
방법
DreamRec은 Transformer로 인코딩한 interaction history를 사용해 diffusion denoising을 유도하고, noise에서 oracle item을 생성한다.
결과
DreamRec은 세 개의 real-world dataset에서 top-K performance 기준으로 비교한 sequential-recommendation model보다 상당하고 일관되게 우수한 성능을 보인다.
핵심 시사점 및 한계
DreamRec은 user preference를 직접 모델링하고, 관측되지 않은 oracle item을 생성하며, negative sample을 사용하지 않는 대안으로 learning-to-generate를 뒷받침한다.
핵심 시사점 및 한계
DreamRec의 sampling process는 diffusion step을 반복하므로 느리며, training process에도 더 많은 시간이 소요된다.
Abstract
from arXiv · showhide
Sequential recommendation aims to recommend the next item that matches a user's interest, based on the sequence of items he/she interacted with before. Scrutinizing previous studies, we can summarize a common learning-to-classify paradigm -- given a positive item, a recommender model performs negative sampling to add negative items and learns to classify whether the user prefers them or not, based on his/her historical interaction sequence. Although effective, we reveal two inherent limitations:(1) it may differ from human behavior in that a user could imagine an oracle item in mind and select potential items matching the oracle; and (2) the classification is limited in the candidate pool with noisy or easy supervision from negative samples, which dilutes the preference signals towards the oracle item. Yet, generating the oracle item from the historical interaction sequence is mostly unexplored. To bridge the gap, we reshape sequential recommendation as a learning-to-generate paradigm, which is achieved via a guided diffusion model, termed DreamRec.Specifically, for a sequence of historical items, it applies a Transformer encoder to create guidance representations. Noising target items explores the underlying distribution of item space; then, with the guidance of historical interactions, the denoising process generates an oracle item to recover the positive item, so as to cast off negative sampling and depict the true preference of the user directly. We evaluate the effectiveness of DreamRec through extensive experiments and comparisons with existing methods. Codes and data are open-sourced at https://github.com/YangZhengyi98/DreamRec.
1 서론
이 논문은 순차 추천을 샘플링한 후보 아이템의 분류에서 과거 상호작용으로부터 사용자 선호를 나타내는 oracle item의 생성으로 재정립한다. DreamRec은 guided diffusion으로 이러한 전환을 구현하며, target representation에 noise를 추가한 뒤 history-guided noise를 oracle item으로 denoising한다.
- 1 서론: 순차 추천은 사용자의 과거 상호작용 시퀀스로부터 다음 선호 일치 아이템을 예측하며, 일반적으로 positive item과 샘플링된 negative item을 사용하는 learning-to-classify 패러다임을 따른다.
- 1 서론: 이러한 분류 패러다임은 사용자가 구체적인 아이템을 선택하기 전에 자신이 상상한 이상적인 oracle item과 가장 잘 맞는 아이템을 고르는 경우를 제대로 반영하지 못할 수 있다.
- 1 서론: 샘플링된 negative item은 탐색을 제한하고 신뢰하기 어려운 supervision을 제공한다. 쉬운 negative item은 기여도가 낮은 반면, 지나치게 어려운 negative item이나 false negative는 noise를 추가해 oracle preference를 가린다.
- 1 서론: DreamRec은 history가 함의하는 distribution을 모델링하고 oracle item을 생성한 뒤, 이와 가장 잘 맞는 실제 item을 검색하는 learning-to-generate 방식으로 추천을 재정립한다.
- 1 서론: DreamRec은 target representation에 점진적으로 noise를 추가하고, historical-sequence guidance 아래에서 Gaussian noise를 denoising해 맞춤형 oracle item을 생성함으로써 이 과정을 역으로 수행한다.
2 관련 연구
Sequential recommendation은 대체로 positive item과 sampling된 negative item을 분리하는 learning-to-classify 패러다임을 따라왔다 [5] [4]. Diffusion model이 recommendation과 기타 generative task에 increasingly 사용되고 있지만, DreamRec은 negative sampling 없이 oracle item을 생성하는 learning-to-generate 방식으로 sequential recommendation을 정식화한다.
- Sequential Recommendation: 대부분의 sequential recommender는 historical interaction을 바탕으로 positive instance와 sampling된 negative item을 분리해 다음 item을 분류한다 [5] [4].
- Diffusion Models: Diffusion model은 data-generation distribution을 정밀하게 근사하고 GAN 및 VAE보다 안정적으로 학습되기 때문에 image synthesis, text generation, molecule design에 널리 사용된다 [25] [26] [29] [30].
- Diffusion for Recommendation: 최근의 diffusion-based sequential recommender도 여전히 learning-to-classify training을 따르므로 negative sampling이 필요하다 [37] [38] [39] [40].Li et al. [37]과 Du et al. [38]은 candidate logit에 softmax cross-entropy를 적용하는 반면, Wang et al. [39]은 non-target item을 negative로 취급하는 binary cross-entropy를 사용한다.
- DreamRec: DreamRec은 사용자의 behavior sequence에 맞춘 oracle item을 negative sampling 없이 직접 생성하는 learning-to-generate 방식으로 sequential recommendation을 재구성한다.이 정식화는 구체적인 candidate set을 넘어 underlying data distribution을 탐색하도록 유도한다.
3 사전 지식
이 절에서는 순방향 noising과 역방향 denoising Markov chain으로 데이터 생성을 나타내는 DDPM 기반 diffusion modeling을 소개한다. 학습은 KL-divergence 항과 동치인 variational-bound objective를 최소화해 target distribution을 학습한다.
- Diffusion Model: DDPM [32]은 target x0와 latent state x1, …, xT에 대한 순방향 및 역방향 Markov chain을 사용해 data-generation distribution pθ(x0)를 모델링한다.순방향 process에서는 Gaussian noise를 점진적으로 추가하고, 역방향 process에서는 xT ∼ N(0, I)에서 시작해 학습된 Gaussian transition을 통해 denoising한다.
- Reverse Process: 역방향 transition pθ(xt−1|xt)는 현재 noisy state와 diffusion step에 의해 mean과 covariance가 결정되는 Gaussian으로 모델링한다.구체적으로 pθ(xt−1|xt) = N(xt−1; µθ(xt, t), Σθ(xt, t))이다.
- Training Objective: DDPM [32]은 negative log-likelihood에 대한 variational bound를 최적화하며 학습하고, 이는 q(x0:T)와 pθ(x0:T) 사이의 KL divergence를 최소화하는 것과 동치다.이 objective는 diffusion-chain distribution과 그 latent variable을 통해 표현된다.
- Implementation: DDPM [32]에 따라 covariance는 ˜βtI로 고정하고, ϵθ의 architecture는 task에 따라 달라지며 이미지에는 U-Net, 텍스트에는 Transformer를 사용한다.이렇게 하면 diffusion formulation과 task-specific neural-network design을 분리할 수 있다.
4 방법
DreamRec은 순차 추천을 oracle-item generation 문제로 재정의하고, Transformer-guided diffusion model을 사용한다. Negative sampling 없이 관측된 target item을 복원한 뒤, 인접한 candidate item을 검색해 추천한다.
- Oracle Item Generation: DreamRec은 순차 추천을 historical interaction에서 oracle item embedding을 생성하는 문제로 재구성하며, guided diffusion으로 학습한 conditional distribution을 통해 이를 모델링한다.Oracle item은 사용자가 실제 후보를 탐색하기 전에 머릿속으로 상상하는 이상적인 item을 나타낸다.
- Guided Diffusion: Transformer encoder는 historical item embedding을 guidance representation으로 변환하고, 이를 조건으로 diffusion denoising process를 수행해 personalized generation을实现한다.Unconditioned DDPM denoising은 historical-interaction guidance가 없으므로 personalized item을 생성하지 못한다.
- Training Phase: DreamRec은 관측된 target-item embedding에 Gaussian noise를 추가한 뒤 target을 복원하도록 학습하며, negative sampling은 수행하지 않는다.Model은 target sample을 직접 예측하고, classifier-free guidance는 학습 중 history representation을 dummy token으로 무작위 대체한다.
- Generation Phase: Inference에서 DreamRec은 Gaussian noise에서 시작해 historical guidance 아래 T steps 동안 denoising하며, hyperparameter가 personalization strength를 조절한다.Guidance를 강화하면 personalization은 향상될 수 있지만 diffusion generalization과 oracle-item quality는 저하될 수 있다.
- Recommendation Retrieval: 생성된 oracle embedding은 inner-product similarity를 사용해 K-nearest candidate items를 검색함으로써 recommendation list로 변환되며, 이 retrieval은 training에서 제외된다.Candidate retrieval은 oracle-item generation 이후에만 수행된다.
5 실험
DreamRec은 세 가지 실제 데이터셋에서 top-K HR과 NDCG를 사용해 기존 sequential recommender들과 비교 평가되며, 비교 모델을 상당하고 일관되게 능가한다. 추가 분석에서는 negative sampling 없이 item space를 탐색하는 특성과 oracle-item 생성에서 guidance strength의 역할을 살펴본다.
- Item-Space Exploration: Zhihu에서 DreamRec은 negative sampling 없이 item space의 대부분을 탐색하는 반면, SASRec embedding은 제한된 영역에 밀집되거나 집중된 상태로 남는다.비교에는 negative sampling이 없는 SASRec, negative sampling이 있는 SASRec, DreamRec이 사용되며, 다른 데이터셋의 결과는 Appendix C에 보고된다.
- Evaluation Protocol: DreamRec은 oracle item을 생성하고 그 item의 K-nearest candidate items를 검색해 top-K hit ratio와 NDCG로 평가된다.반면 classification-based recommender는 classification logit을 사용해 candidate item의 순위를 매긴다.
- Overall Performance: DreamRec은 overall top-K 성능에서 비교된 sequential recommendation model을 상당하고 일관되게 능가한다.Table 1은 다섯 번의 실험에 대한 평균과 표준편차를 보고한다.
- Guidance Analysis: DreamRec의 classifier-free guidance strength는 과도하게 큰 값이 diffusion generalization을 저해하고 품질이 낮은 oracle item을 생성할 수 있으므로 신중하게 조정해야 한다.guidance-strength ablation은 YooChoose, KuaiRec, Zhihu에서 수행된다.
6 결론 및 한계
DreamRec은 sequential recommendation을 learning-to-classify에서 learning-to-generate으로 재구성하여 관측되지 않은 oracle item을 직접 모델링하고 negative sampling을 피한다. 일관된 개선을 달성하지만 sampling이 느리고 training에 많은 시간이 소요되므로, consistency models 와 같은 더 효율적인 generation model이 필요하다.
- 기여: DreamRec은 sequential recommendation을 candidate를 분류하는 문제에서 관측되지 않은 oracle item을 생성하는 문제로 재정의하여, 이상적으로 소비할 item을 상상하려는 사용자의 경향을 반영한다.oracle item은 dataset의 next item일 필요도, 사전에 정의된 candidate set에 속할 필요도 없다.
- 기여: diffusion으로 underlying data-generation distribution을 모델링함으로써 DreamRec은 user preference를 직접 모델링하고 negative sample을 제거하여 sequential recommendation에서 일관된 개선을 이끌어낸다.이러한 개선은 기존 classification-based framing보다 user behavior를 더 강하게 모델링함을 시사한다.
- 한계: DreamRec의 diffusion sampling은 반복되는 step 때문에 느리고 training에도 많은 시간이 소요되며, consistency models 와 같은 advanced generator가 이러한 한계를 해결할 수 있다.최초의 oracle-item-generation 접근법으로서 DreamRec은 향후 auxiliary task를 위한 기회도 연다.
7 더 넓은 영향 · A 식 (9) 및 (14)의 동등성 증명
DreamRec은 실제 플랫폼의 sequential recommendation을 개선할 수 있지만, 생성된 oracle-item representation이 사용자 선호를 노출할 수 있어 privacy concerns을 제기한다. 부록에서는 noise-prediction과 target-prediction diffusion objective가 이론적으로 동등함을 증명하고, oracle-item generation에는 target prediction을 채택한다.
- 7 더 넓은 영향: DreamRec은 실제 플랫폼에서 recommendation satisfaction을 높일 수 있지만, oracle-item representation을 decoding하면 사용자의 선호가 공개될 수 있다.논문은 vector representation이 decoding되어 선호를 명시적으로 드러낼 수 있으므로, 생성된 oracle item을 사용할 때 주의해야 한다고 권고한다.
- A 식 (9) 및 (14)의 동등성 증명: DDPM generation task는 negative log-likelihood에 대한 variational bound를 최적화하는 방식으로 정식화되며, 이후 timestep 항을 해석적으로 단순화한다.유도는 variational-bound objective에서 시작하며, Rao-Blackwellization [32]과 Gaussian posterior 및 model distribution을 사용한다.
- A 식 (9) 및 (14)의 동등성 증명: µθ를 reparameterization하고 그 결과로 얻은 식을 대입하면 식 (9)의 단순화된 timestep objective가 도출된다.증명에서는 앞선 식에 대입하기 전에 DDPM의 µθ reparameterization을 도입한다.
- A 식 (9) 및 (14)의 동등성 증명: µθ에 대한 alternative reparameterization은 diffusion objective의 또 다른 단순화된 형식을 도출한다.이 유도는 alternative parameterization과 중간 결과를 거친 뒤 objective를 단순화한다.
- A 식 (9) 및 (14)의 동등성 증명: 식 (22)의 noise prediction과 식 (25)의 target prediction은 이론적으로 동등한 diffusion-training objective다.논문은 DDPM이 image generation에서 noise prediction으로 우수한 성능을 보이는 반면, 연구 는 text generation에 target prediction이 더 적합하다고 보고했음을 설명한다.
- A 식 (9) 및 (14)의 동등성 증명: DreamRec은 sequential recommendation에서 oracle item을 생성하기 위한 objective로 target prediction, 즉 식 (14)를 채택한다.이 선택은 이론적 동등성을 따르면서 해당 application에 더 적합하다고 판단된 formulation을 선택한 결과다.
B 상세 실험 설정 · B.1 데이터셋 통계
상세 실험 설정에서는 Table 2에 사용된 데이터셋을 요약하고 YooChoose와 KuaiRec에서 학습된 item embedding을 시각화한다. DreamRec은 두 데이터셋에서 negative sampling 없이 item space를 더 폭넓게 탐색하는 방법으로 설명된다.
- B.1 데이터셋 통계: Table 2는 사용된 데이터셋의 통계를 요약한다.
- B.1 데이터셋 통계: embedding 시각화는 negative sampling이 없는 SASRec, SASRec, DreamRec을 비교한다.
- B.1 데이터셋 통계: YooChoose에서는 Figure 5가 T-SNE를 사용해 학습된 item embedding을 시각화한다.
- B.1 데이터셋 통계: DreamRec은 negative sampling 없이 YooChoose item space의 대부분을 탐색한다.
- B.1 데이터셋 통계: KuaiRec에서는 Figure 6이 T-SNE를 사용해 학습된 item embedding을 시각화한다.
- B.1 데이터셋 통계: DreamRec은 negative sampling 없이 KuaiRec item space를 더 폭넓게 탐색한다.
C 추가 Ablation Studies · C.1 YooChoose 및 KuaiRec Datasets 시각화
YooChoose 및 KuaiRec 시각화는 DreamRec이 negative sampling 없이 SASRec보다 item space를 더 효과적으로 탐색하며, SASRec은 item을 구분하지 못할 수 있음을 보여준다.
- C.1 YooChoose 및 KuaiRec Datasets 시각화: DreamRec은 data-generation distribution을 직접 모델링함으로써 YooChoose 및 KuaiRec에서 item space를 더 잘 탐색한다.시각화 결과는 각각 Figures 5 및 6에 제시된다.
- C 추가 Ablation Studies: negative sampling이 없는 SASRec은 많은 item을 제한된 영역으로 collapse시킬 수 있어 서로 다른 item을 구분하기 어렵게 만든다.이 시각화는 classification-based sequential recommender에서 negative sampling이 필요함을 뒷받침한다.