AI 요약 · 영어에서 AI 번역
ThinkRec: Thinking-based recommendation via LLM
Qihang Yu, Kairui Fu, Zheqi Lv, Shengyu Zhang, Xinhui Wu, Chen Lin, Feng Wei, Bo Zheng, Fei Wu
TL;DR
많은 LLM 기반 추천 방법은 더 깊은 행동 논리를 명시적으로 추론하지 않은 채 상호작용 기록을 바탕으로 아이템을 매칭한다. ThinkRec은 추론을 강화한 학습과 사용자별 전문가 융합을 도입한다. 세 개의 실제 데이터셋 실험에서 추적 가능한 근거를 제시하면서 최신 기준 모델보다 평균 AUC와 METEOR가 높았다고 보고한다.
문제
많은 LLM4Rec 방법은 클릭 기록으로 아이템을 매칭하지만 더 깊은 행동 논리를 명시적으로 추론하지 않아 사용자 선호를 충분히 반영하지 못한다.
출처: §1 · pp. 1–2방법
ThinkRec은 아이템 메타데이터에 키워드를 추가하고, 추천 데이터와 함께 합성 추론 흔적으로 학습하며, 사용자 잠재 특성을 이용해 추천 전문가를 융합한다.
출처: §1 · pp. 2–3결과
ThinkRec은 세 개의 실제 추천 데이터셋에서 최신 기준 모델보다 평균 AUC에서 7.96%, METEOR에서 56.54% 높은 성능을 보인다.
출처: §1 · p. 2시사점 및 한계
ThinkRec은 추적 가능한 근거를 생성하며, 저자들은 평가한 설정에서 추천 정확도와 투명성이 향상되었다고 보고한다.
출처: §5 · p. 8
Abstract
from arXiv · showhide
Recent advances in large language models (LLMs) have enabled more semantic-aware recommendations through natural language generation. Existing LLM for recommendation (LLM4Rec) methods mostly operate in a System 1-like manner, relying on superficial features to match similar items based on click history, rather than reasoning through deeper behavioral logic. This often leads to superficial and erroneous recommendations. Motivated by this, we propose ThinkRec, a thinking-based framework that shifts LLM4Rec from System 1 to System 2 (rational system). Technically, ThinkRec introduces a thinking activation mechanism that augments item metadata with keyword summarization and injects synthetic reasoning traces, guiding the model to form interpretable reasoning chains that consist of analyzing interaction histories, identifying user preferences, and making decisions based on target items. On top of this, we propose an instance-wise expert fusion mechanism to reduce the reasoning difficulty. By dynamically assigning weights to expert models based on users' latent features, ThinkRec adapts its reasoning path to individual users, thereby enhancing precision and personalization. Extensive experiments on real-world datasets demonstrate that ThinkRec significantly improves the accuracy and interpretability of recommendations. Our implementations are available at https://github.com/Yu-Qi-hang/ThinkRec.
1 서론
기존 LLM4Rec 방법은 더 깊은 행동 논리를 추론하지 않은 채 클릭 이력에서 유사한 아이템을 매칭하는 경우가 많다. ThinkRec은 추론 활성화와 개인화된 전문가 융합을 결합해 세 개의 실제 추천 데이터셋에서 최신 기준선보다 뛰어난 성능을 보인다.
1 서론
- 기존 LLM4Rec 방법은 더 깊은 행동 논리를 간과한 채 클릭 이력에서 유사한 아이템을 매칭하는 경향이 있으며, 장르에 기반했지만 적절하지 않은 Hyperion 추천 사례가 이를 보여준다.예시의 사용자는 여러 공상과학 작품을 좋아하지만 Hyperion의 철학적·형이상학적 주제는 싫어할 수 있다.출처: §1 · pp. 1–2
- ThinkRec은 아이템 메타데이터의 키워드와 합성된 추론 흔적으로 추론을 활성화한 뒤, 잠재 사용자 특징을 활용해 추천 전문가와 그 융합을 개인화한다.추론 체인은 상호작용 이력을 분석하고, 선호를 파악하며, 추천 이유를 제시한다.출처: §1 · pp. 2–3
- ThinkRec은 세 개의 실제 추천 데이터셋에서 평균적으로 최신 기준선보다 AUC에서 7.96%, METEOR에서 56.54% 높은 성능을 보인다.저자들은 이 평균값을 프레임워크의 효과를 보여주는 근거로 제시한다.출처: §1 · p. 2
2 관련 연구
기존 LLM 추천 연구는 점수화, 아이템 생성, 하이브리드 모델링, 그리고 최근의 다단계 추론 접근법을 아우른다. ThinkRec은 추론 증강 학습과 개인화된 전문가 융합을 통해 명시적 추론 감독과 세밀한 사용자 모델링의 공백을 메운다.
2.1 LLM 기반 추천
- LLM 추천 방법에는 프롬프트 기반 점수화, 아이템 ID 생성, 예측·순위화·목록 생성을 결합한 하이브리드 모델이 포함된다.이들 방법은 출력 형식과 표현 전략이 다르지만, 대체로 해석 가능성이 제한된 정적 채점기나 선택기로 LLM을 다룬다.출처: §2.1 · p. 3
- 최근 접근법은 모듈식 추론, 상호작용형 에이전트 파이프라인, 지시 튜닝 또는 Chain-of-Thought 프롬프팅을 활용해 다단계 추론과 개인화된 의사결정을 지원한다.Chain-of-Thought, ReAct, Tree-of-Thoughts는 중간 단계를 생성하며, 과정 보상과 추론 증류는 추론을 한층 강화한다.출처: §2.1 · p. 3
- 명시적 추론 감독과 세밀한 사용자 모델링은 아직 충분히 탐구되지 않았다. ThinkRec은 추론 증강 학습과 개인화된 전문가 융합을 결합한다.관련 연구 논의에서는 이 접근법을 구조화된 추론 과정에 관한 연구와 함께 다룬다.출처: §2.1 · p. 3
3 방법
ThinkRec은 순차 추천을 사용자의 상호작용 이력과 아이템 텍스트를 바탕으로 선호 아이템을 예측하는 문제로 정의한다. 아이템 정보를 보강하고 추론 예시를 생성하며, 추천과 추론 목표를 공동 학습하고, 네 단계로 방법을 구성한다.
3.1 사전 지식
- 순차 추천은 각 사용자의 과거 상호작용을 시간순 이력으로 나타내고, 그 사용자가 대상 아이템을 선호할지와 그 이유를 예측한다.논문은 협업 사용자 및 아이템 임베딩을 LLM의 언어 공간에 정렬하는 방법도 설명한다.출처: §3.1 · p. 3
3.2 사고 강화 추천
- ThinkRec의 사고 강화 프레임워크는 데이터 구축과 공동 학습을 결합해 추천 목표와 언어 모델링 목표를 정렬한다.개요에는 전역 LoRA와 사용자 그룹별 기본 LoRA도 제시되며, 선택하거나 융합할 어댑터는 사용자 특징과의 유사도에 따라 결정된다.출처: §3.2 · p. 3, Figure 2 · p. 4
3.2.1 추론 데이터 구축.
- 아이템 증강은 대표 메타데이터 키워드를 최대 10개까지 유지하고, 점수가 낮은 상호작용을 포함하며, 학습 예시를 샘플링해 생성한 설명을 추가한다.추론 모델에 정답을 예측할 때까지 반복해서 질의하고, 가장 최근 설명을 이유로 기록한다.출처: §3.2.1 · pp. 3–4
3.2.2 사고 활성화.
- 사고 활성화는 이진 레이블이 지정된 추천 인스턴스와 생성된 추론 예시를 혼합해, 공유 표현 공간에서 결과를 예측하고 설명을 생성하도록 모델을 학습시킨다.사고 인스턴스에는 토큰 수준 교차 엔트로피를, 추천 인스턴스에는 이진 교차 엔트로피를 사용하며, 인스턴스 유형에 따라 손실 가중치를 정한다.출처: §3.2.2 · p. 4
3.3 추천 전문가 융합
ThinkRec은 군집화한 협업 표현으로 사용자별 전문가를 구성한 뒤, 사용자 특징과의 일치도를 이용해 전문가별 추천에 가중치를 부여하거나 경로를 선택한다. 단계적 학습에서는 텍스트 기반 모델과 협업 모델, 그룹별 전문가 적응, 프로젝터를 결합한다.
3.3.1 기본 전문가 미세 조정.
- 사전 학습된 협업 사용자 임베딩을 비지도 군집화해 사용자를 분할하고, 그룹별 데이터로 전역 LoRA의 마지막 8개 층을 미세 조정하여 기본 전문가를 만든다.전역 전문가는 먼저 전체 데이터로 미세 조정하여 일반적인 추론 능력을 유지하면서 세분화된 선호에 적응한다.출처: §3.3.1 · pp. 4–5
3.3.2 인스턴스별 전문가 융합.
- 코사인 유사도와 softmax를 사용해 사용자 특징과 그룹 평균 전문가 표현 간의 일치도를 사용자별 참여 가중치로 변환한다.이 가중치는 각 기본 전문가가 사용자 선호를 모델링하는 데 관여하는 정도를 추정한다.출처: §3.3.2 · p. 5
- 선호 프로필이 크게 평균화되었거나 집중된 사용자는 각각 전역 전문가 또는 기본 전문가로 바로 라우팅하고, 나머지 사용자에게는 인스턴스별 융합을 적용한다.제시된 임계값은 H(w_u) > 0.95 log N 또는 max(w_u) > 0.5 + 0.6/N이다.출처: §3.3.2 · p. 5
3.4 단계적 학습
- 전체 데이터를 사용해 텍스트 전용 모델과 ID 기반 모델을 병렬로 학습한 뒤, 그룹별 데이터로 전역 LoRA의 마지막 8개 층을 적응시키고 LoRA를 고정한 채 프로젝터를 학습한다.프로젝터는 협업 신호를 주입한 전체 데이터셋을 사용해 협업 임베딩을 LLM 언어 공간으로 매핑한다.출처: §3.4 · p. 5
4 실험
세 개의 실제 데이터셋에서 ThinkRec을 기존 추천 모델 및 LLM 기반 추천 모델과 비교하고, 추천 정확도, 생성된 이유, 전문가 융합, 교차 도메인 전이, 추론 효율성을 살펴본다. ThinkRec은 추천 및 이유 품질 지표 전반에서 우수한 성능을 보이며, 절제 연구와 전문가 분석은 추론 감독과 개인화가 중요함을 보여준다.
4 실험
- ML1M, Yelp, Book에서 타임스탬프 기반으로 학습/검증/테스트 데이터를 분할하고, 순위화 및 생성된 이유 지표를 사용해 기존 방법과 LLM 기반 방법을 비교한다.ML1M과 Yelp는 임계값 3, Book은 4를 사용해 평점을 이진화한다. 평가는 AUC, UAUC, NDCG, MAP, METEOR, BLEURT를 포함한다.출처: §4.1.1 · p. 5, §4.1.2 · pp. 5–6, §4.1.3 · p. 6
4.2.1 추천 정확도.
- CoLLM 대비 Yelp의 AUC에서 +0.0582 (9.13%), ML1M의 AUC에서 +0.0623 (8.72%) 향상되며, ThinkRec은 ML1M과 Yelp의 거의 모든 지표, Book의 AUC와 UAUC에서 가장 높은 성능을 보인다.비교 표는 세 데이터셋에서의 예측 성능을 제시한다.출처: Table 2 · p. 6, §4.2.1 · p. 6
4.2.2 생성된 이유의 품질.
- 생성된 이유에서 ThinkRec은 세 가지 LLM 기반 기준선 대비 평균 상대 향상률이 METEOR에서 +56.54%, BLEURT에서 +23.35%다.사례 연구에서는 사용자 이력 및 대상 아이템의 의미와 부합하는 구조화된 단계별 추론을 보고한다. 이는 다른 LLM 기반 방법에서 생성된 정돈되지 않거나 관련 없는 출력과 대조된다.출처: §4.2.2 · p. 6, Table 3 · p. 7, §4.2.3 · p. 7
4.3.2 전문가 융합 연구 (RQ3).
- 전문가 수에 따른 성능은 증가한 뒤 감소하며, 특히 그룹이 2–3개일 때 UAUC가 향상된다. 사용자 그룹 간 차이가 커질수록 성능도 향상된다.그룹을 더 세분화하면 하위 그룹별 학습 데이터가 줄어 과적합이 증가할 수 있다. 전문가 수가 늘어날수록 AUC는 일관되게 감소한다. Figure 3은 Book과 Yelp를 다루고, Figure 4는 성능과 Cohen’s d의 관계를 보여준다.출처: Figure 3 · p. 7, §4.3.2 · pp. 7–8, Figure 4 · p. 8
4.3.1 절제 연구 (RQ2).
- 추론 감독을 제거하면 모든 데이터셋에서 성능이 하락한다. Book에서는 UAUC가 0.5705에서 0.4692로 하락하며, 전문가를 제거해도 성능이 낮아진다.저자들은 추론을 활성화한 경우에만 다중 전문가 모델링이 상당한 이점을 제공하며, 추론 감독이 사용자 그룹별 전문화를 뒷받침한다고 보고한다.출처: Table 4 · p. 7, §4.3.1 · p. 7
4.3.3 교차 도메인 일반화.
- ML1M에서 전역 전문가를 사용해 학습한 추론 경로는 Book과 Yelp에서 평가했을 때 도메인별 성능의 90% 초과를 유지한다.교차 도메인 평가는 Table 6에 요약되어 있다.출처: Table 6 · p. 8, §4.3.3 · p. 8
4.3.4 추론 효율성.
- 추론 시 융합된 LoRA 어댑터와 경량 게이팅을 사용해 LLM을 한 번 순전파하며, 표준 LoRA 미세 조정 LLM 대비 지연 시간 증가는 10% 미만이다.LoRA 어댑터는 추가 매개변수를 1.5% 미만으로 늘린다.출처: §4.3.4 · p. 8
5 결론
ThinkRec은 thinking activation과 instance-wise expert fusion을 통해 LLM 기반 추천을 명시적 추론으로 전환한다. 논문은 정확도, 투명성, 사용자 신뢰가 향상되었다고 보고하며, 더 깊은 추론과 개인화된 선택을 향후 연구 방향으로 제시한다.
A 윤리적 고려사항
이 연구는 공개된 추천 벤치마크를 사용하며, 해당 데이터에 개인 식별 정보나 민감 속성이 포함되지 않는다고 보고한다. 인간 참여자는 없으며, 데이터 사용이 ACM 정책을 준수한다고 밝힌다.
A 윤리적 고려사항
- 이 연구는 ML1M, Yelp, Book을 포함한 공개 벤치마크 데이터셋을 사용한다.출처: A Ethical Considerations · p. 10
- 논문에 따르면 데이터셋에는 개인 식별 정보나 민감 속성이 포함되지 않는다.출처: A Ethical Considerations · p. 10
- 이 연구에는 인간 참여자나 연구 대상자가 없으므로 사전 동의가 필요하지 않다고 밝힌다.출처: A Ethical Considerations · p. 10
- 저자들은 데이터 사용이 인간 참여자 및 연구 대상자 관련 연구에 대한 ACM 정책을 준수한다고 밝힌다.출처: A Ethical Considerations · p. 10
B 프롬프트 템플릿
부록에는 메타데이터 요약, 추론 데이터 합성, 추천을 위한 프롬프트 템플릿이 제시된다. 템플릿은 아이템 키워드, 반복적 성찰, 사용자 및 아이템 특성을 반영한 선호 페르소나를 요청한다.
B.1 메타데이터 요약 프롬프트
- 메타데이터 요약 프롬프트는 책 프로필에서 최대 10개의 키워드를 쉼표로 구분해 추출하도록 요청한다.출처: §B.1 · p. 10
B.2 추론 데이터 합성 프롬프트
- 추론 데이터 합성의 첫 번째 턴은 목록에 제시된 책에 높은 평점을 준 사용자가 대상 책도 좋아할지 묻는다.출처: §B.2 · p. 10
- 성찰 턴 템플릿은 모델이 과거 정보를 활용해 예측을 재고하고, 앞선 분석에서 놓친 점을 설명하도록 요청한다.출처: §B.2 · p. 10
- 성찰 턴 프롬프트의 여러 변형은 대상 책에 대한 예측을 다시 분석하도록 서로 다른 표현으로 요청한다.출처: §B.2 · p. 10
B.3 추천 프롬프트
- 추천 프롬프트는 과거 평점과 설명, 그리고 UserID 및 TargetItemID 특성을 바탕으로 선호 페르소나를 구성하도록 모델에 요청한다.출처: §B.3 · p. 11
- 추천 프롬프트는 대상 책을 좋아할지 평가하기 전에 분석을 “Yes” 또는 “No”로 시작하도록 지시한다.출처: §B.3 · p. 11
C 사례 분석
사례 분석에서는 ThinkRec이 사용자의 이력과 일치하는 주제를 근거로 사용자가 대상 도서를 즐길 것이라고 예측한다. 부록에는 기준선 프롬프트와 코드 발췌문, API 설명도 포함되어 있다.
C 사례 분석
- TALLRec 발췌문에는 제목 일치와 장르 관련 조건을 기준으로 일부 평점이 매겨진 도서를 묶는 Python 스크립트가 포함되어 있다.출처: C Case Study · p. 11
- 함께 제공된 API 설명에 따르면, 도서 평점 엔드포인트로 제목을 담은 books 배열이 포함된 JSON 객체를 보내야 한다.출처: C Case Study · p. 11
- ThinkRec은 “If I Run”에 대해 “Yes”라고 예측하며, 사용자의 스릴러, 서스펜스, 가족 주제, 수사 관련 이력을 대상 도서의 주제와 연결한다.설명에는 결혼과 이혼이 사용자의 이력에 명시적으로 나타나지 않는다는 점도 언급되어 있다.출처: C Case Study · p. 11
D 구현 세부 사항
구현에는 표준 binary cross-entropy와 optimizer 설정을 사용하며, 전통적 방법과 LLM 기반 방법에 서로 다른 튜닝 및 시퀀스 길이 설정을 적용한다. LoRA, 데이터 샘플링, 손실 가중치, temperature 설정은 지정된 구성을 따른다.
D 구현 세부 사항
- LLM 기반 방법에는 AdamW를, 그 외 모델에는 Adam을 사용하며, 별도 지정이 없는 한 binary cross-entropy를 적용한다.출처: D Implementation Details · p. 11
- 전통적 모델은 learning rate, embedding size, weight decay를 튜닝하며, LLM 기반 방법에는 learning rate 1e-4와 weight decay 1e-3을 사용한다.출처: D Implementation Details · p. 11
- LoRA에는 r=8, alpha=16, dropout=0.05와 q/v projection 대상을 사용하며, reasoning 데이터와 recommendation 데이터의 비율은 각각 0.2와 0.8이다.손실 가중치는 alpha=0.1, beta=0.9, eta=0.9, gamma=0.1이며, temperature tau=0.1이다.출처: D Implementation Details · p. 11
E 표기법
표기법 표는 사용자 행동, 아이템, 추천 설명, 임베딩, 전문가 가중치, 모델 함수와 손실에 쓰이는 기호를 정의한다.
E 표기법
- 표기법은 사용자의 이력과 현재 행동, 아이템 식별자와 텍스트 필드, 추천 설명, 이진 예측 레이블과 정답 레이블을 구분한다.출처: Table 7 · p. 12, E Notation · p. 12
- 임베딩 표기법은 사용자 및 아이템 표현, 텍스트 토큰과 첫 토큰의 임베딩, 언어 공간으로 투영된 임베딩, 질문 및 답변 임베딩을 다룬다.출처: Table 7 · p. 12, E Notation · p. 12
- 표는 전문가 참여 가중치, 임베딩 차원, 토큰 위치와 ID, 온도 및 손실 계수, 인코딩·투영·언어 모델링·유사도·손실에 사용되는 함수도 정의한다.출처: Table 7 · p. 12, E Notation · p. 12