A Survey on Self-Evolution of Large Language Models

• 모델링과 주석 작업, 평가가 어렵고 실제 세계 데이터 확장에도 한계가 있을 수 있어 기존 학습 패러다임은 복잡한 과업에 대응하는 데 어려움을 겪는다.출처: §1 · pp. 1–2
• AlphaZero 와 같은 self-play의 성공 사례에서 영감을 얻은 self-evolution은 모델이 자율적으로 생성한 경험을 통해 학습하게 함으로써, 집중적인 인간 감독을 넘어설 경로를 제시한다.출처: §1 · p. 2
• 연구는 self-instruct, self-play, self-improving, self-training 등으로 확장되었지만, 이들 간의 관계는 체계적인 구성과 분석이 부족했다.출처: §1 · p. 2
• 이 서베이는 self-evolution을 경험 획득, 정제, 갱신, 평가의 반복 과정으로 정립하며, 평가는 진척도를 측정하고 새로운 목표를 설정한다.출처: §1 · p. 2

2.2 개념적 프레임워크

• 프레임워크는 진화 목표, 관련 과제, 경험 최적화, 모델 업데이트, 진척도 평가를 중심으로 자기 진화를 반복되는 주기로 구성한다.출처: §2.2 · pp. 3–4

경험 획득

• 경험 획득은 목표 E_t에 따라 과제, 해답, 환경 피드백을 생성하여 새로운 경험(T_t, Y_t, F_t)을 산출한다.출처: §2.2 · p. 3, Figure 2 · p. 3

경험 정제

• 경험 정제는 잘못된 데이터를 버리고 불완전한 데이터를 개선하여 정제된 과제-해결 쌍(˜T_t, ˜Y_t)을 산출한다.출처: Figure 2 · p. 3, §2.2 · p. 4

업데이트와 평가

• 업데이트는 정제된 경험을 모델에 통합하고, 평가는 외부에서 성능을 측정하여 다음 목표 E_t+1 설정에 반영한다.출처: §2.2 · p. 4

• 진화 목표는 진화하는 능력과 진화 방향을 결합하며, E_t = (A_t, D_t)로 공식화된다.예를 들어 추론은 능력이고 정확도 향상은 방향이다.출처: §3 · p. 4
• 분류체계는 LLM의 목표 능력과 LLM 기반 에이전트의 능력을 구분하며, 지시 따르기, 추론, 계획, 도구 사용, 체화 제어, 의사소통을 포함한다.출처: §3.1 · p. 4, §3.1.1 · p. 4, §3.1.2 · pp. 6–7
• Table 1은 진화 단계별 방법을 분류하고 피드백 적응, 지식 기반 확장, 안전성, 윤리, 편향 감소, 성능 향상을 포함한 방향을 추적한다.출처: Table 1 · p. 5
• 성능 향상은 모델을 진단 대화, 사회적 기술, 역할극 분야로 확장할 수 있으며, 이는 다양한 진화 방향을 보여준다.출처: §3.2 · p. 7

• 경험 획득은 탐색을 통해 모델이 새로운 과제에 적응하고, 지식의 한계를 극복하며, 해결책의 효과를 높이도록 돕는다.출처: §4 · p. 7
• 경험에는 마주친 과제, 개발한 해결책, 과제 수행을 통해 받은 피드백이 포함된다.출처: §4 · p. 7
• 이 단계는 과제 진화, 해결책 진화, 그리고 환경과의 상호작용에서 얻는 선택적 피드백 수집으로 구성된다.출처: §4 · p. 7

4.1 Task Evolution

• 과제 진화는 현재 목표와 모델을 진화된 과제로 매핑하며, Knowledge-Based, Knowledge-Free, Selective로 분류된다.이 설문은 이 과정을 T_t = f_T(E_t, M_t)로 정식화한다.출처: §4.1 · p. 7

Knowledge-Based

• Knowledge-Based 방법은 과제의 관련성과 사실적 타당성을 높이기 위해 구조화되거나 비구조화된 외부 정보를 활용한다.주제 및 인물 지식, 과학 텍스트, 추출한 사건 등이 그 예다.출처: Knowledge-Based · pp. 7–8

Knowledge-Free

• Knowledge-Free 방법은 추가 외부 지식 없이 진화 목표와 모델을 바탕으로 과제를 생성한다.셀프 프롬프팅, 과제 재작성, 변이, 역번역이 대표적인 전략이다.출처: Knowledge-Free · p. 8

Selective

• Selective 방법은 새 과제를 생성하는 대신 기존 풀에서 관련 과제를 선택해 선별 부담을 줄인다.선택은 무작위, 다양성 지향, 목표 기반으로 이루어지거나 해답 관련 지표의 안내를 받을 수 있다.출처: Selective · p. 8

4.2 해결책 진화

• 해결책 진화는 진화된 과제와 목표, 모델을 해결 전략에 연결하는 동시에 목표와 무관한 출력의 위험을 다룬다.이 설문은 정답 여부와 의도된 용도에 따라 해결책을 긍정적 또는 부정적으로 분류한다.출처: §4.2 · pp. 8–9

긍정적 해결책

• 긍정적 해결 방법에는 정확하고 목표에 부합하는 출력을 얻기 위한 rationale 기반, 상호작용 기반, self-play 기반, grounding 기반 과제 해결이 포함된다.Rationale은 목표를 명시하고, 상호작용은 환경 피드백을 제공하며, self-play는 폐루프 피드백을 생성하고, grounding은 규칙이나 이전 경험을 활용한다.출처: §4.2.1 · p. 9, Rationale-Based · p. 9, Interactive · p. 9

Grounding 기반

• 사전 정의된 규칙이나 이전 경험에 해결책을 grounding하면 과제를 해결하고 관련 지식을 검색하는 데 명시적인 지침을 제공한다.시스템은 원칙, 워크플로, 질의응답 기록, 유도된 규칙 또는 사용자 페르소나 지식을 활용할 수 있다.출처: Grounded · p. 10

부정적 해결책

• 부정적 해결책은 바람직한 출력과 바람직하지 않은 출력을 대조하거나 해결책을 의도적으로 교란하여 시행착오를 통한 자기 개선을 지원한다.대조적 방법은 해결책 쌍을 비교하는 반면, 교란 방법은 회피 학습을 위해 해롭거나 부정확한 출력을 의도적으로 생성한다.출처: §4.2.2 · p. 10, Contrastive · p. 10, Perturbative · p. 11

교란 기반

• 교란 기반 접근법은 해로운 지시나 부정적 맥락을 통해 부정적 해결책을 생성하며, 여기에는 잘못된 페르소나 대화도 포함된다.이러한 부정적 사례는 모델이 피해야 할 응답이나 행동을 학습하는 데 쓰인다.출처: Perturbative · p. 11

4.3 피드백

• 피드백은 자기 진화 주기에서 성찰과 후속 모델 업데이트를 가능하게 하는 정답 여부 정보를 제공한다.이 survey는 피드백 획득을 F_t = f_F(T_t, Y_t, E_t, M_t; ENV)로 정식화한다.출처: §4.3 · p. 11

모델 피드백

• 모델 피드백은 해답을 평가하고 개선하는 데 사용되는 자체 생성 점수나 텍스트 비평으로 구성된다.점수는 정답 여부나 신뢰도를 나타낼 수 있으며, 비평은 여러 차원의 자연어 지침을 제공한다.출처: §4.3 · p. 11, §4.3.1 · p. 11

환경 피드백

• 환경 피드백은 코드 인터프리터, 도구 실행, 체화 환경 또는 다른 에이전트에서 비롯되며, 업데이트를 위한 정확한 지침을 제공할 수 있다.실행 추적과 오류 메시지는 코드 생성을 개선하는 데 필요한 정보를 찾아낼 수 있다.출처: §4.3.2 · pp. 11–12
• 의사소통 피드백은 공동 평가를 통해 다중 에이전트 시스템이 서로를 바로잡고 지원하도록 한다.이 피드백은 에이전트가 토론, 원칙 또는 역할 기반 의사소통을 통해 상호작용하는 시스템에서 흔히 나타난다.출처: §4.3.2 · p. 12

5 경험 정제

• 경험 정제는 filtering 또는 correcting 방법을 사용해 획득한 과제와 해법을 모델 업데이트 전에 정제된 경험으로 변환한다.이 설문은 정제된 경험을 (T~_t, Y~_t) = f_R(T_t, Y_t, F_t, E_t, M_t)로 정식화한다.출처: §5 · p. 12

Filtering

• Filtering은 metric 기반 또는 metric 없는 기준을 사용해 신뢰할 수 있고 품질이 높은 경험을 선별한다.Metric 기반 방법은 외부 보상이나 과제 지표를 사용하고, metric 없는 방법은 일관성이나 모델 고유의 기준에 의존한다.출처: §5.1 · p. 12, §5.1.1 · pp. 12–13, §5.1.2 · p. 13

Metric 기반 Filtering

• Metric 기반 filtering은 정답 여부, 정확도, 하위 목표 달성 여부 또는 유사도 기준을 적용해 학습 경험을 선별한다.예시로 이진 보상, F1-score, 정확도, 하위 목표 달성, ROUGE-L 기반의 반복 지시문 제거가 있다.출처: §5.1.1 · pp. 12–13

Metric 없는 Filtering

• Metric 없는 filtering은 내부 일치도나 검증을 사용해 출력을 선별하지만, 품질을 반영하는 내부 척도를 설계하는 일은 여전히 어렵다.Self-consistency, 검증 점수, 코드 테스트 일치도가 대표적인 기준이다.출처: §5.1.2 · p. 13

수정

• 수정 방법은 비평이나 객관적 신호를 사용해 경험을 개선하며, 비평 기반 접근법은 상세한 지침을 제공하고 비평 없는 접근법은 구현을 단순화한다.비평은 모델이나 도구에서 얻을 수 있으며, 비평 없는 방법은 정답 신호, 실행 결과, 정제된 프롬프트 또는 입력 근거를 사용한다.출처: §5.2 · p. 13, §5.2.1 · p. 13, §5.2.2 · pp. 13–14

• 업데이트 방법은 모델 가중치를 변경하는 in-weight learning과 외부 메모리 또는 작업 메모리를 갱신하는 in-context learning으로 나뉜다.출처: §6 · p. 14, §6.2 · p. 15

in-weight learning

• 역량을 향상하면서 catastrophic forgetting을 방지하는 것이 반복적 자기 진화의 핵심 과제이며, 이를 리플레이, 정규화, 아키텍처 기반 전략으로 해결한다.출처: §6.1 · p. 14
• 리플레이 방법은 과거 데이터를 새로운 출력과 섞거나 합성 리허설 데이터를 생성해 후속 업데이트에서 기존 지식을 보존한다.출처: §6.1.1 · p. 15
• 정규화는 행동이나 가중치의 변화를 제한하며, 아키텍처 기반 방법은 작업별 매개변수를 분리하거나 모델을 병합해 망각을 줄이고 성능을 높인다.출처: §6.1.2 · p. 15, §6.1.3 · p. 15

in-context learning

• in-context 업데이트는 매개변수를 학습하지 않고 외부 메모리 또는 작업 메모리에서 경험을 수집하고, 검색하고, 성찰하고, 망각함으로써 모델을 적응시킨다.출처: §6.2 · p. 15, §6.2.1 · pp. 15–16, §6.2.2 · p. 16
• 에이전트 메모리 통합은 과거 경험을 바탕으로 상태나 신념을 정교화해 여러 작업과 환경에서 성능과 적응성을 높인다.출처: §6.2.1 · p. 16, §6.2.2 · p. 16

• 진화한 모델을 정확히 평가하고 향후 개선 방향을 찾는 일은 중요하지만 아직 충분히 탐구되지 않은 문제다.출처: §7 · p. 16
• 평가는 정량 또는 정성 평가를 통해 성능 점수와 다음 반복을 위한 진화 목표를 산출한다.출처: §7 · pp. 16–17

정량 평가

• 기존 자동 지표는 점점 복잡해지는 과제에서 한계를 보이는 반면, 인간 평가는 비용이 많이 들거나 자율적 자기 진화에 적합하지 않다.출처: §7.1 · p. 17
• LLM-as-a-judge는 비용 효율적이고 확장 가능한 평가 방법으로, 쌍별 비교, 단일 응답 또는 참조 기반 채점을 통해 인간의 판단과 높은 일치를 보일 수 있다.출처: §7.1 · p. 17

정성 평가

• 정성 평가는 사례 연구, 추론, 토론, 과거 오류 분석을 활용해 후속 반복에 지침을 제공한다.출처: §7.2 · p. 17

8.1 목표: 다양성과 계층 구조

• 현재 진화 목표는 인간의 요구 중 극히 일부만 다루므로, 현실 세계의 다양하고 계층적인 목표를 위한 프레임워크가 필요하다.도구 사용 분류 체계는 광범위한 목표를 실행 가능한 하위 목표로 나누는 방식을 제안한다.출처: §8.1 · p. 17

8.2 자율성 수준: 저수준에서 고수준으로

• 현재 대부분의 프레임워크는 여전히 저수준에 머물러 사용자가 모듈을 설계하고 목표별로 직접 노력해야 하며, 중·고수준 자율성의 확보가 시급하다.고수준 자율성을 갖추려면 모델이 자신의 결함을 진단하고 개선 방법을 스스로 구성해야 한다.출처: Low-level · p. 17, High-level · p. 18, Medium-level · p. 18

8.3 경험 획득과 정제: 경험적 접근에서 이론적 접근으로

• 자기 진화의 이론적 토대는 아직 미흡하며, 외부 피드백 없이 LLM이 추론 오류를 스스로 수정할 수 있는지를 두고 상반된 증거가 제시된다.한 연구는 22 billion parameters를 초과하는 모델에서 자기 수정이 관찰된다고 보고했지만, 다른 연구는 외부 피드백 없이 추론 오류를 수정하기 어렵다고 밝혔다.출처: §8.3 · p. 18
• 모델이 생성한 학습 데이터는 언어적 다양성을 낮추고 model collapse를 일으킬 수 있으며, 현재 방법은 자기 진화를 세 차례 넘게 반복한 뒤 개선이 멈추는 경우가 많다.가능한 설명으로는 자기 비평기가 진화하는 목표와 함께 진화하지 않았다는 점이 제시된다.출처: §8.3 · p. 18

8.4 업데이트: 안정성-가소성 딜레마

• 반복적 자기 진화는 기존 지식을 보존하면서 새로운 과제에 적응해야 하므로, 기존 접근법이 안정성-가소성 딜레마를 효율적으로 해결하지 못할 수 있다.처음부터 학습하면 치명적 망각을 완화할 수 있지만, 모델 매개변수가 늘수록 효율성이 크게 떨어진다.출처: §8.4 · p. 18

8.5 평가 및 8.6 안전성과 Superalignment

• 진화하는 모델이 환경을 통해 테스트 데이터에 접근하면 정적 테스트가 낡거나 신뢰할 수 없게 될 수 있으므로 동적 벤치마크가 필요하며, 안전성을 위해 확장 가능한 정렬도 필요하다.Sotopia는 환경 기반 평가의 사례이며, Superalignment는 확장 가능한 학습, 검증, 감독, 견고성, 해석 가능성, 적대적 테스트를 결합한다.출처: §8.5 · pp. 18–19, §8.6 · p. 19

9 결론

• Self-evolution은 인간 주석과 교사 모델에 대한 의존을 줄이면서 LLM이 경험을 획득·정제·갱신·평가하는 체계를 제공한다.이 survey는 현재의 방법과 목표를 이러한 반복 주기 안에서 정리한다.출처: §9 · p. 19
• 이 survey는 더 역동적이고 지능적이며 효율적인 self-evolving model의 개발을 앞당기기 위한 과제와 향후 방향을 제시한다.더 큰 목표는 복잡한 현실 세계 과제에서 인간의 성능을 넘어설 수 있는 시스템으로 나아가는 것이다.출처: §9 · p. 19