The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement

1.1 모델 개발의 확장 부담

• 파운데이션 모델의 학습, 경험 생성과 평가, 배포 후 적응은 실험, 피드백 인프라, 반복적인 사람 주도의 진단과 테스트를 수반하는 비용이 많이 들고 외부 조율이 필요한 병목으로 남아 있다.예를 들어 전문가 집약적인 데이터 선별, 대규모 사후 학습 또는 합성 경험 파이프라인, 배포 후 엔지니어가 수동으로 실패를 진단하고 회귀 테스트를 실행하는 작업이 있다.출처: §1.1 · p. 3

1.2 개발 부담에서 RSI로

• RSI는 한계를 식별하고 개선안을 개발·검증한 뒤, 그 결과로 얻은 역량을 활용해 향후 개선 과정 자체를 개선하는 자율 폐쇄 루프다.A-Evolve-Training은 이후 실험의 방향을 바꾸는 연구 정책을 유지한다. 네 차례에 걸쳐 외부 점수는 0.80에서 0.86으로 상승했으며, 최고 인간 제출 점수는 0.87이었다. Ouroboros는 검토를 거친 배포 증거를 활용해 코딩 에이전트의 도구, 컨텍스트, 프롬프트 또는 구현을 수정하며, 배포 전 테스트와 인간 검토를 수행한다.출처: §1.2 · pp. 3–4

1.3 RSI의 과제

• 신뢰할 수 있는 RSI에는 안전한 계승, 책임 소재가 분명한 자율성, 신뢰성 있는 검증이 필요하다. 지속적 업데이트는 성능을 퇴보시킬 수 있고, 고정된 탐색 규칙은 자율성을 가릴 수 있으며, 평가자를 악용할 수 있기 때문이다.Gödel Agent에서는 MGSM 최적화 시도 100회 중 14%가 초기 정책보다 낮은 성능으로 끝났다. Darwin Gödel Machine의 SWE-bench 부분집합 점수는 20%에서 50%로 상승했지만, 아카이브 유지 관리와 부모 선택은 자기 수정 범위에 포함되지 않았다. Red Queen Gödel Machine은 각 에포크 내에서 평가자를 고정하고 독립적인 정답 기준으로 대체 항목을 검사한다.출처: §1.3 · p. 4

1.4 자율성 중심 프레임워크

• 이 프레임워크는 실행, 전략 선택, 경험 획득, 환경 적응, 개선 메커니즘의 재귀적 수정에 이르기까지 점차 커지는 책임을 부여한다.초기 단계에서는 목표나 평가 기준을 인간이 유지한다. 이후 단계에서는 시스템이 경험을 선택하고, 배포 상호작용을 통해 지속 상태를 업데이트하거나, 향후 개선을 좌우하는 메커니즘을 수정한다.출처: §1.4 · p. 5

1.5 응용 분야

• 과학, 체화 지능, 소프트웨어 공학, 의료 분야를 아우르며, 이 조사는 무엇을 업데이트하는지, 그리고 불확실한 실험과 비용이 많이 드는 물리적 시행부터 실행 가능한 테스트와 지연된 임상 결과까지 다양한 피드백이 어떻게 지속적 반영을 뒷받침하는지 비교한다.이 분야들은 피드백의 귀속 가능성, 반복 가능성, 명세의 완전성, 전문가 감독의 필요성에서도 차이를 보인다.출처: §1.5 · p. 6

1.6 산업 현장 근거

• 산업 자료는 운영 파이프라인에서 개선 책임이 어떻게 처리되는지, 그리고 비용, 피드백 품질, 인간의 개입이 배포 시스템을 어떻게 제약하는지 보여 줌으로써 학술 문헌을 보완한다.분석은 생산 지향 환경에서 입증된 메커니즘과, 아직 검증되지 않은 더 야심 찬 재귀적 개선 구상을 구분한다.출처: §1.6 · p. 6

1.7 기존 조사와의 차이

• 단계, 업데이트 대상, 시점 또는 메커니즘을 기준으로 구성된 기존 조사 [26] [28] [29]와 달리, 이 조사는 전체 루프의 의사결정을 추적하고 외부 설계자가 AI에 넘긴 책임을 기준으로 자율성을 측정한다 [31] [32].루프 분석은 개선을 촉발하는 요인, 변경안을 제안하고 검증하는 주체, 지속되는 요소, 그리고 이후 의사결정에서 그 변경 사항을 활용하는 방식을 살펴본다.출처: §1.7 · pp. 6–7
• 이 조사는 구조적 재귀와 실질적 재귀를 구분하고 운영 조건에 따라 개선 메커니즘을 비교하며, 재귀적 진전을 뒷받침하는 증거가 무엇인지 묻는다.구조적 재귀란 수정된 개선 메커니즘이 이후 라운드를 좌우하는 것을 뜻한다. 실질적 재귀란 비교 가능한 예산과 독립 평가에서 더 강한 후속 시스템을 만들어 내는 것을 뜻한다. 비교 대상은 과학, 체화 지능, 소프트웨어 공학, 의료, 산업 현장이며, 각 분야에서 피드백과 외부 통제는 서로 다르다.출처: §1.7 · p. 7

2.1 현대 기반 모델의 불균등한 역량 향상

• 2026년까지 고급 수학과 대학원 수준 과학은 HCI 86.4와 85.8에 도달하는 반면, 소프트웨어 공학은 52.6, 검색 및 터미널 에이전트는 56.8, 도구 에이전트는 39.9에 이른다.상호작용 역량에서는 여전히 더 큰 격차가 나타나며, 범위가 제한되거나 쉽게 검증되는 환경에서 얻은 성과가 계획, 상태 추적, 도구 사용, 검증, 기억, 적응을 요구하는 장기적이고 상태가 유지되는 작업 흐름으로 고르게 전이되지는 않았다.출처: Figure 3 · p. 8, §2.1 · p. 9

2.2 재귀적 자기 개선의 개념적 토대

• 개선 루프를 통해 RSI를 분석하면 경험을 무엇이 생성하는지, 무엇이 바뀌어 지속되는지, 누가 업데이트를 통제하는지, 한 차례의 개선이 다음 차례를 형성하는지를 물어 여러 메커니즘을 비교할 수 있다.자기 수정 프로그램, AutoML, 메타학습, 지속 학습, 에이전트 시스템을 포함한 이전 연구 흐름은 문제의 일부를 다루지만, 그것만으로 RSI가 성립하지는 않는다 [14] [65].출처: §2.2 · pp. 9–10

2.2.1 개선 루프의 구조

• 개선 루프는 경험을 바탕으로 수정을 제안하고, 수용 규칙에 따라 이를 평가하며, 수용된 변화를 시스템 상태에 반영해 유지한 뒤, 갱신된 상태에서 다음 차례를 시작한다.RSI에는 여기에 더해 충분한 자율성이 필요하며, 수용된 변화가 이후 개선의 생성, 평가, 선택 또는 통합 방식에 영향을 줄 수 있어야 한다.출처: §2.2.1 · p. 10

2.2.2 재귀적 자기 개선의 정의

• RSI는 상호작용에서 얻은 경험으로부터 이루어지는 자율적이고 지속적인 자기 변화이며, 이후의 자기 개선을 생성, 평가, 선택 또는 통합하는 메커니즘을 바꿀 수 있다.변화한 시스템은 이후의 상호작용과 개선 라운드에 다시 참여하므로, 개선 역량 자체가 진행 중인 재귀 과정에 관여할 수 있다.출처: §2.2.2 · p. 11

2.2.3 인접 패러다임과의 관계

• 지속 학습, AutoML, 에이전트 AI는 개선의 일부를 자동화하지만, 검증된 변화가 지속되고 이후의 개선 과정을 수정할 수 있을 때에만 RSI에 가까워진다 [28] [43].이들의 학습 규칙, 탐색 공간, 작업 하네스와 수용 기준은 대체로 사전에 고정된다. 반면 RSI는 시스템 자체를 중심으로 개선 루프가 형성되는지, 그리고 어느 정도의 권한이 시스템 내부에서 비롯되는지를 묻는다.출처: §2.2.3 · pp. 11–12

2.3 근거 자료의 범위

• 현대 RSI는 학술 연구와 산업 엔지니어링에 걸쳐 있으므로, 이 조사는 보고서, 엔지니어링 블로그, 저장소, 모델 공개 자료, 벤치마크 리더보드에서 구체적인 운영 증거를 수집한다.이러한 넓은 범위는 루프가 어떻게 작동하고 반복 과정에서 무엇이 지속되는지를 포착하는 한편, 입증된 메커니즘과 추론에 의존한 메커니즘을 구분한다.출처: §2.3 · p. 12

3.1 B0: 과업 내 AI 개선

• B0에서 시스템은 현재 과업의 출력을 개선하지만 시스템에 지속적인 변경을 남기지 않으므로 경험이 축적되지 않으며, 고정된 평가 아래 반복을 늘려도 성과 향상은 제한적일 수 있다.검증이 신뢰하기 어려우면 자체 생성 피드백이 오류를 강화할 수 있고, 고정 검증기는 오류를 놓칠 수 있다.출처: §3.1 · p. 14

3.2.7 L1 실행 자율성 평가

• L1 실행은 사전 정의된 절차의 범위에 머문다. 범위를 벗어난 조건에서는 실패할 수 있으며, 남은 오류가 이후 워크플로로 전파될 수 있다.평가에서는 실행의 신뢰성과 산출물이 지속적으로 보존되거나 후속 단계에서 재사용되기 전에 검증되는지를 모두 살펴야 한다.출처: §3.2 · p. 15, §3.2.7 · p. 18

3.2.1 데이터 수준; 3.2.2 학습 방법 수준

• 데이터 및 학습 방법 수준에서 L1 시스템은 사람이 설정한 기준과 워크플로에 따라 학습 데이터를 선별하거나 생성하고, 출력을 수정하거나 학습 신호를 만든다.절차에는 데이터 필터링과 합성 감독 신호 생성, 이후 최적화를 위한 루브릭 기반 수정 및 평가가 포함된다.출처: §3.2.1 · p. 16, §3.2.2 · p. 16

3.2.3 학습 플랫폼 수준; 3.2.4 평가 및 안전 수준; 3.2.5 배포 최적화 수준; 3.2.6 응용 시스템 수준

• 학습 플랫폼, 평가 및 안전, 배포, 응용 수준에서 L1 에이전트는 사전 정의된 최적화 또는 복구, 평가, 하드웨어 적응, 소프트웨어 통합 절차를 실행한다.평가 기준, 대상 플랫폼, 제품 요구사항, 개발 제약은 계속 사람이 정한다.출처: §3.2.3 · p. 17, §3.2.4 · p. 17, §3.2.5 · p. 17

3.2 L1: 개선 실행 자율성

• L1은 사람이 정의한 개선 절차를 대규모로 실행하고 산출물을 이후 개발 워크플로를 위해 보존하는 한편, 사람은 단계와 검증 규칙을 지정한다.Meta의 Capacity Efficiency 시스템은 디버깅 전문성을 재사용 가능한 복구 기술로 인코딩한다. 논문은 이 시스템이 회귀 조사에 드는 시간을 몇 시간에서 몇 분으로 단축한다고 보고한다.출처: §3.2 · p. 14, §3.2.7 · p. 18

3.3 L2: 개선 전략 자율성

• L2에서 시스템은 평가 근거를 이용해 다음 개선 개입을 선택하고 시험하지만, 목표, 과업 경계, 수용 기준은 사람이 통제한다.탐색 대상은 프롬프트부터 에이전트나 모델 학습 프로그램까지 다양하다. 자율성은 시도할 변경 사항을 선택하는 것이지, 제한 없는 연구 통제를 뜻하지 않는다.출처: §3.3 · pp. 18–19

3.3.1 프롬프트 탐색; 3.3.2 에이전트 및 하네스 탐색

• 프롬프트 탐색은 실행 추적과 평가 피드백을 이용해 수정안을 선택한다. 반면 에이전트 및 하네스 탐색은 과업 전체에 걸쳐 실행 가능한 구성 요소나 워크플로를 바꿀 수 있다.접근법에는 성찰 기반 프롬프트 수정과 멀티모달 프롬프트 후보, 에이전트 아카이브, 워크플로 그래프, 재사용 가능한 모듈이 포함된다.출처: §3.3.1 · p. 19, §3.3.2 · p. 20

3.3.3 모델 및 학습 탐색

• L2는 구성, 모델 아키텍처, 학습 규칙, 구현을 탐색하며, 외부 목표, 검증 기준 또는 정확성 테스트가 수용 여부를 결정한다.탐색에서는 보호된 검사를 전제로 이전 학습 근거를 활용해 실험을 배분하고, 구조를 제안하며, 학습 절차를 수정하거나 구현을 최적화할 수 있다.출처: §3.3.3 · pp. 20–21

3.3.4 L2 전략 자율성 평가

• L2에서는 사람이 각 개입을 제안하는 대신 탐색을 제약하는 데 노력을 들인다. 성공 기준은 외부에서 계속 지정되며, 자율성이 넓어진다고 효율적이고 지속적인 개선이 보장되지는 않는다.적응형 벤치마크 질의는 과적합을 유발하고, 탐색에 추가된 계산량을 알고리즘 성과 향상으로 오인하게 하거나, 평가자의 사각지대를 악용할 수 있다.출처: §3.3.2 · p. 20, §3.3.4 · p. 21

3.4.1 산업 자동화에서 경험 자율성으로

• 자동화된 데이터 작업만으로 경험 자율성이 성립하지는 않는다. 이를 보여주는 핵심 근거는 학습자 피드백이 이후의 경험 획득을 바꾸는 폐루프다.검토된 파이프라인은 데이터 출처 준비와 라벨링부터 선택, 구성, 혼합 및 오케스트레이션, 모델 피드백 진단까지 반복되는 여섯 가지 기능을 포괄한다.출처: §3.4.1 · p. 22

3.4.2 적응형 과업 생성과 자기 대국

• 적응형 과업 생성 시스템은 변화하는 학습자 신호를 이용해 이후 과업을 구성한다. 실행 검사나 형식 검사는 과업 속성을 검증할 수 있지만, 유용한 난이도나 학습 성과를 보장하지는 않는다.일관성 기반 난이도 신호는 정확성의 근거가 아니라 대리 지표다. PSV에서 목표로 삼은 쉬움, 보통, 어려움 문제의 난이도는 상당히 겹쳐 교육과정 제어를 제한한다.출처: §3.4.2 · pp. 23–25

3.4.3 환경 상호작용을 통한 자율적 연습

• VOYAGER, SIMA 2의 ASKA 설정, SEAgent는 지속적 기술, 보상 평가, 발전하는 소프트웨어 안내서를 통해 역량 또는 상호작용 피드백을 이후 연습과 연결한다.이 결합 루프의 신뢰성은 기술 구성, 보상 판단, 저장된 안내서 정보의 품질에 달려 있다. SIMA 2의 고정 과업 실험만으로는 과업 선택 자율성이 입증되지 않는다.출처: §3.4.3 · pp. 25–26

3.4.4 L3 경험 자율성 평가

• L3 평가에서는 학습자 조건부 경험 획득과 그 효과를 모두 검증해야 하며, 경험의 타당성, 여러 차례에 걸친 성능, 전이를 추적하는 동시에 평가 데이터가 적응 과정에 쓰이지 않도록 보호해야 한다.학습자 상태 입력을 고정하거나 적응형 획득을 학습자와 무관한 일정으로 대체하는 통제를 적용할 수 있다. 데이터 접근량과 계산 또는 상호작용 예산은 일치시켜야 한다.출처: §3.4.4 · p. 26

3.4 L3: 향후 학습 경험 자율성

• L3는 변화하는 역량, 실패 또는 학습 이력을 이용해 다음 경험을 이끌며, 지속적 학습은 이후 경험 획득 결정에 다시 반영된다.이 학습자 조건부 루프는 별도의 교육과정 구성 요소나 에이전트 정책을 이용할 수 있으며, 지속적 학습은 매개변수나 재사용 가능한 외부 상태에 저장될 수 있다.출처: §3.4 · p. 22, §3.4.4 · p. 26

3.5 L4: 배포 및 환경 적응 자율성

• L4는 배포 상호작용을 바탕으로 경험에서 얻은 변경 사항 중 무엇을 에이전트 구성 요소에 지속적으로 반영해 이후 행동을 형성할지 결정한다. 단, 목표, 접근 경계, 평가, 중요한 배포는 외부에서 통제된다.루프는 적응을 제안하고 구성 요소를 수정한 뒤, 수용된 변경 사항을 검증해 보존하고 후속 과업에서 다시 사용한다.출처: §3.5 · pp. 26–27, Figure 7 · p. 27

3.5.1 궤적 증류

• 궤적 증류는 상호작용 이력을 압축된 산출물로 바꾸어 세션이 끝난 뒤에도 보존하고 이후 과업에 활용한다. 여기에는 텍스트 또는 구조화된 경험 메모리, 절차적 기술 라이브러리, 실행 가능한 코드가 포함된다.Trace2Skill [86]과 PRACTICE [146]는 오프라인으로 기술을 증류하는 반면, PANDO [25]는 배포 중 기술을 획득한다.출처: §3.5.1 · pp. 27, 29

3.5.2 에이전트 시스템의 반복적 수정

• L4 시스템 수정은 유용한 지속적 업데이트를 만들 수 있지만 에이전트가 이를 활용하도록 보장하지는 않는다. 업데이트 능력은 기반 모델 역량과 대체로 독립적이며, 이득은 단조롭게 변하지 않는다.관련 산출물이 활성화되지 않거나, 활성화되더라도 충실하게 따르지 않을 때 실패가 발생한다. 분석은 진화기보다 과업 해결 에이전트의 역량에 투자할 것을 권고한다.출처: §3.5.2 · p. 30

3.5.3 업데이트의 선별적 보존과 배포

• L4 업데이트 거버넌스에는 제안된 변경 사항의 검증, 드리프트에 대응한 라이브러리 관리, 중요한 프로덕션 배포의 관문 설정이 필요하다.HDSO [106]는 승인된 저장소를 기준으로 점차 규모가 크고 독립적인 과업에서 후보 기술을 시험한다. Library Drift [152]는 무제한 축적이 검색 성능을 저하시키며, 지나치게 공격적인 폐기는 지침 없는 라이브러리보다 성능이 나쁘다고 보고한다. 필터링된 편집도 성능을 향상시킨다 [153]. Tax AI 는 수정 사항을 엔지니어링 검토에 회부하며, 최종 수용 권한은 사람이 보유한다.출처: §3.5.3 · pp. 30–31

3.5.4 L4 배포 자율성 평가

• L4 평가에서는 지속적으로 보존된 변경 사항을 그 근거가 된 증거, 이후 사용, 시간 경과 및 분포 변화에 따른 새 과업과 이미 해결한 과업에서의 효과에 연결해야 한다.지속적 실패는 잘못된 교훈, 범위 밖 적용, 업데이트 호출 실패, 이전 역량의 상실을 반영할 수 있다. 제한된 과업 흐름과 불완전하거나 내생적인 피드백 때문에 시간에 따른 효과는 여전히 불확실하다.출처: §3.5.4 · p. 31

3.6.1 Improving the Search Procedure

• STOP [15] selected a fourth-generation improver that outperformed its seed on all five transfer tasks, while weaker-model runs regressed on average.The selected improver governs the next round, but task distribution, utility, base model, and resource limits remain externally specified; some programs evaded soft budgets or exploited evaluation bugs. Gödel Agent also modifies its recursive update logic, but 14 of 100 MGSM trials ended below the initial policy.출처: §3.6.1 · pp. 32–33

3.6.2 후속 평가기 개선

• 보류된 Polyglot 코딩 과업에서 RQGM [21]은 HGM-H의 69.9% 대비 71.7% 통과율을 보고하며, 탐색 토큰 사용량도 더 적었다.각 에폭에서는 고정된 평가기가 평가를 담당한다. 도전자 평가기는 독립적인 정답 기준점과 대조하며, 교체된 평가기에 연결된 점수는 폐기한다. 기준점과 교체 일정은 고정되어 있다.출처: §3.6.2 · p. 33

3.6.3 연구 목표와 정책 수정

• A-Evolve-Training [17]은 30B 모델을 네 차례에 걸쳐 자율적으로 사후 학습해, 최종 리더보드 점수 0.87을 기록한 최고 인간 제출물에 근접한 0.86에 도달했다.메타 에이전트는 작업자들의 레시피 변경, 체크포인트 평가, 실패를 바탕으로 연구 정책을 수정했다. 작업자 기반과 헌법은 고정되어 있었고, 목표는 자율적으로 수정되지 않았다.출처: §3.6.3 · p. 34

3.6.4 산업 현장 적용

• Automated Alignment Researchers 는 연구자가 설계한 워크플로 안에서 완화책을 생성하고 시험한다. Weco는 감독 없이 100단계에서 개선 사항 7건의 수용을 보고했지만, 더 강력한 외부 탐색 시험에서는 효율성 이점이 통계적으로 유의하지 않았다.출처: §3.6.4 · p. 34

3.6.5 L5 재귀적 개선 평가

• 메커니즘 감사에서는 각 수정의 동기가 된 증거부터 이후 호출까지 추적한 다음, 예산을 맞추고 평가 비용까지 포함해 비교 가능한 에이전트 간 원본 메커니즘과 수정 메커니즘을 비교해야 한다.전이 시험에서 수정된 메커니즘을 고정하면 개선에 대해 학습한 내용을 분리해 볼 수 있다. HyperAgents [93]는 이 설계로 전이 가능한 에이전트 생성 능력과 원래 과업 성능을 구분한다.출처: §3.6.5 · p. 34
• 보다 완전한 L5 평가로는 적응형 프런티어 과업과 보호된 기준 과업, 규칙을 공개하지 않은 과업, 예상 이득이 비용이나 위험보다 낮아지면 시스템이 중단하는지 확인하는 검사를 결합하는 방안이 제안된다.이는 제안된 평가 요건이지, 현재 RSI 벤치마크에서 입증된 역량은 아니다.출처: §3.6.5 · pp. 34–35
• 개선기, 평가기, 연구 정책에 승인된 변경 사항은 이후 라운드를 좌우할 수 있으며 일부 과업 간 전이가 보고되었다 [15] [21] [93]. 그러나 비슷한 자원 조건에서 신뢰할 수 있게 축적되는지는 여전히 미해결 문제다 [93].L5에서 후속 시스템은 수정된 개선 절차와 이를 뒷받침하는 증거를 물려받는다. 전체 목표, 보호된 수용 기준, 자원 권한은 사람이 계속 보유한다.출처: §3.6.5 · p. 35

3.7 수준 간 종합

• B0–L5 전반에서 각 전이는 지속성 및 전략 선택부터 학습 의제, 배포 적응, 재귀적 상속에 이르기까지 개선 루프의 일부를 추가로 위임한다.각 수준은 내부화된 결정, 지속 상태, 외부에서 보호되는 수용 조건에서 차이가 난다.출처: §3.7 · p. 35
• 자율성이 높다고 해서 개선이 저절로 나아지는 것은 아니다. 탐색은 여전히 비효율적일 수 있고, 피드백은 신뢰하기 어려우며, 시스템은 성능 퇴보, 평가자 악용, 낮은 전이 가능성에 취약할 수 있다.낮은 수준과 중간 수준에는 더 폭넓은 시스템 지원이 존재하는 반면, L3–L4는 여전히 도메인에 따라 달라지고, 엔드투엔드 L5 근거는 제한된 프로토타입과 초기 단계 시스템에 집중되어 있다.출처: §3.7 · p. 35

4.1 S1: 과학 분야의 RSI

• 과학 분야의 RSI는 실험 결과를 재사용 가능한 에이전트 변화로 전환하지만, 평가기와 업데이트 승격 규칙은 대체로 고정되어 있다.사례로는 HypoForge [158]의 재사용 가능한 가설 생성 기술, Test-Time Tool Evolution [159]의 검증된 도구, DrugSAGE [160]의 이전된 절차, SIA [161]의 스캐폴드·도구·검색·가중치 업데이트가 있다. 과학적 산출물만 개선했다고 해서 에이전트 자체가 개선된 것은 아니다.출처: §4.1 · p. 36

4.2 S2: 체화 지능 분야의 RSI

• 체화 RSI는 물리적 상호작용과 인과적 피드백을 활용해 상호작용 전반에 걸쳐 업데이트를 유지하지만, 현실 세계에서의 자율 검증과 개선자 자체의 진화는 아직 해결되지 않았다.POET [65]는 환경과 에이전트를 함께 진화시키고, Voyager [84]는 성공적인 행동을 재사용 가능한 기술로 저장하며, World-VLA-Loop [162]는 정책 실패를 바탕으로 세계 모델을 개선한 뒤 정책을 최적화한다. 현재의 루프는 시뮬레이션이나 외부에서 지정한 보상, 평가기, 인터페이스, 안전 제약에 의존하는 경우가 많다. 내생적 경험의 부족, 어려운 실패 원인 귀속, 비용이 크고 안전하지 않은 시행이 현실 세계 적응을 제약한다.출처: §4.2 · pp. 36–37

4.3 S3: 소프트웨어 공학 분야의 RSI

• 소프트웨어 공학 분야의 RSI는 에이전트 변화를 실행하고 버전 관리하며 롤백할 수 있어 감사 가능한 계승을 가능하게 하지만, 고정된 외부 개선 계약에 의해 범위가 제한된다.SWE-Exp [60]는 이슈 해결 궤적에서 얻은 교훈을 재사용하고, Self-Harness [23]는 회귀 테스트 후 하네스 변경 사항을 유지하며, Darwin Gödel Machine 은 실행 가능한 과제 성능을 기준으로 계보를 선택한다. 저장소 테스트는 여전히 불완전한 대리 지표이며, 벤치마크, 효용 함수, 샌드박스, 선택 규칙은 외부에서 정의된다.출처: §4.3 · p. 37

4.4 S4: 의료 분야의 RSI

• 임상 RSI는 종단 피드백에서 검증된 업데이트를 재사용하지만, 근거는 대부분 시뮬레이션이나 후향적 분석에 기반하며 실제 결과에는 세심한 감독이 필요하다.시스템은 사례와 진단 규칙을 유지하거나, 근거 획득 과정을 수정하거나, 검증된 궤적을 조합해 도구를 만든다 [163] [164] [165]. 업데이트에는 출처 정보, 대상 인구 집단의 특수성, 전향적 모니터링, 가역성이 반영되어야 하며 전문가와 기관의 승인을 받아야 한다. 임상 개선자 자체의 자율적 진화는 입증되지 않았다.출처: §4.4 · p. 37

5.1 Theseus: RSI 지능을 위한 환경–데이터–모델 공동 진화

• 정돈된 작업공간은 8개 구성에서 통과율을 21.7–51.6 퍼센트포인트 높였고, 재구성된 환경은 5개 고정 페어링에서 종합 루브릭 점수를 18.65–39.67점 높였다.연구에는 작업공간 과제 30개가 사용되었으며, 재구성된 환경은 Collection Map과 Event Log를 결합했다. 일부 과제에서는 범위 확장에 따른 회귀가 나타났고, 공동 진화 루프가 이어지는 동안 재사용 가능한 파일 검증 모듈이 학습되었다.출처: §5.1 · pp. 37–39, Table 9 · p. 38

5.2 Lark: 신뢰할 수 있는 엔터프라이즈 수준 RSI를 위한 데이터 기반 구축

• Lark의 자동 데이터 품질 평가기는 사람의 판단과 약 84% 일치했으며, 그래프 기반 검색은 사람이 평가한 과제 사용성을 52%에서 65%로 높였다.자동 평가와 실패 원인 분석은 구체적인 데이터 수정과 후속 반복을 안내한다. 사람 검토자는 표준, 중요 샘플, 주요 변경 승인에 대한 책임을 유지한다. 그래프 기반 검색을 적용한 자동 평가의 사용성은 RAG 기반 기준선의 47%에서 56%로 높아졌다.출처: §5.2 · pp. 39–40

5.3 Xiaohongshu: 추천을 위한 이중 시간 규모 RSI

• Discovery Feed에서 score_mean@16은 2.211에서 2.366으로, score_median@16은 1.587에서 1.663으로 상승했다. in-video-feed의 score_mean@16은 1.537에서 1.739로 상승했다.이 기업 보고 순위 점수 개선은 초기 결과이며 클릭률이나 전환율 향상을 입증하지 않는다. IMA는 행동 피드백을 바탕으로 지속적 사용자 메모리를 갱신하고, 검토를 거친 어려운 사례는 더 느린 사후 학습 통합을 뒷받침한다.출처: §5.3 · pp. 40–41, Table 10 · p. 40

5.4 Humanlaya: 데이터 품질 보증을 위한 납품 기반 RSI

• 피드백 기반 업데이트를 4회 거친 뒤 Humanlaya의 핵심 결함 패키지 비율은 9.0%에서 3.7%로, 과제당 평균 사람 처리 시간은 48분에서 27분으로 감소했다.외부 루프는 납품 피드백을 활용해 품질 시스템 규칙, 프롬프트, 예시, 스킬을 갱신한다. 후보 변경 사항은 보류된 과제 패키지에서 시험하고, 배포 전에 사람이 검토한다. 핵심 단계에는 사람의 감독이 유지된다.출처: §5.4 · pp. 41–42

5.5 ModelBest: 사람 개입 없는 산업 AI 엔지니어링

• ForgeTrain은 약 8시간 만에 Megatron-LM v0.15와 비슷한 수준에 도달했고, 보고에 따르면 1.5–2.5일 안에 이를 넘어섰다. ForgeStencil은 공개된 최첨단 구현보다 1.15–1.9× 속도 향상을 보고했다.ForgeTrain의 모델 FLOPs 활용률은 MiniCPM4-0.5B에서 40.1%에서 44.1%로, 8B 모델에서 47.0%에서 50.9%로 상승했다. ForgeStencil은 종단 간 속도가 중앙값 1.41× 향상되었다고 보고했다. Forge Engineering은 프로젝트 내 구현 최적화와 프로젝트 간 엔지니어링 경험 재사용을 결합한다.출처: §5.5 · pp. 42–43

5.6 Tencent Hunyuan: 경험 기반 자기 개선

• Hyra는 nanochat AutoResearch 에서 검증 BPB 0.9015를 기록해 인용된 기존 최고치 0.9109보다 낮췄고, SOL-ExecBench [172]에서는 0.771을 기록해 0.754보다 높였다.Experience Bank는 해법, 산출물, 실행 로그, 점수, 평가자 피드백을 보존해 이후 제안에 활용한다. 축적된 경험은 불완전하거나 악용 가능한 평가자를 개선하는 데도 쓰일 수 있다. Hyra는 nanoGPT Speedrun 에서 77.5 s 대비 76.4 s도 보고했다.출처: §5.6 · pp. 43–44, Table 11 · p. 44

5.7 에이전트 네이티브 연구소: RSI를 위한 검증 가능한 연구 인프라

• ARA를 사용한 질의응답 정확도는 93.7%로, 일반 논문을 사용한 72.4%보다 높았으며 RE-Bench 재현 성공률은 57.4%에서 64.4%로 상승했다.ARA는 실행 가능한 명세, 탐색 분기, 원시 증거를 보존한다. 연구소는 실행 추적 또는 형식 검증을 통과해야 주장을 인정하며, Chip-Bench Level-3 CPU 점수 5.8416을 보고했다. 이는 표준 에이전트 기준선보다 2.7% 빠르고 21.5% 작으며, 지정 테스트 97개와 무작위 차등 프로그램 350개를 모두 통과했다.출처: §5.7 · pp. 44–45

5.8 Frontis.AI: 엔터프라이즈 에이전트 진화와 작업 간 메타 개선

• Frontis.AI의 ME–WE–MA 아키텍처는 사람과의 상호작용, 맥락 메모리, 배포 승인을 300명이 넘는 전문 에이전트의 실행 및 에이전트 구축·평가·진화와 분리한다.명시된 목표는 개선 경험을 개별 에이전트 안에 고립시키지 않고 작업 간에 재사용 가능하게 만드는 것이다.출처: §5.8 · p. 45
• 공유 평가 인프라, 제한된 목표, 사람이 확인한 변경 사항, 세 가지 검증 관문은 개선 에이전트에 관한 검증된 지식을 보존하면서 감사 가능하고 롤백 가능한 배포를 뒷받침한다.관문에서는 회귀 안전성, 목표 달성 여부, 예외 상황에서의 견고성을 평가한다. 승인된 업데이트는 버전이 지정된 테스트 보고서와 함께 프로덕션으로 돌아간다.출처: §5.8 · pp. 45–46
• Frontis는 개선 에피소드를 보존하고 교훈을 새로운 작업으로 이전하며, 단순히 작업 수행 지식을 재사용하는 대신 수신 작업의 조건에 맞게 조정하고 다시 검증한다.예를 들어, 실시간 증거를 우선시하더라도 권위 있는 출처를 식별하고 그 정보가 여전히 유효한지 확인해야 한다.출처: §5.8 · pp. 45–46
• 비교 가능한 작업 76개에서 평균 점수는 5.25에서 5.87로 상승했다. 기업이 보고한 증거에 따르면 미관측 작업에서의 진화 속도는 약 20% 빨라졌다.두 달 동안 Frontis는 전문 에이전트 117개가 참여한 개선 작업 216개를 시작했고, 그중 63개는 최소 한 번의 전체 진화 주기를 완료했다. 완료 주기당 기계 처리 시간의 중앙값은 27.8분이었다. 더 빠른 진화 비교에는 누적 메타 진화 경험이 100개를 넘는 작업과 내부 테스트가 사용되었다.출처: §5.8 · p. 46
• 별도로 학습된 35B 모델인 Frontis-MA1은 고정된 하니스에서 MLE-Bench Lite 점수를 39.39%에서 60.61%로 높였고, 추가 검색을 적용해 71.21%에 도달했다.이 결과는 기계 학습 및 딥러닝 엔지니어링에 관한 것이다. 엔터프라이즈 에이전트 진화 궤적에서 직접 학습하는 것은 향후 과제로 남아 있다.출처: §5.8 · p. 46

구성요소 간 진단과 조율된 개선

• 실패는 데이터, 맥락, 도구, 모델, 평가자 또는 환경 전반에서 발생할 수 있으므로, 시스템은 개입 가설을 검증하고 서로 의존하는 구성요소 간 변경을 조율해야 한다.통제 비교, 표적 제거 실험, 선택적 동결, 의존성 기록을 활용하면 유용한 수정과 상위 단계 결함을 보상하려는 조치를 구분할 수 있다.출처: §6 · p. 46

학습자 조건부 경험 획득과 신뢰할 수 있는 학습 신호

• 경험 획득에서는 타당성, 학습자에 따른 난이도, 지속적인 학습 가치를 평가해야 한다. 정답 여부나 추정 난이도만으로는 이점이 입증되지 않기 때문이다.메커니즘은 다양성과 역량 범위를 보존하고, 여러 라운드에 걸쳐 가치를 추정하며, 내부 판단만으로 충분하지 않을 때 더 강력한 외부 피드백을 구해야 한다.출처: §6 · pp. 46–47

지속 상태 관리와 신뢰할 수 있는 재사용

• 지속 상태에 저장되는 산출물은 적용 가능성과 후속 이점에 대한 근거가 필요하다. 검색이 실패할 수 있고, 에이전트가 검색한 기술을 잘못 사용할 수 있으며, 라이브러리의 확장이나 과도한 폐기가 개선을 저해할 수 있다 [152].갱신 품질, 활성화, 충실한 사용, 이후 과제에서의 이점을 각각 측정하고, 과제·실행기·시스템이 바뀔 때 산출물을 재검증해야 한다. HDSO의 쌍별 등록 테스트가 출발점이 될 수 있다 [106].출처: §6 · p. 47

분야별 피드백에 따른 통제된 적응

• 과학, 체화 지능, 소프트웨어, 의료 분야의 근거는 각각 한계가 다르므로, 개선 정책은 검증 방식을 분야별 피드백 및 위험에 맞춰야 한다.물리적 또는 임상적 결과는 체크포인트를 복원해도 되돌릴 수 없으므로, 배포 전 검증과 중대한 결과를 수반하는 배포에 대한 명시적인 인간의 권한이 필수적이다.출처: §6 · p. 47

개선 메커니즘의 신뢰할 수 있는 진화

• 해결기, 평가자 또는 연구 정책의 변경은 점수 비교 가능성을 훼손하고 악용을 부를 수 있으므로, 적응형 개선 시스템에는 독립적으로 유지되는 수용 기준이 필요하다.RQGM은 한 에포크 동안 평가기를 고정하고, 독립적인 기준점에 대체 평가기를 대조해 검증한 뒤 영향을 받은 점수를 재검토한다 [21]. 원래 연구 환경을 넘어선 정책 전이는 아직 검증되지 않았다 [17].출처: §6 · pp. 47–48

계승된 개선 역량의 장기 평가

• L5 메커니즘이 계승되고 호출된다는 구조적 근거만으로 효과적인 개선이 입증되지는 않는다. AIDE2는 바깥쪽 개선기로 진화된 하네스를 사용해도 통계적으로 유의한 효율성 이점이 없음을 보였다.벤치마크에서는 비슷한 출발점의 메커니즘을 동일한 총예산으로 비교하고, 전체 궤적과 비용을 보고하며, 새로운 과제에서의 전이를 시험해야 한다.출처: §6 · p. 48

자원 고려형 개선과 인간 협업

• RSI 효율성을 평가할 때는 실행 속도나 감독 없이 실행된 시간만이 아니라 진단, 획득, 탐색, 검증, 모니터링, 인프라, 인간 검토까지 포함해야 한다.검토 및 재작업과 함께 검증된 역량 목표에 도달하는 시간과 총비용을 평가하고, 중단하거나 인간에게 상향 보고하거나 비생산적인 탐색을 끝낼 명시적 조건을 설정해야 한다. Meta의 워크플로에는 엔지니어링 검토가 유지된다.출처: §6 · p. 48

라운드 간 계승을 위한 재현 가능한 인프라

• 재사용 가능한 연구 산출물은 각 시스템 상태와 제안된 변경 사항을 그 근거, 평가, 수용 결정, 후속 사용과 연결해야 한다.버전 관리된 데이터, 환경, 평가기는 재현을 지원할 수 있지만, 결정론적 재추출과 형식 검증만으로 실험이 의도한 역량을 포착했음을 입증할 수는 없다.출처: §6 · p. 48

• 로드맵은 개선 실행, 전략 선택, 경험 획득, 환경 적응, 재귀적 메타 개선을 아우른다.시스템이 무엇을 바꾸는지, 후속 시스템이 무엇을 물려받는지, 어떤 결정이 인간의 통제 아래 남는지를 분석한다.출처: §7 · p. 49
• 과학적 발견, 체화 지능, 소프트웨어 엔지니어링, 의료 분야에서 RSI를 향한 진전은 피드백 가용성, 검증 비용, 배포 제약에 달려 있다.출처: §7 · p. 49
• 산업계의 관행과 예비 실증 결과는 입증된 역량과 현재의 한계를 바탕으로 로드맵을 구체화한다. 한편, 명시적인 자원 제약과 인간의 감독 아래 전이 가능한 성과를 검증하려면 장기 평가가 여전히 필요하다.이 논문은 RSI의 잠재력을 향후 개선을 더 신뢰성 있고 효율적으로 수행하며 새로운 발견에 더 도움이 되도록 하는 데 있다고 설명한다.출처: §7 · p. 49

부록 A: RSI 분야 현황

• Figure 18은 자율성 수준 L1–L5, 주요 개선 목표와 하위 목표에 따라 조사 논문 491편을 분류하며, 여러 목표를 다루는 논문에는 분수 가중치를 부여한다.자율성 수준별 비율은 논문 수를 기준으로 하며, Table 12에는 목표 분류 체계와 수정 대상 구성 요소를 자세히 제시한다.출처: Figure 18 · p. 63, Table 12 · p. 63
• 메모리 개선 대상에는 일화적 경험, 의미 지식, 절차적 전략과 그 표현 및 구조화, 그리고 기록·검색·갱신·망각 정책이 포함된다.출처: Appendix A · p. 64
• 워크플로 개선 대상은 에이전트 그래프와 파이프라인, 작업 계획 및 분해, 라우팅·스케줄링·연산 자원 할당을 아우른다.출처: Appendix A · p. 64
• 하네스 및 제어 개선 대상에는 검증과 성찰 루프, 멀티에이전트 역할과 프로토콜, 오케스트레이션과 런타임 조정을 구현하는 스캐폴드 코드가 포함된다.출처: Appendix A · p. 64
• 도구 관련 개선 대상은 사용 가능한 도구와 그 인터페이스 또는 구현에서부터 재사용 가능한 스킬, 매크로, 도구 조합 규칙까지 다양하다.출처: Appendix A · p. 64
• 모델 개선 대상에는 백본 가중치, 어댑터와 보조 모듈, 아키텍처, 지속적 추론 정책 또는 구성이 포함된다.출처: Appendix A · p. 64
• 학습 시스템 개선 대상은 목적 함수, 옵티마이저, 학습 일정, 데이터 커리큘럼, 탐색 또는 메타 최적화 절차를 포괄한다.출처: Appendix A · p. 65
• 그 밖의 개선 대상에는 평가기와 피드백, 학습 데이터와 환경, 작업 수준 산출물, 전체 시스템 공진화 또는 메타-RSI 루프가 포함된다.여기에는 판정자, 보상 및 적합도 함수, 검증기, 경험 데이터, 작업 생성기, 시뮬레이터, 세계 모델, 솔루션 코드, 알고리즘, 과학 또는 설계 산출물이 포함된다.출처: Appendix A · p. 65

• Table 13은 조사한 산업 시스템을 기업 유형과 개선 목표에 따라 분류한다.출처: Appendix B · p. 66

부상하는 RSI / 자기개선 분야의 기업 유형

• 표는 72개 기업과 팀을 유형별로 정리하며, RSI 태그는 각 기업이 자체적으로 사용하는 용어가 아니라 B0–L5 체계를 나타낸다.The snapshot is dated September 2026 and is organized by archetype, not geography.출처: Table 13 · p. 66, Company Archetypes in the Emerging RSI… · p. 66
• Agent Lightning, SkillOpt, 코딩 에이전트, 검증기 파이프라인, 자기훈련 평가기, HyperAgents는 하네스, 스킬, 코드, 평가, 메타 에이전트에 걸친 개선 산출물을 보여준다.목록에 포함된 워크플로에는 하네스 추적 기록을 활용한 훈련, 스킬 파일 편집, 코드 생성 및 수정, 평가 파이프라인 개선, 평가기의 자기훈련, 후보 L5 메타 에이전트 수정이 포함된다.출처: Company Archetypes in the Emerging RSI… · p. 67
• Alibaba/Qwen, AgentWorld, Qwen-Scope는 합성 환경과 데이터를 통한 에이전트 훈련을 나타내며, DeepSeek R1과 R-Zero는 추론 부트스트래핑과 self-play를 보여준다.각 사례는 자체 생성 추론, 검증, 도전 과제 생성, 문제 해결, 투표, 정책 훈련을 통해 추론을 개선하는 방식을 연계한다.출처: Company Archetypes in the Emerging RSI… · p. 67
• MiniMax M2, MaxHermes, MaxClaw, Kimi K3, Agent Swarm, Hermes Agent는 메모리, 스킬, 도구 사용, 오케스트레이션, 조정을 통해 지속형 또는 장기 지평 에이전트를 지향한다.각 사례는 지속형 클라우드 에이전트와 장기 실행뿐 아니라 에이전트 오케스트레이션, 도구 정책 계획, 스웜 조정을 다룬다.출처: Company Archetypes in the Emerging RSI… · p. 67
• AutoGLM과 AgentRL은 컴퓨터 조작 에이전트로 제시되며, 관련 사례는 지각, 계획, 행동, 강화학습, 가상 전화기 훈련을 다룬다.각 사례는 컴퓨터 조작 에이전트를 환경 훈련 및 정책 가중치와 연계한다.출처: Company Archetypes in the Emerging RSI… · p. 67
• Cogito v2와 IDA는 추론 후속 훈련, Poolside의 Model Factory는 자동화된 모델 연구개발, Tinker와 Inkling은 모델 맞춤화를 나타낸다.각 사례는 추론을 위한 탐색, 증류, 반복적 정렬과 자동화된 연구개발을 위한 합성 데이터, 강화학습, 아키텍처 평가, 코드 실행 강화학습을 다룬다.출처: Company Archetypes in the Emerging RSI… · p. 67

B. RSI-native / AI4AI 기업

• Ricursive Intelligence는 AI 칩과 컴퓨트 스택의 공동 설계를 목표로 하며, Recursive Automated AI Research는 실험과 반복을 통해 모델 학습 레시피, 커널, 코드를 탐색한다.표는 Ricursive Intelligence의 설계 탐색, 검증, 반복과 Recursive Automated AI Research의 실험 분기 및 병합을 설명한다.출처: B. RSI-native / AI4AI companies · p. 68
• Imbue Catalyst와 Darwinian Evolver는 연구 레시피, 코드, 가설의 집단을 탐색하며, 다른 연구자 항목은 평가와 유전을 통한 코드 재작성을 설명한다.해당 연구자 항목은 이 접근법을 level 5 후보로 분류한다.출처: B. RSI-native / AI4AI companies · p. 68
• Sakana AI의 Darwin Godel Machine과 AI Scientist는 자기 편집 에이전트로, Evolvent AI Org, RSIBench, Terrarium은 소프트웨어 에이전트 진화를 중심으로 소개된다.후자의 항목들은 과업 피드백과 리팩터링을 통해 기술, 메모리, 코드, 환경을 진화시키는 데 초점을 둔다.출처: B. RSI-native / AI4AI companies · p. 68
• MetaCircle의 ComfyResearch와 OPHIS는 AI4AI 학습 워크플로를 추구하며, Frontis 항목은 자기개선형으로, EvoMap 항목은 코드 자산을 재사용 가능한 유전자나 캡슐로 전환하는 것으로 분류된다.EvoMap 워크플로는 코드 자산을 생성, 테스트, 게시하고 재사용하는 과정으로 설명된다.출처: B. RSI-native / AI4AI companies · p. 68

C. 자율 R&D 및 과학적 발견 기업

• 이 하위 절은 자율 연구와 발견을 핵심 제품으로 다루며, 실험 및 지식 생산 루프를 자동화한다는 점에서 RSI와 관련된다.목록에는 자율 AI 연구를 위한 데이터 생성, 연구 에이전트 평가, 과학 모델 학습 항목도 포함된다.출처: B. RSI-native / AI4AI companies · p. 68, C. Autonomous R&D &… · p. 69
• 자율 과학 분야의 노력은 Periodic Labs의 가설·실험 루프, FutureHouse의 생물정보학 평가, Edison Scientific의 자율 과학, Lila Sciences의 발견 플랫폼에 걸쳐 있다.목록에 포함된 워크플로는 실험 설계와 실험실 실행, 문헌 및 실험 결과의 종합, 과학적 가설과 코드, 실험실 수행이다.출처: C. Autonomous R&D &… · p. 69
• Axiom Math와 Harmonic Aristotle은 추측, 증명 탐색, 검증을 통해 형식 수학을 목표로 하며, Core Automation과 Discovery Loop는 시스템 연구와 실험을 자동화한다.Axiom Math의 대표 작업으로 Putnam 2025와 IMO 2026이 기재되어 있다.출처: C. Autonomous R&D &… · p. 69
• Prime Intellect와 Speedrun은 학습 레시피, 최적화기, 코드, GPU 실행 절제 실험을 통해 모델 R&D를 목표로 하며, Analemma와 연구 에이전트 항목은 연구 워크플로와 실험을 자동화한다.에이전트 항목에는 평가 하니스, 도구 사용, 연구 추적, 코딩, 다중 에이전트 실험이 포함된다.출처: C. Autonomous R&D &… · p. 69

D. 에이전트 최적화, 평가 및 학습 인프라

• 에이전트 개선 인프라에는 기술 수정, 평가기 피드백, 소프트웨어 테스트 및 수리, RL 환경, 시뮬레이션 및 평가 도구가 포함된다.이 항목들은 피드백, 기술, 평가, 시뮬레이터, 학습 및 프로덕션 에이전트 개선을 위한 인프라를 다룬다.출처: D. Agent optimization, evaluation &… · pp. 69–70

E. 체화 지능, 월드 모델 및 지속 적응 기업

• 체화 지능 및 지속 적응 관련 연구는 VLA 정책과 행동 데이터 스택, 월드 모델, 테스트 시점 적응, LoRA 또는 기술 벡터 전이를 아우르며, 하네스 적응은 후보로 제시된다.여기에는 실제 로봇 배포와 촉각 월드 모델 연구도 포함된다.출처: E. Embodied, world-model &… · pp. 70–71

F. 지속 메모리 및 개인 AI 기업

• 지속 메모리 및 개인 AI 시스템은 과업 간 메모리와 재사용 가능한 기술을 중심으로 하며, 장기 메모리 검색과 기술 제련을 포함한다.이 절은 이를 과업 간 적응을 위한 기반으로 설명한다.출처: F. Persistent-memory & personal-AI… · p. 71

Appendix C: 응용 분야 전반의 RSI

• 응용 분야 전반에서 RSI 워크플로는 무엇을 개선하는지, 피드백이 업데이트를 어떻게 검증하는지, 어떤 구성요소를 변경하는지, 그리고 그 변경을 어떻게 유지하는지를 기준으로 비교된다.검토에서는 근거를 과학, 체화 지능, 소프트웨어 공학, 의료 분야로 분류하며, 각 시나리오는 서로 겹칠 수 있다.출처: Appendix C · p. 72

C.1 S1: 과학을 위한 RSI

• 과학 분야 RSI는 계산 또는 물리 실험의 증거를 활용해 더 나은 과학적 결과를 찾는 데 그치지 않고, 가설과 실험을 생성하는 시스템을 진단하고 개선한다.이 순환은 연구 과제에서 시작해 가설과 실험을 제안하고 평가한 뒤, 증거 또는 반증을 사용해 AI-for-science 시스템을 진단한다.출처: §C.1 · p. 72
• 과학 분야 RSI는 개방형 탐색, 희소하고 모호한 피드백, 가정과 측정에 좌우되는 타당성에 직면하므로 업데이트에는 출처, 적용 범위, 불확실성이 함께 반영되어야 한다.검토에서는 진화하는 구성요소를 과학적 가설 모듈, 실험 에이전트, 성찰 시스템 또는 개선기로 분류한다.출처: §C.1 · p. 72

C.1.1 진화하는 과학적 가설 모듈

• HypoForge [158]는 비판과 실행 결과를 재사용 가능한 기술로 추출하는 반면, EvoScientist [173]는 모델, 메모리 스키마, 업데이트 절차를 고정한 채 유망하거나 실패한 연구 방향을 검색한다.HypoForge는 직접적인 경험적 피드백을 이용할 수 없을 때 생성 기술을 업데이트하고, 실행 결과와 귀속된 실패를 활용해 테스트 기술을 개선한다.출처: §C.1.1 · p. 72
• TTT-Discover [174]는 테스트 시점 강화학습을 통해 가중치를 업데이트하고, 고분자 프레임워크 는 시뮬레이션으로 평가한 후보를 사용해 재학습한다. 두 방법 모두 과업 또는 영역에 한정되어 있어, 일반적인 교차 영역 개선보다는 제한된 개선을 뒷받침한다.이 시스템들은 학습 및 선택 절차를 고정해 사용한다. 현재 증거로는 여러 영역에 걸쳐 과학적 가설 형성 능력을 점진적으로 개선하는 일반 메커니즘이 입증되지 않았다.출처: §C.1.1 · p. 72

C.1.2 진화하는 실험 에이전트

• SciEvo의 Test-Time Tool Evolution [159]은 925개의 진화된 도구를 바탕으로 1,590개 벤치마크 과제에서 도구를 종합하고 검증한 뒤 재사용한다.출처: §C.1.2 · p. 73
• CASCADE [176], S1-NexusAgent [177], SkillFoundry [178]는 재사용 가능한 과학 기술을 축적해 실험 에이전트의 행동 공간을 지속적이고 확장 가능하게 만든다.SkillFoundry는 이질적인 출처에서 정보를 추출하고 실행 가능한 기술로 패키징하며, 실행 결과와 후속 유용성을 기준으로 이를 검증·통합·정리한다. 생성 및 채택 규칙은 여전히 외부에서 지정한다.출처: §C.1.2 · p. 73
• DrugSAGE [160]에서는 16개 과제의 경험이 17개 홀드아웃 과제의 성능을 향상시켜, 전수된 절차와 수정 사항이 과제 간에 전이됨을 보여준다.DrugSAGE는 검증된 모델링 절차, 학습 전략, 반복적으로 발생하는 오류의 수정 사항을 과제 간 메모리에 저장한다.출처: §C.1.2 · p. 73
• STELLA [179], EarthLink [180], OriGene 은 연구 템플릿과 워크플로를 개선하는 한편, 유체 제어 에이전트 [182]는 정의와 컨트롤러를 모두 수정한다.평가에서는 실험 에이전트의 개선과 컨트롤러 같은 과학적 산출물의 개선을 구분해야 한다.출처: §C.1.2 · p. 73
• 실험 에이전트의 신뢰할 수 있는 진화는 검증된 재사용에 달려 있으며, 명시적인 기술의 전제 조건, 실행 테스트, 출처 정보, 버전 관리, 롤백을 통해 맥락에 맞지 않는 전수를 방지한다.도구나 메모리 라이브러리의 규모 증가는 후속 과제에서 검증된 재사용이 이루어지는 것보다 약한 증거다.출처: §C.1.2 · p. 73

C.1.3 진화하는 성찰 시스템과 개선기

• 진화하는 개선기는 이전 결과를 바탕으로 진단, 개입 또는 승격 정책을 업데이트하지만, 고정된 비평기는 현재 출력을 수정할 뿐이다.출처: §C.1.3 · p. 73
• SIA [161]는 에이전트 구성 요소를 조정하고, CORAL [183]은 고정된 탐색 휴리스틱을 성찰형 비동기 에이전트로 대체하며, SAGA [184]는 탐색을 유도하는 실행 가능한 목표를 학습한다.SIA는 스캐폴드, 도구, 재시도 및 탐색 로직 또는 LoRA 가중치를 수정할 수 있다. CORAL은 발견 사항을 공유 가능한 시도, 메모, 기술로 외부화하고, SAGA는 고정된 상위 수준 목표 아래 구체적인 목표를 조정한다.출처: §C.1.3 · p. 73

C.1.4 과학 에이전트의 재귀적 개선을 향하여

• 과학 분야의 RSI는 가설 생성, 실험 수행, 증거 해석을 개선해 각 주기에서 발견과 향후 발견에 재사용할 수 있는 개선을 이끌어내야 한다.현재 AI4Sci 시스템은 광범위한 B0 출력 개선부터 입증된 L1 지속적 업데이트, L2의 최전선에 이르기까지 다양하다. L3의 일부 측면은 구현됐지만, 종단 간 L4 적응과 개선자를 진화시키는 L5는 대체로 탐구되지 않았다.출처: §C.1.4 · pp. 73–74
• 과학 분야의 RSI를 진전시키려면 결과의 신뢰할 수 있는 귀속, 과제 간 선별적 전이, 향후 연구 성과의 평가가 필요하며, 출처 이력과 재현성, 과학적 제약 및 안전 제약을 보존해야 한다.개선 과정에서 점점 더 강력한 부분이 적응적으로 바뀔수록 이 과제가 중요해진다.출처: §C.1.4 · p. 74

C.2 S2: 체화 지능을 위한 RSI

• 체화형 RSI는 실제 환경에서의 경험, 구성 요소 간 신용 할당, 안전한 계승을 다뤄야 한다. 물리적 시행은 재현하거나 되돌리거나 초기화하기 어렵기 때문이다.이 순환 과정은 과제와 역량을 구성하고, 행동을 실행하며, 결과를 해석하고, 검증된 피드백을 구성 요소에 다시 기록해 다음 상호작용에 활용한다.출처: §C.2 · p. 74

C.2.1 환경과 커리큘럼의 진화

• POET [65], EnvGen [185], GenEnv [186], OMNI-EPIC [187], SimWorld Studio [188]은 학습자의 진척을 활용해 커리큘럼, 과제 분포 또는 향후 체화 경험을 생성하는 도구를 진화시킨다.접근법은 환경–에이전트 쌍의 공동 진화와 LLM이 설계한 커리큘럼부터 실행 가능한 세계의 생성, 점진적으로 난도가 높아지는 Gym 호환 환경까지 다양하다.출처: §C.2.1 · p. 74

C.2.2 스킬, 메모리, 에이전트 하네스의 진화

• Voyager [84], LRLL [189], EmbodiSkill [190], SHAPER [111], ASPIRE [191], ENPIRE [192]는 개선 범위를 스킬 라이브러리와 증거 기반 복구에서 진화하는 하네스, 전이 가능한 수정, 실제 환경의 정책 또는 인프라 변경으로 확장한다.시스템 수준의 이런 진화는 에이전트가 아는 내용뿐 아니라 역량을 선택하고 조합하며 개선하는 방식도 바꾼다.출처: §C.2.2 · p. 75

C.2.3 정책과 행동 모델의 진화

• Self-Improving Embodied Foundation Models [193], MEDAL++ [194], Q-Planning [195], SERP [196]은 상호작용을 통해 학습하지만, 업데이트 알고리즘, 보상, 허용되는 모델 구성 요소는 사전에 지정된다.이 방법들은 제한된 감독 아래 연습하거나, 과제 완료와 실행 취소를 학습하거나, 실제 배포 궤적으로 가치 함수를 학습하거나, 내비게이션 실패 후 행동 모델을 적응시키는 것을 지원한다.출처: §C.2.3 · p. 75

C.2.4 세계 모델과 평가기의 진화

• VLAW [197], World-VLA-Loop [162], Motus2 [198], SAIL [199]은 상호작용을 통해 세계 모델, 평가기 또는 정책을 개선해 제한된 순환을 형성하지만, 목표와 업데이트는 외부에서 고정된다.피드백을 통해 다음 라운드의 정책, 하네스 또는 커리큘럼을 업데이트할 수 있지만, 이 시스템은 제약 없는 재귀적 개선이 아니라 제한된 모델–정책 공동 진화에 머문다.출처: §C.2.4 · p. 75

C.2.5 체화 에이전트의 재귀적 개선을 향하여

• 체화 RSI는 최전선 수준의 과제를 생성하고, 관련 기억·스킬·도구·모델을 구성하며, 결과를 해석한 뒤 검증된 개선을 policy, world model 또는 harness에 반영해야 한다.이 루프는 상호작용 전반에서 현재 행동과 이후 학습을 모두 개선하기 위한 것이다.출처: §C.2.5 · pp. 75–76
• 체화 시스템에서는 부분적 진전이 나타났다. B0 reflection은 널리 사용되며, L1 policy/model 업데이트 [193] [194] [199], L2 구성요소 업데이트 [111] [190] [191], L3 상태 기반 경험 [84] [189], L4 공진화 [65] [185] [186] [188]가 시연되었다.ENPIRE [192]는 policy, 학습 절차, 인프라를 수정해 제한된 범위의 L5에 접근하지만, 인터페이스와 평가자, 안전 제약은 여전히 외부에서 지정된다.출처: §C.2.5 · p. 76
• 진정한 체화 RSI에는 유익한 경험 획득, 감각운동 결과의 귀인, 물리적 조건 검증, 과제와 체화 형태 간 강건성, 출처 정보, 불확실성, 롤백, 그리고 harness와 평가를 안전하게 자율 개선하는 능력이 필요하다.현재 방법들은 이러한 능력을 개별적으로 시연했지만, 안전하고 지속적이며 자율적인 실제 환경의 루프로 통합하지는 못했다.출처: §C.2.5 · p. 76

C.3 S3: 소프트웨어 공학을 위한 RSI

• 소프트웨어 공학은 제품과 개발 중인 에이전트가 모두 실행 가능한 코드라는 점에서 구체적인 RSI 환경을 제공한다. 에이전트는 저장소의 피드백을 활용해 지속되는 스킬, 워크플로, 구현을 변경하고, 승인된 변경 사항을 재사용한다.피드백에는 테스트 실패, 런타임 추적 또는 코드 리뷰가 포함될 수 있다.출처: §C.3 · p. 76
• 소프트웨어 RSI는 역량 격차를 겨냥한 가치 있고 검증 가능한 과제를 생성하고, 변경 사항이 추가 개선을 뒷받침하는지 평가해야 한다. 즉각적인 벤치마크 향상은 이후 탐색을 정체시킬 수 있는 반면, 성능이 낮은 변형이 더 강력한 후속 모델을 낳을 수도 있다.현재의 효과성과 이후 개선 역량을 모두 최적화하는 것이 과제다.출처: §C.3 · p. 76
• 외부 평가 및 목표 계약을 보존하면서 에이전트 구현과 harness의 진화, 소프트웨어 공학 경험과 협업, 개선 과정 자체의 진화를 조율하는 일은 여전히 과제다.출처: §C.3 · p. 76

C.3.1 코딩 에이전트 구현과 하네스의 진화

• SICA [200]는 이전 버전과 벤치마크 결과를 바탕으로 자체 Python 코드베이스를 편집하지만, 벤치마크, 효용 함수, 샌드박스는 외부에서 고정되어 있다.편집 가능한 에이전트는 도구, 하위 에이전트, 컨텍스트 관리 방식을 변경해 코딩 능력과 이후의 자기 수정 능력을 개선할 수 있다.출처: §C.3.1 · p. 76
• Self-Harness [23], Agentic Harness Engineering [63], Ouroboros [18]는 검증 또는 검토를 거친 변경을 통해 하네스를 진화시키고, 이를 후속 실행에도 유지한다.이들 방법은 실행 추적이나 궤적 증거를 사용하고, 회귀 테스트 또는 예상 효과 점검을 거쳐 승인된 변경 사항을 도구, 컨텍스트, 프롬프트, 구현에 반영한다.출처: §C.3.1 · pp. 76–77

C.3.2 소프트웨어 엔지니어링 경험, 기술, 협업의 진화

• SWE-Exp [60]는 성공과 실패 궤적에서 교훈을 검색하고, CODESKILL [201]은 미래의 에이전트를 위해 간결한 절차적 기술 저장소를 갱신한다.두 방법 모두 과제 간에 재사용할 수 있는 개발 지식을 보존하지만, 지식 추출 및 갱신 절차 자체는 사용을 통해 개선되지 않는다.출처: §C.3.2 · p. 77
• EvoMAC [202]는 테스트 피드백과 텍스트 기반 역전파를 활용해 다중 에이전트 역할 프롬프트와 통신 링크를 수정하며, 보고된 업데이트는 각 과제의 테스트 시간 동안 이루어진다.출처: §C.3.2 · p. 77

C.3.3 개선 프로세스의 진화

• DGM 은 여러 코딩 에이전트 계통을 탐색하고, HGM 은 현재 벤치마크 성능만이 아니라 추정된 후손 개선 잠재력에 따라 평가 자원을 배분한다.DGM은 변형들을 보관하고 후손을 평가하므로 성능이 낮은 변형도 발판이 될 수 있으며, HGM은 후손 계통을 바탕으로 메타생산성을 추정한다.출처: §C.3.3 · p. 77
• Group-Evolving Agents [203]는 부모 에이전트 간에 수정 사항과 실패를 공유하고, DarwinX [204]는 더 넓은 과제 범위에서 성능 저하가 없는 하네스를 선별하며, HELIX [205]는 하네스 업데이트와 모델 업데이트를 번갈아 수행한다.HELIX는 하네스 진화로 검증된 궤적을 생성해 모델을 업데이트한 뒤, 변경된 모델에 맞춰 하네스를 다시 구축한다.출처: §C.3.3 · p. 77

C.3.4 소프트웨어 엔지니어링 에이전트의 재귀적 개선을 향하여

• 소프트웨어 엔지니어링 RSI는 개발 과제, 에이전트 수정, 저장소 기반 시험, 회귀를 고려한 선택, 버전 관리된 계승의 루프를 따른다.저장소에서 얻은 피드백은 지속적 업데이트를 촉발하며, 이 업데이트는 현재 과제와 보류 과제에서 평가된 뒤 추적 가능하고 되돌릴 수 있는 버전으로 계승된다.출처: §C.3.4 · p. 77
• 소프트웨어 에이전트는 부분적 RSI를 보인다. L1 교차 과제 학습과 L2 제한적 변경은 확립됐고, L3 과제 생성은 부상 중이며, L4는 대체로 부재하고, 완전한 L5는 아직 입증되지 않았다.L1 includes cross-task experience and skill learning [60] [201]; L2 selects harness, tool, or workflow changes under fixed objectives and evaluators [23] [63] [204]. L3 learner-conditioned generation appears in Self-play SWE-RL and Socratic-SWE [207]; SICA and DGM show bounded L5 characteristics [200], while HGM adds lineage-based meta-selection without changing its selection rule. True RSI also requires robust specifications, attributable improvements, reliable transfer, and externally protected user intent, safety, auditability, and rollback.출처: §C.3.4 · pp. 77–78

C.4 S4: 의료 분야의 RSI

• 의료 RSI는 임상 피드백을 지식, 전략 또는 워크플로의 지속적 업데이트로 전환하지만, 위험한 시행착오, 지연되거나 교란된 결과, 환경별 효과 때문에 감독과 관리된 계승이 필요하다.한 집단이나 기관에서 검증된 업데이트는 출처, 적용 범위, 불확실성을 기록하지 않으면 안전하게 전이할 수 없다.출처: §C.4 · p. 78

C.4.1 임상 기억과 지식의 진화

• MedAgent-Zero [163], Agent Mental Clinic [208], MedAgentSim 은 사례 경험을 지속적으로 축적하고, DxEvolve [210], GSEM [211], Evo-MedAgent [212]는 기억 구조, 적용 가능성 또는 도구 신뢰도를 개선한다.대부분의 근거는 외부에서 라벨을 제공한 시뮬레이션 또는 후향적 사례를 사용한다. 실제 사례에서 기억 진화를 검증한 연구는 아직 부족하다.출처: §C.4.1 · p. 78

C.4.2 임상 추론 전략의 진화

• EvoClinician [164]은 각 질문이나 검사의 임상적 수율과 자원 비용을 평가해 진단 정책을 진화시키고, 피드백을 활용해 이후 사례에 앞서 프롬프트와 기억을 수정한다.계승된 정책에 따라 어떤 증상을 추가로 확인하거나 어떤 검사를 우선할지 결정할 수 있다.출처: §C.4.2 · p. 78
• EvoMDT 는 전문의 프롬프트, 합의 가중치, 검색 범위를 업데이트하고, PsychAgent [214]는 실제 진료에 기반한 상담 기술을 추가해 선택된 기술을 거부 미세조정을 통해 내재화한다.이러한 접근법은 전문가 평가, 결과 또는 과거 상담 궤적을 활용해 다중 에이전트 협업이나 에이전트의 기술 레퍼토리를 진화시킨다.출처: §C.4.2 · p. 79

C.4.3 의료 도구와 워크플로의 진화

• MACRO [165]는 검증된 영상 패턴을 복합 도구로 전환하고, SkeMex [215]는 시술 기술을 추출해 맥락에 따른 효용에 따라 관리한다.진화하는 행동 구성 요소는 후속 과제에서 입증된 효용에 따라 채택, 병합, 업데이트 또는 제거된다.출처: §C.4.3 · p. 79
• TissueLab [216]은 전문가의 수정을 활용해 영상 워크플로를 개선하고, HealthFlow 는 안전장치와 재사용 가능한 EHR 절차를 유지한다. 계승된 워크플로는 여전히 검증과 가역성이 필요하다.HealthFlow는 반영 모듈이 저장된 경험을 검증, 업데이트 또는 폐기하기 전에 실행상 결함이나 방법론적 결함을 평가한다.출처: §C.4.3 · p. 79

C.4.4 재귀적으로 개선되는 의료 에이전트를 향해

• 의료 RSI는 임상적 타당성과 안전성을 지키면서 과업 수행을 개선하고, 각 에피소드에서 안전하게 재사용할 수 있도록 메모리, 추론 또는 행동 레퍼토리에 검증된 업데이트를 생성해야 한다.결과로 얻은 역량은 후속 사례에서 추가로 평가해야 한다.출처: §C.4.4 · p. 79
• B0 성찰은 흔하지만 지속되지 않으며, L1은 재사용 가능한 임상 지식을 계승하고 [208] [210], L2는 현재 가장 앞선 단계이며 [164] [165] [211] [212] [215], L3/L4는 여전히 제한적이고 L5는 대체로 탐구되지 않았다 [163] [216].L3 요소는 근거 획득 방식을 형성하지만 환자 집단과 과업 분포는 외부에서 지정된 채로 남는다. EvoPatient은 L4 방식의 공진화를 탐색하지만, 실제 결과에 기반한 종단 간 L4 적응은 대체로 탐구되지 않았다.출처: §C.4.4 · p. 79
• 진전을 위해서는 종단적 결과의 신뢰할 수 있는 귀속, 제한 없는 임상 탐색 없이 안전하게 개선하는 피드백, 환자 집단과 기관 간의 선택적 전이, 그리고 업데이트의 관리된 검증·모니터링·추적 가능성·가역성이 필요하다.지속적 업데이트는 전향적으로 모니터링해야 하며, 그 가정이나 안전 보장이 더 이상 성립하지 않을 때 되돌릴 수 있어야 한다.출처: §C.4.4 · p. 79