Self-Improving AI Coding Agents Through Accumulated Behavioral Rules: A Closed-Loop Framework

Aditya Aggarwal; Nahid Farhady Ghalaty

Source-linked AI summary

Self-Improving AI Coding Agents Through Accumulated Behavioral Rules: A Closed-Loop Framework

Aditya Aggarwal, Nahid Farhady Ghalaty

arXiv:2607.13091v12026년 7월 13일cs.SEcs.AI

TL;DR

Coding agent에는 human review의 correction을 보존하는 feedback loop가 없으며, 기존 benchmark는 시간에 따른 behavioral consistency를 측정하지 않는다. 이 논문은 accepted review에서 도출한 persistent behavioral rule을 도입하고, deployment 중 추적한 error class의 recurrence가 없었으며 agent 경계를 넘어 knowledge가 transfer된 결과를 보고한다.

문제
기존 coding agent에는 review outcome을 바탕으로 이후 behavior를 자동으로 강화하는 feedback loop가 없으며, benchmark는 시간에 따른 behavioral consistency를 측정하지 않는다.
방법
이 framework는 accepted human review comment를 persistent version-controlled rule로 변환하고, self-review로 이를 강화하며 subsequent session 전반에 걸쳐 load한다.
결과
9개의 tracked error class와 74회의 cumulative post-rule session exposure에서 0 recurrences가 관찰되었고, knowledge-transfer event의 60%는 repository, tool 또는 task-type 경계를 넘었다.
시사점 및 한계
이 framework는 session 전반의 persistent behavioral consistency를 다루며, 이는 기존 coding benchmark가 측정하지 않는 차원이다.
시사점 및 한계
controlled baseline이나 paired ablation이 없으므로, suppression 및 review-shift 결과는 causal proof가 아니라 initial empirical evidence다.

Abstract

from arXiv · show

LLM-based coding agents repeat the same classes of mistakes across sessions because they lack a mechanism to retain corrections from human review feedback. We present a closed-loop framework in which every accepted review comment is codified as a persistent behavioral rule, progressively expanding the set of error classes the agent can self-detect. The framework combines an accumulating rule set in a version-controlled instruction file, a self-review checklist executed before code submission, and automated validation that ensures rule set integrity as it grows. In deployment across a 35+ service microservices platform, the rule set grew from 5 to 18 behavioral rules, 15+ language-specific standards, and a 15-item self-review checklist, all derived from real review feedback. We present empirical results from 11 recorded working sessions spanning code generation, PR review, incident investigation, and cross service refactoring. We observe that accumulated rules shift review effort from low-level correctness toward design-level validation, achieve a measured 0% recurrence rate for ruled-against error classes, and transfer across heterogeneous agent interfaces. We compare our approach against related work in experiential LLM learning (Reflexion, ExpeL, Voyager) and automated code review (CodeReviewer, SWE-bench agents), showing that our framework achieves persistent cross-session learning without weight updates, operates on production codebases rather than synthetic benchmarks, and addresses an orthogonal dimension (behavioral consistency over time) that existing benchmarks do not measure. The result is a coding agent that improves with every review cycle, accumulating the engineering wisdom of its human collaborators without changing a single model weight.

I. 서론 · A. 범위와 포지셔닝

이 논문은 승인된 인간 리뷰 피드백을 코딩 에이전트를 위한 지속적이고 재사용 가능한 제약으로 변환하는 closed-loop 메커니즘으로 누적 behavioral rules를 제안한다. 정적 프롬프트, 재학습, 일반 메모리 시스템과 달리, 이 framework는 알려진 coding-agent failure modes를 대상으로 하면서 higher-order concerns에 대한 인간 리뷰는 유지한다.

A. 범위와 포지셔닝: 정적 prompt engineering 과 달리 instruction file은 리뷰 결과에서 직접 진화하며, 새로 추가되는 모든 rule은 특정 승인 comment로 추적할 수 있다.이 feedback loop가 시스템을 수동적으로 유지하는 것이 아니라 self-improving하게 만든다.
I. 서론: 승인된 리뷰 comment는 지속적인 self-review rules가 되어, 방지되는 error classes가 시간에 따라 단조롭게 증가하는 ratchet effect를 만든다.목표는 이전에 식별된 mistake classes를 반복적으로 방지하여 피할 수 있는 리뷰 comment를 0으로 만드는 것이다.
I. 서론: 이 framework는 weight updates가 아니라 version-controlled instruction files를 통해 operational memory를 구현하므로, model-agnostic하고 tool-agnostic하며 즉시 배포할 수 있다.공유 artifact는 여러 model, tool, team member 간에 재사용할 수 있다.
I. 서론: 이 연구는 11개의 기록된 session에 걸쳐 code generation, PR review, refactoring, incident investigation에서 rule accumulation, error-class suppression, knowledge transfer를 평가한다.배포 환경은 production setting이며, 보고된 session은 이질적인 coding-agent task를 아우른다.
I. 서론: 이 기여는 session 간 지속적인 behavioral consistency를 다루며, 이를 Reflexion, ExpeL, Voyager [15]와 같은 experiential learning 연구 및 CodeReviewer, SWE-agent [16]와 같은 code-review system과 구별한다.기존 benchmark는 이러한 session 간 behavioral dimension을 측정하지 않는다.
A. 범위와 포지셔닝: 이 framework는 accepted review outcomes에서만 내용이 도출되는 persistent organizational memory mechanism이며, 개별 수정사항을 class-level constraints로 변환한다.범위는 unrestricted general-purpose memory가 아니라 정의된 codebase 내 coding-agent behavior다.
A. 범위와 포지셔닝: 이 시스템은 알려진 error classes를 제거하여 인간 리뷰를 대체하기보다 보강하지만, semantic correctness의 증명이 아니며 가능한 모든 failure를 방지할 수 없다.명시적으로 weight updating, model retraining, 또는 reinforcement learning from human feedback (RLHF) 가 아니다.

II. 프레임워크 아키텍처 · A. 구조화된 지침 파일 · B. 규칙 표현

이 프레임워크는 매 세션마다 로드되는 버전 관리형 구조화 지침 파일을 사용해 행동 지침을 보존하고 self-review 역량을 확장한다. 사람이 읽을 수 있는 규칙은 review의 출처를 추적하고, 규칙을 checklist 항목에 연결하며, 향후 validation tooling을 가능하게 하는 schema를 암묵적으로 따른다.

II. 프레임워크 아키텍처: 수용된 각 review comment는 버전 관리형 지침 파일의 영속적 행동 규칙이 되어 이후 세션 전반에서 agent의 self-review 역량을 확장한다.폐루프 프로세스는 Fig. 1에 요약되어 있다.
A. 구조화된 지침 파일: 지침 파일은 모든 coding-agent 세션 시작 시 system context로 로드되며 AGENTS.md나 rules 파일과 같은 버전 관리형 Markdown 관례를 따른다.구체적인 section 이름과 내용은 도메인에 따라 달라진다.
A. 구조화된 지침 파일: deployment-specific 파일에는 Behavioral Rules, Code Standards, Self-Review Checklist, Anti-Patterns, Workflow Rules가 포함된다.이 section들은 운영상의 guardrail, review에서 도출된 언어별 표준, 제출 전 점검, 대안과 함께 금지된 패턴, workflow 제약을 다룬다.
A. 구조화된 지침 파일: Behavioral Rules는 상위 수준의 운영 guardrail을 인코딩하고, Code Standards는 review feedback에서 도출된 언어별 요구사항을 담는다.예로는 commit 전에 승인을 받는 것과 string interpolation 대신 template 기반 logging을 사용하는 것이 있다.
A. 구조화된 지침 파일: Anti-Patterns는 설명 및 올바른 대안과 함께 금지된 generation pattern을 기록하여 파일의 운영 및 coding 지침을 보완한다.원문은 Workflow Rules도 파일의 독립적인 section으로 식별한다.
B. 규칙 표현: 각 Markdown 규칙은 ID, category, trigger origin, scope, constraint, rationale, validation failures, checklist mapping, date added, review traceability 등의 field를 포함하는 structured schema를 암묵적으로 따른다.제시된 예시는 architecture 규칙을 human PR reviewer, self-review item, 그리고 누락된 SSRF-policy validation에 관한 PR comment에 연결한다.
B. 규칙 표현: 이 schema는 각 규칙을 해당 규칙을 생성한 review event에 연결하여 규칙의 출처를 구체화한다.이를 통해 누적된 행동 지침에 대한 명시적 provenance를 제공한다.
B. 규칙 표현: 이 schema는 규칙을 self-review checklist 항목에 매핑하고 conflict detection 및 rule-effectiveness scoring을 위한 향후 tooling을 지원한다.이를 통해 지침 파일과 제출 전 점검 사이에 검증 가능한 연결 고리를 만든다.

C. 피드백 루프 … F. 신뢰성 메커니즘으로서의 Workspace 검증

이 프레임워크는 승인된 review feedback을 향후 세션마다 불러오는 지속적 behavioral rule로 전환하며, governance와 workspace validation을 통해 instruction set이 확장되는 동안 rule 품질을 유지한다. Rule은 반복되는 engineering mistake를 포착하고 refinement, deduplication, team arbitration, schema check를 통해 관리된다.

C. 피드백 루프: 일반화 가능한 실수를 식별한 승인된 review comment는 새로운 rule이 되며, 갱신된 instruction file은 이후 모든 세션에서 불러온다.Agent는 먼저 self-review를 수행하고, 그다음 human feedback에 따라 일회성 오타가 아니라 rule을 추가한다.
C. 피드백 루프: Instruction file은 세션, model, tool boundary를 넘어 지속되는 조직의 memory 역할을 한다.
D. Rule 수명주기와 governance: Engineer는 서로 다른 context에서 그럴듯하게 반복될 수 있는 comment를 rule로 승격하고, 일반화 가능한 실수와 일회성 issue를 구분한다.
D. Rule 수명주기와 governance: Feedback에서 과도한 포괄성이나 지나친 협소함이 드러나면 기존 rule을 원문에서 더 정교하게 다듬되, rule ID는 보존한다.
D. Rule 수명주기와 governance: 정기 review에서는 구체적인 rule이 중복되는 일반 rule을 포괄하도록 하며, pull-request review에서는 team arbitration을 통해 충돌을 해결한다.
E. 예시적 Rule 사례: 대표적인 rule은 resource lifetime management, structured logging, Boolean guard correctness를 다루며, factory가 생성한 HttpClient instance를 caller가 dispose하지 못하도록 하는 내용도 포함한다.
F. 신뢰성 메커니즘으로서의 Workspace 검증: Automated session-start validation은 rule 확장이 계속되기 전에 file frontmatter, instruction structure, knowledge freshness, script, tool-server configuration을 점검한다.이러한 check는 시스템을 조용히 저하시킬 수 있는 잘못된 추가를 방지한다.
F. 신뢰성 메커니즘으로서의 Workspace 검증: Validation은 모든 추가 항목을 known-good schema와 대조해 monotonic rule growth를 지원한다.

G. 세션 연속성 … C. 지식 출처 분포

이 framework는 handoff와 task-log artifact를 통해 연속성을 유지하면서 35+ service microservices platform과 여러 agent interface에서 작동한다. 배포 기간 동안 behavioral rule은 네 가지 학습 출처에서 누적되었으며, human reviewer feedback이 39%로 가장 큰 비중을 차지했다.

G. 세션 연속성: 세션 연속성은 진행 중인 작업, 대기 중인 review, 다음 action을 기록하는 handoff file과 시간순 task log를 결합한다.이 artifact들은 누적된 behavioral rule과 함께 진행 중인 작업의 context를 보존한다.
A. 환경: 배포 환경은 managed container orchestration과 service mesh에서 35+ microservices와 50,000+ lines의 shared infrastructure code를 포함했다.Agent들은 여러 interface에서 code generation, review, architecture investigation, incident response, cross-service refactoring을 수행했다.
A. 환경: 참여한 모든 agent interface는 동일한 instruction file을 읽었으며, 배포된 platform 전반에서 다양한 engineering activity를 지원했다.이 shared-file 구성 덕분에 framework는 code generation, review, investigation, incident response, refactoring workflow 전반에서 작동할 수 있었다.
B. 시간에 따른 Rule Accumulation: Rule set은 여러 주에 걸친 배포 기간 동안 성장했으며, 관찰 종료 시점의 구성은 Table I에 보고했다.제시된 passage는 시간에 따른 누적과 table을 식별하지만, table의 cell value는 제공하지 않는다.
C. 지식 출처 분포: 누적된 첫 18개 behavioral rule을 분석한 결과 네 가지의 서로 다른 학습 출처가 확인되었으며, 그 요약은 Table II에 제시했다.보고된 출처 분포는 rule accumulation이 단일 input이 아니라 여러 종류의 경험에서 비롯됨을 보여준다.
C. 지식 출처 분포: Human reviewer feedback은 첫 18개 behavioral rule의 39%를 제공했으며, 확인된 지식 출처 중 가장 큰 비중을 차지했다.논문은 이 분포를 human review를 rule generation을 위한 최고 품질의 signal로 사용하는 근거로 제시한다.

D. 관찰된 효과 … A. 실험 설정

35+ service platform에서 11개 working session을 수행한 결과, 누적된 rule은 관찰된 재발을 억제하고 review의 초점을 design으로 이동시켰으며, interface 간 전이와 onboarding 가속을 가능하게 했다. 또한 한 가지 scope conflict가 드러났으나 rule을 정교화해 해결했으며, specialized agent 간 shared behavioral memory를 뒷받침했다.

D. 관찰된 효과: ruled-against error class의 recurrence는 deployment 조건과 observation window에서 기록된 11개 session 전체에 걸쳐 0%로 관찰됐다.이는 underlying model의 영구적 변화가 아니라 관찰된 suppression을 의미한다.
D. 관찰된 효과: Reviewer는 mechanical issue에 쓰는 시간을 줄이고 architectural appropriateness와 design trade-off에 더 많은 시간을 썼다.
D. 관찰된 효과: 새로운 team member는 누적된 rule set을 즉시 물려받아, 이를 처음 만들어낸 learning curve를 우회했다.
D. 관찰된 효과: rule set이 발전함에 따라 broad guidance보다 구체적이고 실행 가능한 rule이 더 안정적으로 준수됐다.초기 rule은 broad했지만, 이후 rule은 precise해졌다.
E. Rule Conflict: 구체적 사례: 정확한 framework behavior를 확인한 뒤 general rule에 scope qualifier를 추가해 disposal rule 간의 실제 conflict 하나를 해결했다.이 conflict는 IDisposable type과 IHttpClientFactory를 통해 생성된 HttpClient instance에 관한 것이었다.
F. Multi-Interface Behavioral Transfer: IDE-integrated agent와 terminal-based agent는 analysis와 execution에서 서로 다른 강점을 보였지만 동일한 instruction file을 사용했기 때문에 rule이 interface 간에 전이됐다.이는 behavioral rule set을 multi-agent architecture, 의 shared memory로 사용하는 방식을 뒷받침한다.
A. 실험 설정: 평가는 13개의 custom agent definition, 10개의 operational skill, 6개의 shared knowledge document, 11개의 task-log entry, 2개의 committed instruction-file revision, 4개의 memory document, 6개 repository의 36개 PR review로 구성된 35+ service microservices platform을 대상으로 했다.두 agent interface가 동일한 shared instruction file을 사용했다.

B. 규칙 축적 동역학 … E. 지식 전이 패턴

관찰 기간 동안 rule set은 빠르게 증가한 뒤 증가세가 둔화되었으며, 추적한 error class에서는 rule 추가 이후 관찰된 재발이 0건이었다. Review comment는 design-level concern 쪽으로 이동했고, 기록된 학습의 대부분은 repository 또는 tool 경계를 넘어 전이되었다.

B. Rule Accumulation Dynamics: rule set은 logarithmic accumulation curve를 따랐으며, 빈번하게 발생한 pattern이 포괄되면서 초기의 빠른 증가세가 둔화되었다.Table III은 관찰 기간 동안의 rule-set growth를 보고한다.
B. Rule Accumulation Dynamics: 통합 instruction file은 약 4,809 words (∼6,250 tokens)에 도달했으며, 128K-token context window의 5% 미만을 사용했다.이 크기는 축적된 behavioral rule과 관련 instruction을 반영한다.
C. Error-Class Recurrence Analysis: rule이 추가된 이후 9개 추적 error class와 74회의 누적 post-rule session-exposure에서 0 recurrences가 발생했다.이 관찰 결과는 단일 deployment에서 도출되었으며 영구적인 보장을 확립하지는 않는다.
C. Error-Class Recurrence Analysis: recurrence analysis는 하나의 deployment에서 74회의 누적 post-rule session-exposure에 걸쳐 9개 error class를 추적했다.보고된 window는 Section VIII에서 논의한 threats to validity에 의해 제한된다.
D. Review Comment Category Shift: review comment의 66%는 architecture, API design, performance에 관한 것이었으며, mechanical correctness와 style은 14%였다.분석은 6개 repository의 36개 PR review를 대상으로 했으며, prior code review studies, 에서 조정한 기준을 사용했다.
E. Knowledge Transfer Patterns: 기록된 knowledge transfer의 60% (9/15)는 repository 또는 tool 경계를 넘었으며, tool-agnostic encoding의 폭넓은 적용 가능성을 뒷받침했다.transfer taxonomy는 기록된 review learning 15개를 분류했다.

F. 규칙 구체성의 진화 … A. 연구 결과 요약

배포 결과, 지속적 행동 규칙은 점점 구체화되면서도 간결성을 유지하고, 여러 작업과 인터페이스에 일반화되며, 모델 업데이트 없이 이전에 교정된 오류의 재발을 억제하는 것으로 나타났다.

F. 규칙 구체성의 진화: 구체적인 리뷰 코멘트가 구체적 규칙을 생성하고 기존의 일반 규칙을 정교화함에 따라 규칙 구체성 비율은 단조 증가했다.Table VII은 시간에 따른 언어적 구체성을 추적한다.
G. 다계층 메모리 아키텍처: 지속 메모리는 총 ∼4,809단어(∼6,250토큰)로, 3계층 아키텍처에서 128K 컨텍스트 윈도의 <5%를 사용했다.프레임워크는 지속적 표현으로서 이 3계층 메모리 아키텍처를 발전시켰다.
H. 세션 작업의 다양성: PR 리뷰와 인시던트 조사는 생성 작업이 아니었음에도 규칙의 39%를 기여했으며, 이는 코드 생성을 넘어선 적용 가능성을 보여준다.Table IX는 세션 활동 분포를 보고한다.
A. 연구 결과 요약: 폐루프는 승인된 인간 피드백으로부터 18개의 행동 규칙, 15+개의 언어별 표준, 15개 항목의 self-review 체크리스트를 도출했다.이 산출물은 여러 agent surface가 소비하는 버전 관리 instruction file에 저장되었으며, 모델 측 변경은 없었다.
A. 연구 결과 요약: 4주 관찰 기간 동안 추적된 9개 오류 클래스와 규칙 적용 후 74회의 세션 노출에서 0회의 재발이 발생했다.이 관찰 결과는 통제된 기준선 없이도 가시적인 억제가 나타났음을 보여주며, 통계적 보장은 아니다.
V. 논의: 프레임워크의 억제 및 전이 결과는 배포에 통제된 기준선이 없었고 관찰 기간도 제한적이었기 때문에 여전히 관찰적이다.억제 효과는 4주 이내에 가시적으로 나타났지만 통계적 보장을 의미하지는 않는다.
A. 연구 결과 요약: 지식 전이 이벤트의 60%(9/15)는 저장소, 도구 또는 작업 유형의 경계를 넘었으며, 규칙은 이기종 agent interface 전반에서 적용되었다.일반 Markdown의 선언적 자연어 제약은 모델 측 변경 없이 전이를 가능하게 했다.

B. 일치성과 기여 … C. ExpeL: 태스크 전반의 경험적 학습

이 framework는 coding agent의 동작을 human review를 통해 관리되는 지속적이고 감사 가능한 engineering artifact로 전환하며, cross-session persistence, human validation, task type 간 transfer를 통해 experiential approach와 구별된다. 실제 deployment에서는 반복 오류를 억제하고 reviewer의 주의를 상위 수준의 문제로 이동시키지만, 중요한 empirical limitation도 인정한다.

B. 일치성과 기여: 이 framework는 불투명하고 재현 불가능한 coding agent를 code review 안에서 operationalize하여, 조직의 engineering knowledge를 일급의 감사 가능한 artifact로 만들며 vendor와 tool에 구애받지 않는다.지식을 암묵적이고 session-specific한 context로 남겨두지 않고, 기존 engineering workflow에 agent behavior를 통합한다.
B. 일치성과 기여: 각 behavioral rule은 해당 review event, 책임 owner, pull request, self-review-checklist position을 기록하여 agent behavior를 위한 명시적 governance model을 만든다.이 기록을 통해 operational behavior를 감사하고 review하며, 확립된 engineering practice로 관리할 수 있다.
B. 일치성과 기여: deployable artifact는 rule schema, lifecycle, validation, feedback-loop mechanism을 갖춘 structured instruction file을 사용하며, Git, Markdown, pull-request review, plain-text script만 요구한다.fine-tuning, model-specific tooling, specialized memory backend가 필요하지 않으므로 기존 조직 infrastructure로 재현할 수 있다.
B. 일치성과 기여: 보고된 deployment는 실제 rule conflict, governance question, validity threat를 드러내며, 한 팀, 한 언어, 4주간의 observation, no controlled baseline이라는 limitation을 포함한다.이러한 제약은 숨겨진 것이 아니라 empirical result의 해석 범위를 제한한다.
B. 일치성과 기여: 관찰된 pull-request review comment의 66%는 architecture, API design, performance를 다뤘고 14%는 mechanical correctness에 관한 것이었으며, 이는 반복 오류의 억제로 reviewer의 주의가 상위 수준의 문제에 집중되었음을 보여준다.누적된 rule set은 조직의 review history를 보존하는 transfer 가능한 onboarding artifact로도 기능한다.
A. Comparison Framework: Table X는 핵심 차원을 기준으로 비교를 구조화하여, accumulated-rule framework가 관련 experiential-learning 및 agent-review approach와 어떻게 다른지 제시한다.비교는 주변 subsection에서 설명한 framework의 persistence, feedback source, transfer scope, operational property를 다룬다.
B. Reflexion: Session 내부의 언어적 강화: Reflexion 은 session 내부에서 verbal reflection, episodic memory, self-generated feedback을 사용하는 반면, accumulated rule은 session 간에 persist하고 human expert feedback을 사용하며 다양한 production task에서 error-class suppression을 목표로 한다.두 approach는 상호보완적이다. Reflexion은 session 내부 iteration을 지원하는 반면, accumulated rule은 이후 session이 시작될 때부터 알려진 실수를 방지한다.
C. ExpeL: 태스크 전반의 경험적 학습: ExpeL 은 experience를 자율적으로 추출하고 하나의 task type 안에서 insight를 transfer하는 반면, 이 framework는 human review를 사용해 human-validated rule을 생성하며 근본적으로 다른 task type 간에 이를 transfer한다.모든 session에 로드되는 authoritative rule에 hallucinated generalization이 포함되면 오류가 증폭될 수 있으므로 human validation이 필요하다.

D. Voyager: 영속적 Skill Library … H. Memory-Augmented LLM Systems

기존 연구는 영속적 executable-skill library, weight 기반 code-review model, 고립된 issue-solving benchmark, 단일 context self-improvement, persistent-memory system을 아우른다. 반면 이 framework는 model weight를 변경하지 않고 session 전반에 걸쳐 감사 가능한 자연어 rule을 축적하며, behavioral consistency와 조직별 convention을 목표로 한다.

D. Voyager: 영속적 Skill Library: 이 framework는 선언적 자연어 제약을 저장하는 반면, Voyager [15]는 계속 확장되는 skill library에 실행 가능한 code function을 저장한다.두 접근법 모두 지속적이고 version-controlled된 지식을 사용해 역량이 누적적으로 성장하도록 지원한다.
E. Pre-trained Code Review Model: Pre-trained code-review model 은 weight를 fine-tune하고 training 시점에 지식을 고정하는 반면, 이 framework는 context를 통해 rule을 주입하고 이를 실시간으로 축적한다.이 framework는 public codebase에서는 드러나지 않을 수 있는 조직별 convention을 포착하는 반면, 해당 model은 public repository 전반에서 일반화된다.
F. SWE-bench Agent: SWE-bench agent [16] [20]는 고립된 GitHub issue를 해결하며, state-of-the-art system은 SWE-bench Lite issue의 20–40%를 해결한다.이 benchmark는 알려진 mistake class를 지속적으로 회피하는 능력이 아니라 issue-solving capability를 평가한다.
F. SWE-bench Agent: 이 framework는 별개의 evaluation dimension인 시간에 따른 behavioral consistency를 다루며, 이를 측정하는 current benchmark는 없다.SWE-bench는 agent가 issue를 해결할 수 있는지를 묻지만, 이 framework는 agent가 알려진 mistake class를 회피하는지를 묻는다.
G. Self-Taught Optimizer, Self-Refine, and Self-Debugging: STOP, Self-Refine, Self-Debugging [22]은 단일 execution context 안에서 scaffolding이나 output을 개선하는 반면, 이 framework는 개선 사항을 영구적으로 포착한다.인용된 method는 각각 recursive scaffolding improvement, self-generated critique, rubber-duck-style explanation을 사용한다.
H. Memory-Augmented LLM System: MemoryBank 와 관련 system은 persistent LLM memory를 제공하는 반면, 이 framework는 version-controlled되고 human-readable하며 감사 가능한 더 단순한 plain-text Markdown file을 사용한다.이 storage format을 사용하면 축적된 rule을 collaborator가 직접 inspect하고 maintain할 수 있다.

I. 지속적 메모리를 갖춘 개인 AI 어시스턴트 … A. 타당성 위협

이 framework는 개인 assistant memory system과 달리 팀 수준의 review-derived constraint injection을 사용하며, 그 원리는 검증되고 transferable한 rule 성장을 뒷받침한다. 그러나 deployment, language, reviewer quality, governance, context capacity, statistical controls의 제약으로 인해 evidence는 아직 preliminary하며 generalizability와 causal interpretation이 제한된다.

I. 지속적 메모리를 갖춘 개인 AI 어시스턴트: OpenClaw 와 달리, 이 framework는 자유 형식의 단일 사용자 대화에서 사실을 저장하는 대신 승인된 code-review feedback에서 팀 수준의 선언적 제약을 도출한다.그 목적은 persistent rule injection을 통해 반복되는 error class를 방지하는 것이다.
VII. 설계 원칙: 구체성, 기원 추적, 단조적 rule 성장은 핵심 원칙이며, 구체성은 0.60에서 0.78로 증가한다.Rule은 제거하지 않고 추가하거나 정제하며, 구체적인 제약을 우선하고, 각 rule은 review comment 또는 production event로 추적된다.
VII. 설계 원칙: Tool-agnostic Markdown, automated validation, shared repository ownership은 2개 platform과 PR 기반 rule governance 전반으로의 transfer를 지원한다.이 encoding은 모든 LLM이 읽을 수 있도록 설계되며, 각 추가 항목은 integrity 검사를 거친다.
VIII. 한계와 타당성 위협: 현재 rule set은 약 6,250 tokens이지만, context limit이 제약으로 작용하면 지속적인 성장에 따라 hierarchical organization 또는 summarization이 필요할 수 있다.한 건의 rule conflict가 발생했으며, automated conflict detection은 수동 식별에 대한 의존을 줄일 수 있다.
VIII. 한계와 타당성 위협: 중앙집중형 rule이 팀별로 분화되거나 해결되지 않은 모순을 누적할 수 있으므로, 한 팀을 넘어 확장하는 것은 여전히 미해결 governance 문제다.여러 팀이 참여하려면 hierarchical 또는 namespaced rule set과 팀 간 conflict를 해결하기 위한 policy가 필요하다.
VIII. 한계와 타당성 위협: 병렬 control group이나 static prompting 또는 no rules를 대상으로 한 paired ablation이 없으므로, suppression 및 review-shift 결과는 causal proof가 아니라 초기 evidence를 제공한다.향후 A/B deployment에서는 동일한 incoming task queue에서 rule-loading agent와 rule-free agent를 비교할 수 있다.
VIII. 한계와 타당성 위협: Adoption은 지속적인 written review feedback, comment를 codify하는 engineer의 노력, project-level instruction file을 로드하는 agent tooling에 달려 있다.어느 하나의 전제조건이라도 빠지면 feedback loop가 고갈되거나 agent가 rule set을 준수하지 못할 수 있다.
A. 타당성 위협: Evidence는 1개 organization, typed language, 4주, 11개 session, 소규모 count에 한정되므로 reviewer quality, language, deployment context, long-term saturation이 generalizability를 제약한다.Dataset에는 9개 error class에 걸친 post-rule exposure 74건과 6개 repository의 PR 36개가 포함되며, formal statistical significance claim은 제시하지 않는다.

IX. THE MISSING BENCHMARK … 미래 연구 방향

이 프레임워크는 인간의 review feedback을 persistent하고 version-controlled된 behavioral rule로 전환하며, self-detection coverage가 세션 전반에 걸쳐 단조롭게 증가하도록 한다. 이 논문은 이러한 behavioral consistency를 측정하고, 배포하며, 확장하기 위한 benchmark, 운영 관행, 연구 방향을 제안한다.

IX. THE MISSING BENCHMARK: 기존 coding benchmark는 정적 capability를 측정하지만, 시간에 따른 behavioral consistency나 correction이 세션 경계를 넘어 유지되는지는 측정하지 않는다.제안하는 benchmark는 SWE-bench, HumanEval, CodeReview benchmark를 대체하기보다 보완한다.
IX. THE MISSING BENCHMARK: 제안하는 benchmark는 rule corpus, ruled-against pattern을 유발하는 seed task, temporal task sequence, correction persistence의 cross-session evaluation을 결합한다.이 구성요소들은 세션 경계를 지난 뒤에도 이전 correction이 이후 task에서 계속 효과적인지를 직접 검증한다.
X. CONCLUSION: 35+개 microservice와 11개 recorded session에 걸쳐 rule set은 5개에서 18개 behavioral rule, 15+개 code standard, 15-item self-review checklist로 증가했다.이 production deployment는 시간이 지남에 따른 프레임워크의 개선이라는 주장을 뒷받침하는 empirical basis도 제공한다.
X. CONCLUSION: 74회의 누적 post-rule session-exposure 동안 9개 tracked error class에서 No recurrences가 발생했으며, review comment는 design-level concern으로 이동했고 rule은 관찰된 event의 60%에서 경계를 넘어 transfer되었다.저자들은 이를 다른 곳에서 논의한 한계를 지닌 observational result로 명시한다.
X. CONCLUSION: 프레임워크의 핵심 mechanism은 ratchet effect다. persistent하고 version-controlled된 review rule이 agent가 self-detect할 수 있는 error class를 단조롭게 확장한다.이는 weight update, fine-tuning, model-specific infrastructure, architecture change 없이 human-sourced feedback과 cross-session persistence를 결합한다.
Operationalizing the Framework in an Enterprise Setting: Enterprise adoption은 project instruction을 versioning하고, 일반화 가능한 review comment를 rule로 승격하며, 해당 file을 기존 agent surface에 연결하는 방식으로 incrementally 진행할 수 있다.이 관행은 조직의 기존 toolchain을 변경할 필요가 없는 것으로 제시된다.
Future Research Directions: Future research는 controlled A/B studies를 통해 causal effectiveness를 검증하고, 여러 조직과 programming context에서 재현하며, review 및 defect outcome을 위한 pre-registered metric을 확립해야 한다.제안된 study는 review-comment volume, defect escape rate, reviewer time-on-task, suppression effect의 boundary condition을 대상으로 한다.
Future Research Directions: 추가 방향으로는 automated rule proposal과 conflict detection, 그리고 composable rule set과 scope 전반의 provenance tracking을 활용하는 multi-team governance가 있다.이 mechanism은 contradictory rule을 방지하고 team-level에서 organization-wide 사용으로 승격된 rule의 origin을 보존하는 것을 목표로 한다.