Source-linked AI summary

Graph Engineering in the Era of LLM Agents: From Individual Intelligence to System Intelligence

Yuyuan Feng, Zhishang Xiang, Chaobin Yang, Qichao Ma, Zerui Chen, Yujing Zhang, Ke Huang, Chuanjie Wu, Zhaoxu Liu, Yili Wang, Xin He, Jiapu Wang, Zijin Hong, Hao Chen, Yuanchen Bei, Kun Wang, Shengyuan Chen, Ningyu Zhang, Enyan Dai, Linhao Luo, Qingyi Pan, Qi Wang, Wenqi Fan, Guangjing Wang, Na Zou, Yangqiu Song, Xin Wang, Zechao Li, Xia Hu, Qing Li, Xiao Huang, Zhihong Zhang, Jinsong Su, Qinggang Zhang, Yi Chang

arXiv:2608.21156v1cs.IRcs.AIcs.ET

TL;DR

복잡한 과제가 단독 agent가 조직할 수 있는 범위를 넘어섬에 따라, 이 논문은 과제·agent·런타임 상태를 조정하는 시스템 수준 접근법으로서 Graph Engineering을 검토한다. 조사 결과, 작업 조직과 agent coordination은 일반적이지만 지속적인 시스템 진화는 여전히 드물며, 단순히 agent를 추가하기보다 관계를 명시적으로 조직하는 것이 중요함을 강조한다.

  • 문제

    복잡하고 이질적이며 상호 의존적인 장기 과제는 개별 agent가 조직할 수 있는 범위를 넘어 전문화된 agent 전반의 시스템 수준 지능을 요구한다.

  • 방법

    이 논문은 명시적 그래프를 사용해 과제 분해, agent coordination, 런타임 상태 진화를 조직하는 Graph Engineering을 체계적으로 검토한다.

  • 결과

    조사한 영역 전반에서 작업 조직과 agent coordination은 일반적이고, 런타임 상태 관리는 부상하고 있으며, 지속적인 시스템 진화는 여전히 드물다.

  • 시사점 및 한계

    시스템 수준 지능은 모델이나 agent를 추가하는 것보다 작업, 행위자, 상태 간 관계를 명시적으로 조직하는 데 더 크게 좌우된다.

  • 시사점 및 한계

    최종 과제 성공만으로는 System Intelligence를 확립할 수 없다. 성능 향상이 더 강력한 모델, 더 긴 context, 추가 sampling 또는 더 큰 계산 비용을 반영한 것일 수 있기 때문이다.

Abstract

from arXiv · show

LLMs have evolved from language generators to autonomous agents capable of complex, long-horizon tasks. This evolution has produced paradigms including Prompt Engineering to elicit model capabilities, Context Engineering to manage information access, Harness Engineering to organize external tools and resources, and Loop Engineering to support continual reflection and self-improvement. Yet as tasks grow more complex, individual intelligence faces a fundamental limit: many tasks require heterogeneous expertise, interdependent subtasks, parallel execution, independent verification, and persistent state, exceeding any single agent's organizational capacity. Augmenting one agent's capabilities or context cannot resolve this architectural mismatch; intelligence must instead be distributed across specialized agents and organized at the system level. We call this System Intelligence: an agent system's ability to organize and coordinate multiple intelligent components into a coherent, adaptive whole pursuing a shared objective. Achieving it requires more than adding agents; it demands explicit structures to organize work, coordinate heterogeneous agents, and maintain evolving execution states. We introduce Graph Engineering, an emerging paradigm for next-generation agent systems. Unlike prior paradigms that mainly optimize individual interactions or agent-level behavior, Graph Engineering constructs explicit, dynamic, evolving graph structures representing tasks, agents, and system states. These abstractions provide a unified foundation for organizing complex objectives, orchestrating heterogeneous agents, modeling system dynamics, and enabling scalable agent evolution. We systematically review the principles, methodologies, and applications of Graph Engineering for LLM agents. Related papers, open-source data, and projects are collected at https://github.com/DEEP-JLU/Awesome-Graph-Engineering.

1 서론

LLM은 Harness Engineering과 Loop Engineering을 통해 모델 수준의 능력에서 자율 에이전트로 발전했지만, 복잡하고 장기적인 과제는 단일 에이전트의 조직 역량을 넘어선다. 이 논문은 지능을 전문화된 에이전트들에 분산하고, 시스템 수준에서 과제·조정·변화하는 런타임 상태를 조직하기 위해 Graph Engineering을 제안한다.

  • 모델 지능에서 Individual Intelligence로: Harness Engineering과 Loop Engineering은 자원, 도구, 메모리, 스킬, 지속적인 반복 실행을 통해 LLM을 확장하며 Individual Intelligence를 형성한다.이 프레임워크는 에이전트를 Agent = Loop(LLM + Harness)로 규정한다.
  • Individual Intelligence에서 System Intelligence로: Individual Intelligence는 이질적인 전문성, 상호 의존적인 하위 과제, 병렬 실행, 독립적 검증, 지속 상태가 필요한 과제에는 불충분하다.이러한 요구사항은 단일 에이전트의 조직 역량을 넘어선다 [88] [93] [155] [415].
  • Individual Intelligence에서 System Intelligence로: 한 에이전트의 능력이나 컨텍스트를 확장해도 이러한 구조적 불일치를 해결할 수 없으므로, 지능은 전문화된 에이전트들에 분산되고 시스템 수준에서 조직되어야 한다.이 논문은 이러한 능력을 System Intelligence라고 부른다 [159] [284].
  • Graph Engineering: Graph Engineering은 동적 그래프 구조를 사용해 과제 실행을 조직하고, 에이전트를 조정하며, 시스템 수준 지능을 위해 런타임 상태의 변화를 제어한다.세 가지 조직화 문제는 Task Organization, Agent Coordination, Runtime State Management다.
  • 기여: 이 논문은 에이전트 및 시스템 개념, Model에서 Individual을 거쳐 System Intelligence로 이어지는 발전, 그래프 기반 조직화, 평가, 소프트웨어 스택, 응용을 아우르는 프레임워크를 제시한다.조사된 응용 분야에는 소프트웨어 공학, 과학적 발견, 헬스케어, 엔터프라이즈 워크플로, 디지털 에이전트, 사회·경제 시뮬레이션이 포함된다.
  • 기여: 남은 과제로는 온톨로지 공학, 동적·자기 진화 그래프 시스템, 그래프 네이티브 에이전트 운영체제, 상호운용성, 구조적 진화, 상태 provenance, 지속적인 System Evolution이 있다.서론은 현재 실무에서 지속적인 System Evolution이 제한적이라고 지적한다.

2 예비 지식

Graph Engineering은 Foundation Model, Agent Harness, 반복적인 Agent Loop를 결합하는 Individual Agent와, 공유 자원·환경·시스템 수준 상태를 통해 여러 agent와 지원 구성 요소를 조정하는 Agent System을 구분한다.

  • Individual Agent: Individual Agent는 환경을 지각하고, 추론하고 행동하며, 피드백을 통해 적응하고, 주로 Foundation Model과 Agent Harness로 구성된다.Foundation Model은 언어 이해, 추론, 계획, 생성을 제공하고, Harness는 지각과 context construction을 위한 인터페이스를 제공한다.
  • Individual Agent: Agent Loop는 지각, 추론, 행동, 피드백 처리, 상태 업데이트를 반복적으로 통합하여 시간에 따른 agent의 역량을 조직한다.Foundation Model은 내재적 인지를 결정하고, Harness는 접근 가능한 자원과 action space를 결정하며, Loop는 이들의 지속적인 사용을 결정한다.
  • Agent System: Agent System은 individual-agent 추상화를 공유 자원, 외부 환경, coordination mechanism을 통해 작동하는 agent들의 집합으로 확장한다.agent team에는 서로 다른 역량과 과업을 지닌 역할 특화 agent가 포함될 수 있으며, 공유 자원에는 tool, model service, memory, knowledge base, verifier, human support가 포함된다.
  • Agent System: Agent-system coordination mechanism은 과업을 할당하고, 정보를 교환하며, 결과를 통합하고, 충돌을 해결하며, 실패를 처리한다.외부 환경은 관찰과 피드백을 제공하고 agent의 행동에 따라 변화한다.
  • Agent System: System state는 전체 시스템에 걸쳐 과업 진행 상황, 공유 결과, agent 가용성, 자원 상태, 환경 변화, 실패 기록을 저장한다.Individual Agent의 로컬 runtime state와 달리, system state는 시간 t에서 전체 시스템의 운영 상태를 나타낸다.

3 모델 지능에서 개별 지능으로

Model Intelligence는 Prompt Engineering과 Context Engineering이 추론 시점에 형성하는 parameter-level capability에서 비롯되며, Loop Engineering은 지속적인 목표 추구를 위해 제한적이고 상태를 유지하며 feedback-driven인 실행을 더한다. 이러한 발전은 역량 있는 개별 agent를 만들어 내지만, 단일 agent의 조직화 능력은 병렬 스케줄링, 전문화된 검증, 지속적인 실패 복구 측면에서 여전히 제한적이다.

  • Model Intelligence: Pre-training과 Post-training은 parameter level에서 모델의 일반 지식, 추론, 행동 역량을 확립한다.Scaling laws, scalable architectures, post-training methods는 이 역량 기반을 점진적으로 강화하고 제어한다 [150] [75] [140] [52] [160] [291].
  • Inference-Time Engineering: Prompt Engineering은 task를 명세하고 추론을 조직하며, Context Engineering은 model parameter를 변경하지 않고 task-relevant information을 획득하고 관리한다.둘은 함께 어떤 역량이 호출되는지, 추론이 어떻게 전개되는지, 어떤 정보가 output을 조건화하는지를 결정한다 [300] [2].
  • Loop Engineering: Loop Engineering은 결과를 사용해 task의 후속 trajectory를 제어함으로써, 충분한 evidence가 확보되거나 continuation이 정당화되지 않을 때까지 제한적이고 상태를 유지하며 feedback-driven인 실행을 조정한다 [131] [234].핵심 특징은 단순히 model call을 반복하는 것이 아니라 지속적인 feedback control에 있다.
  • Limits of Individual Intelligence: Single-agent loop는 병렬 또는 상호 의존적인 subtask를 직렬화하는 경향이 있어 scheduling 결정을 숨기고 parallelism을 낭비하며 failure localization을 어렵게 만든다 [93] [126].Fault diagnosis에서는 log analysis, failure reproduction, code inspection이 병렬로 진행될 수 있지만, 전파된 중간 결과가 faulty stage를 가릴 수 있다.
  • Limits of Individual Intelligence: Single agent는 독립적인 specialist 및 verifier 역할, persistent state, traceable recovery를 유지하는 데 어려움을 겪어 role confusion, confirmation bias, 수정되지 않은 초기 오류의 위험을 만든다 [88] [155].이러한 약점은 장시간 실행되는 web 및 coding task에서 특히 중요하다. 작은 초기 오류가 늦은 실패까지 지속될 수 있기 때문이다.

4 Graph Engineering: 개별 지능에서 시스템 지능으로 · 4.1 Graph Engineering 개요

Graph Engineering은 명시적 그래프 구조를 사용해 태스크를 조직하고, 이기종 구성 요소를 조정하며, 런타임 상태를 관리함으로써 개별 지능의 한계를 다룬다. 이러한 구조 중심 기반은 시스템 수준의 조직화, 조정, 모니터링, 복구, 최적화와 System Intelligence를 향한 지속적 진화를 지원한다.

  • 4.1 Graph Engineering 개요: 개별 지능은 병렬적이고 상호 의존적인 스케줄링, 이기종 역량 통합, 런타임 상태 유지에 어려움을 겪으며, 이에 따라 공동 목표를 추구하는 상호 보완적 구성 요소를 통한 System Intelligence가 요구된다 [154] [159].
  • 4.1 Graph Engineering 개요: System Intelligence는 단순히 에이전트를 집계하는 것이 아니라 태스크, 구성 요소, 런타임 상태 간 관계를 명시적으로 표현하고, 제약하며, 최적화하는 데 의존한다.
  • 4.1 Graph Engineering 개요: 그래프는 운영 토폴로지와 통신 패턴을 표현해 이기종 구성 요소를 조정하며, 역량과 역할에 따른 협업을 가능하게 한다 [69] [205] [433].
  • 4.1 Graph Engineering 개요: 그래프는 복잡한 목표를 분해하고, 의존성을 모델링하며, 워크플로를 스케줄링 및 실행 가능한 연산으로 정제해 조직한다 [280].
  • 4.1 Graph Engineering 개요: 그래프는 이벤트, 의존성, 상태 전이를 기록해 런타임 상태 관리를 지원하며, 분산된 운영 정보를 영속적인 실행 상태 표현으로 변환한다.
  • 4.1 Graph Engineering 개요: Graph Engineering은 그래프를 핵심 기반으로 사용해 태스크, 구성 요소, 런타임 상태 간 관계를 외부화하고, 시스템 수준의 조직화, 조정, 모니터링, 복구, 최적화를 지원한다.
  • 4.1 Graph Engineering 개요: 시스템 진화는 실행 피드백과 상태 증거를 사용해 Graph Engineering 구조를 반복적으로 개선하고 시스템 지능의 지속적 진화를 가능하게 한다.

4.2 과업 조직화: 수행할 작업의 구조화

과업 조직화는 상위 수준의 목표를 명시적 하위 목표, 의존관계, 스케줄 가능한 그래프로 변환한 뒤, 이를 실행 가능한 워크플로로 컴파일하고 런타임 피드백을 활용해 최적화·적응시킨다. 이를 통해 에이전트 설계는 암묵적 추론과 행동 중심에서 명시적 작업 구조 중심으로 전환된다.

  • 목표 분해: Goal Decomposition Graph는 목표를 명시적이고 스케줄 가능한 하위 목표 그래프로 변환해, 이후 워크플로 구성과 실행 적응에 필요한 의존관계를 드러낸다.이는 상호 의존적 행동, 병렬 분기, 검증 단계, 동적 재계획을 지원하며, 이러한 요소는 context만으로 관리하기 어렵다.
  • 워크플로 최적화: 명시적 의존관계 그래프는 병렬 스케줄링을 가능하게 하며, LLMCompiler의 [156] dataflow DAG와 Plan-over-Graph의 [464] 의존관계 제약 에이전트 스케줄이 그 예다.상위 의존관계가 충족되면 실행 가능한 노드를 디스패치할 수 있다.
  • 워크플로 최적화: 워크플로 최적화는 의미적 하위 목표를 LLM 호출, 에이전트, retrieval, 도구, memory, aggregator, verifier에 걸친 실행 가능한 워크플로로 컴파일한다.그래프 기반 워크플로 방법은 연산 공간을 구조화하지 않은 채 두는 대신, 대안적 제어 흐름을 탐색하고 최적화한다.
  • 워크플로 최적화: 정적 과업 및 워크플로 그래프만으로는 개방형 환경에 충분하지 않으므로, 잘못된 중간 결과, 도구 실패, 모호한 피드백에 대응하는 동적 적응이 필요하다.DyFlow [363]는 실시간 실행 피드백에 반응하는 실행 적응형 워크플로 그래프의 사례다.
  • 종합적 관점: 과업 조직화는 과업 및 실행 관리를 그래프 기반으로 통합해 바라보는 관점을 제공하며, 수행해야 할 작업, 이를 운영화하는 방법, 실행이 적응할 수 있는 방식을 명시한다.Figure 6은 에이전트 작업을 조직하고 관리하는 상호 보완적 메커니즘으로서 Goal Decomposition과 Workflow Optimization을 요약한다.

4.3 에이전트 조정: 누가 작업하는지 구조화하기

에이전트 조정은 에이전트의 역량을 모델링하고, 책임과 작업 흐름을 조직하며, 실행이 진행되는 동안 런타임 통신을 조정함으로써 이질적인 에이전트를 구조화한다. 그래프 표현은 이러한 관계를 명시적으로 드러내면서 비교적 안정적인 팀 조직과 동적인 정보 교환 및 피드백을 구분한다.

  • 개요: 그래프 기반 에이전트 조정은 일관된 멀티에이전트 실행을 위한 세 가지 연결된 기능으로 역량 모델링, 팀 조직, 런타임 통신을 다룬다.이 기능들은 적합한 에이전트를 식별하고, 책임과 작업 이동을 결정하며, 실행 중 정보 교환을 조정한다.
  • 역량 모델링: 역량 그래프는 기술, 자원, 권한, 신뢰성에 관한 정보를 사용해 변화하는 이질적 작업을 에이전트에 할당한다.역량 불일치는 병렬 실행을 지연시키고 후속 결과를 훼손할 수 있다. 지속적이고 업데이트 가능한 표현은 작업별 점수, 라우팅 정책, 오케스트레이션 그래프의 한계를 보완한다.
  • 팀 조직: 팀 조직 그래프는 할당, 위임, 감독, 핸드오프, 검토를 위한 typed relations로 에이전트, 역할, 작업을 인코딩한다.이 그래프는 체인, 라우팅, fan-out/fan-in, 동적으로 변화하는 구조를 결합해 참여자와 책임, 그리고 작업이 참여자 사이에서 이동하는 방식을 지정할 수 있다.
  • 통신 모델링: 런타임 통신 그래프는 특정 실행 지점에서 어떤 에이전트 또는 인간 참여자가 정보를 교환하는지, 그리고 피드백이 이후 행동을 어떻게 변화시키는지를 모델링한다.통신은 명확화, 검토, 오류 수정, 개입을 지원하며, 피드백은 이후 상호작용을 활성화하거나 수정할 수 있다.
  • 통신 모델링: 팀 조직은 누가 참여하고 어떤 책임을 맡는지를 결정하는 반면, 통신 모델링은 실행 중 정보와 피드백이 언제 흘러야 하는지를 결정한다.이 구분은 비교적 안정적인 책임 관계와 작업 및 상태에 의존하는 상호작용 구조를 분리한다.

4.4 런타임 상태 관리: 시스템 작동 방식의 구조화

런타임 상태 관리는 일관된 실행 이력을 기록하고, 증거와 의존성을 사용해 결함을 국소화하며, 검증된 경계에서 선택적 복구를 가능하게 한다. 이러한 역량은 모니터링, 진단, 안전한 재개, 지속적인 시스템 진화를 위한 기반을 함께 제공한다.

  • 개요: 런타임 상태 관리는 분산 실행 이력을 모니터링, 진단, 복구, 지속적인 시스템 진화를 위한 신뢰할 수 있는 기반으로 변환한다.이는 무엇이 일어나야 하는지 또는 누가 행동해야 하는지만 나타내는 것이 아니라 실제로 무엇이 일어났는지를 표현함으로써 Task Organization과 Agent Coordination을 보완한다.
  • 상태 기록: 런타임 상태 관리는 진행 상황, 역할, 약속, 사실, 자원, 외부 효과에 관한 분산 업데이트를 일관되고 추적 가능한 뷰로 기록한다.신뢰할 수 있는 상태에는 구조화된 표현, 관리되는 업데이트, 범위가 지정된 가시성, 일관성 관리가 필요하지만, 기존 연구에는 통합된 graph-native 구현이 부족하다.
  • 결함 국소화: 결함 국소화는 편차를 탐지하고, 의존성을 따라 효과를 추적하며, 가설–증거 관계를 검증하고, 복구에 유효한 실행 영역을 식별한다.시간적 또는 구조적 연결만으로는 인과성을 확립할 수 없다. 런타임 기록은 provenance를 보존하고 검사, 백트래킹, 브랜치 수준 진단을 지원한다.
  • 실패 복구: 실패 복구는 무효 상태를 철회하고, 계산을 재실행하며, 외부 효과를 보상하거나, 대안 실행 경로로 분기하기 위한 명시적 경계를 선택한다.효과적인 복구는 상태 의존성과 커밋된 외부 효과를 고려하면서 영향을 받은 영역만 선택적으로 복구한 뒤, 해당 경계와 수정 조치 및 결과 상태를 기록한다.

4.5 시스템 진화

시스템 진화는 실행 중 수집한 증거를 활용해 작업 조직, 에이전트 조정, 상태 관리를 개선함으로써 실행이 거듭될수록 시스템 지능을 향상시킨다. 검증과 롤백은 신뢰할 수 있는 개선 사항이 지속되도록 보장하고, 실패는 후속 의사결정에 반영되어 실행에서 경험을 거쳐 진화로 이어지는 폐쇄 루프를 형성한다.

  • 작업 조직의 진화: 작업 진화는 중간 결과나 변화하는 조건으로 인해 사전 정의된 계획이 무효화될 때 목표 분해, 작업 구조, 워크플로를 개선한다.TDAG [362]는 실행이 진행되는 동안 복잡한 작업을 동적으로 분해하고 특화 에이전트를 생성하며, Flow 는 하위 작업 할당을 개선한다.
  • 에이전트 조정의 진화: 에이전트 조정은 작업 요구사항과 구성요소의 역량이 변화함에 따라 팀 구조와 커뮤니케이션 패턴을 진화시킨다.SwarmAgentic 는 피드백 기반 population search를 통해 에이전트 기능과 협업 구조를 공동 최적화하며, AgentNet 은 분산 조정을 지원한다.
  • 런타임 상태 관리의 진화: 런타임 상태 관리는 실행 이력을 재사용 가능한 지식으로 정제하는 동시에 업데이트를 검증, 수정 또는 롤백하여 잘못된 경험의 전파를 방지한다.이는 상태를 실행과 복구를 넘어 향후 개선을 위한 경험 축적으로 확장한다.
  • 시스템 진화: 시스템 진화는 실행 결과를 시스템 수준의 업데이트로 전환하여 지능이 런타임 적응에서 지속적인 경험 기반 진화로 나아가도록 한다.개방형 장기 실행은 효과적인 구조, 조정 전략, 실패 양상에 관한 증거를 생성한다.

5 공개 과제와 연구 기회

Graph Engineering이 과업별 구조에서 재사용 가능하고 지속적으로 작동하는 인프라로 전환되면서 capability 통합, persistent 및 cross-graph evolution, graph-native 시스템 지원, privacy와 ethics 측면의 과제가 제기된다. 이러한 과제를 해결하려면 capability 간 명시적 관계, 조정된 구조 변화, 공유 runtime, 분산된 persistent state에 대한 거버넌스가 필요하다.

  • 통합 Capability Graph: Unified capability graphs는 model, tool, skill, memory, data source, verifier, environment를 typed relationship으로 표현한 뒤 task, agent, runtime-state graph와 연결해야 한다.Edge는 dependency, compatibility, composition, substitution, authorization, cost, reliability를 인코딩할 수 있으며, 이를 통해 capability selection과 task decomposition이 명시적으로 상호작용할 수 있다.
  • Persistent Evolution: Self-evolving graph system은 단일 trajectory에 단순히 적응하는 대신 execution evidence를 persistent하고 재사용 가능한 구조적 변화로 변환해야 한다.성공 또는 실패를 유발한 dependency, agent relation, capability assignment, state structure가 무엇인지 식별하고, 변화가 현재 execution을 넘어 일반화되는지 평가해야 한다.
  • Cross-Graph Evolution: Task, agent, capability, state graph는 provenance, versioning, permission, runtime assumption을 보존하면서 shared constraint 아래 공동으로 진화해야 한다.한 graph의 변화는 필요한 capability를 바꾸거나 communication relation을 무효화하거나 authorization 및 execution condition을 교란할 수 있다.
  • Graph-Native Infrastructure: Graph-native agent operating system은 shared scheduling, storage, recovery, provenance, permission mechanism을 갖춘 typed·versioned object로 task, agent, capability, runtime state를 통합할 수 있다.Execution trace를 이를 생성한 structure와 연결하면 candidate change를 historical 또는 counterfactual하게 평가하고, 검증된 개선을 새로운 graph version으로 커밋할 수 있다.
  • Privacy와 Ethics: Agent, tool, memory, shared state의 long-horizon coordination은 information replication, workflow propagation, persistent retention, unauthorized access, cross-task leakage, 의도하지 않은 private-attribute inference를 통해 privacy 및 ethical risk를 증폭시킨다.이러한 risk는 system intelligence가 여러 상호 연결된 component에 decision과 execution state를 분산시키기 때문에 발생한다.

6 미래 방향: 차세대 System Intelligence를 위한 Ontology Engineering

Ontology Engineering은 Graph Engineering 구조를 연결하고, 검증하고, 재사용하고, 진화시키는 데 필요한 공유되고 기계 해석 가능한 semantics를 제공한다. 미래의 System Intelligence에는 최종 과업의 성공을 넘어 명시적인 목표 형성, grounding, 거버넌스, 평가도 필요하다.

  • 동기: Ontology Engineering은 시스템 개체, 관계, 제약 조건에 대한 공유 정의를 수립하여 graph view, 구성 요소, 실행 단계 전반의 일관되지 않은 해석을 해결한다.graph 구조의 연결, 검증, 재사용, 진화를 지원한다.
  • 시스템 수준 평가: End-task success alone으로는 System Intelligence를 확립할 수 없다. 평가는 구성 요소의 capability와 system organization, coordination, state management를 분리해야 한다.성공, 실패, 기여, 복구, 일관성, runtime cost에 대한 표준화된 의미는 비교 가능한 trace, structural ablation, causal analysis를 가능하게 한다.
  • Ontology 구조: 계층형 ontology는 목표, agent, capability, evidence, policy, state, outcome을 포괄하는 핵심 개념, 특화 모듈, domain extension을 결합해야 한다.이러한 모듈형 구조는 모든 시스템이 동일한 domain concept를 공유하도록 요구하지 않으면서 일관된 정의를 제공한다.
  • 목표 형성과 가치 정렬: Ontology Engineering은 목표의 provenance, priority, authorization, completion criteria, constraint를 명시적이고 검증 가능하게 만들며, conflict와 권한 없는 수정을 드러낼 수 있다.normative constraint를 명확히 하지만 시스템이 어떤 가치를 채택해야 하는지는 결정할 수 없다.
  • 공유 semantics와 world grounding: 공유 semantics는 tool output, observation, timestamp, provenance, validation result와 연결되어야 한다. semantics의 일관성만으로는 factual correctness를 보장할 수 없기 때문이다.Ontology-guided multi-agent system은 이 semantic layer를 동적으로 유지할 수 있다.
  • 거버넌스와 진화: 미래의 ontology에는 provenance checking, consistency validation, impact analysis, version control, compatibility checking, migration, rollback, runtime-linked constraint enforcement가 필요하다 [490].LLM은 개념과 관계를 제안할 수 있지만, semantic change는 채택 전에 거버넌스를 거쳐야 한다.

7 벤치마크, 데이터셋 및 평가

평가는 Model, Individual, System의 세 가지 intelligence level을 중심으로 구성되며, 각 단위는 제한된 출력에서 지속적 trajectory와 조정된 다중 구성요소 시스템으로 확장된다. Graph-engineered system에는 추가로 structural, operational, evolutionary evaluation이 필요하지만, 현재 benchmark는 파편화되어 있고 system-level gain을 분리해내는 데 취약하다.

  • 평가 수준: 평가 단위는 제한된 model output에서 individual-agent trajectory를 거쳐 여러 구성요소와 그 관계의 조직 및 조정으로 확장된다.Model Intelligence는 제한된 interaction을 평가하고, Individual Intelligence는 지속적 reasoning, tool use 및 환경 feedback을 평가하며, System Intelligence는 일관된 다중 구성요소의 조직, 유지 및 개선을 평가한다.
  • 평가 자원: Benchmark, dataset 및 실행 가능한 environment는 task, 재사용 가능한 artifact, 관찰 및 수정 가능한 execution state에 대한 상호보완적 평가 자원을 제공한다.Table 1은 benchmark 또는 protocol (B), dataset 또는 trace (D), 실행 가능한 environment (E)를 구분하며, 이들은 중첩될 수 있다.
  • System Intelligence: System Intelligence benchmark는 work decomposition, dependency-aware scheduling, hierarchical orchestration, coordination, communication, scalability, self-organization, adaptive workflow, topology, runtime design 및 multi-agent optimization을 검증한다.AgentsNet, DBS, MASEval, MAS-PromptBench 및 MAFBench는 adaptation, evolution 및 대안적 multi-agent configuration으로 평가 범위를 확장한다 [102] [72] [14].
  • 평가 차원: 모든 수준에서 평가는 effectiveness, efficiency 및 robustness를 보고해야 하며, graph-engineered system에는 추가로 structural fidelity, operational correctness 및 추적 가능하고 제어 가능한 evolution이 필요하다.이 차원들은 성공적인 결과를 타당한 underlying structure, 올바르게 실행된 graph operation, 그리고 governable한 structural change와 구분한다.
  • 미해결 과제: 현재의 평가는 stronger model, larger context, tool, retry 또는 compute로 인한 개선과 system-level gain을 분리하는 동시에, 파편화된 자원과 취약한 structural credit assignment를 다뤄야 한다.이 절은 work organization, coordination, runtime state 및 evolution 전반의 파편화된 coverage와 취약한 dynamic system-level evaluation을 지적한다.

8 오픈소스 라이브러리와 엔지니어링 생태계

오픈소스 생태계는 재사용 가능한 인프라, agent runtime, 다중 컴포넌트 오케스트레이션을 통해 Model, Individual, System Intelligence를 아우른다. 그러나 이 계층들은 여전히 단절되어 있으며, 공유 표현, 실행 간 구조적 진화, 타입이 지정된 인과 상태가 제한적이다.

  • 생태계 범위: 많은 라이브러리가 여러 수준에 걸치므로, 주요 엔지니어링 대상을 기준으로 분류하며 Model, Individual, System Intelligence를 실행 가능한 엔지니어링 스택으로 구현한다.이 survey에는 지능형 시스템의 구성 또는 실행에 직접 영향을 미치는 추상화를 제공하는, 공개적으로 문서화된 재사용 가능 프로젝트가 포함된다.
  • Model Intelligence: Model Intelligence 인프라는 모델 실행, 분산 사전학습, post-training, 확장 가능한 reinforcement-learning pipeline을 다룬다 [323].Transformers, Megatron Core, LLaMA-Factory, verl, slime이 이러한 엔지니어링 과제를 대표한다.
  • Individual Intelligence: Individual Intelligence 라이브러리는 middleware, 권한, 검증, 세션, 상태, context workflow, persistent memory, temporal knowledge, protocol, 시각적 구성으로 model–tool loop를 조직한다 [296].대표적인 시스템으로 LangChain, OpenAI Agents SDK, Claude Agent SDK, Pydantic AI, LlamaIndex Workflows, Haystack, Burr, Letta, Graphiti, MCP, Langflow, Dify가 있다.
  • System Intelligence: System Intelligence 라이브러리는 graph execution, messaging, 역할 조직화, event flow, workflow engine, topology optimization을 통해 task, agent, executor, shared-state 간 관계를 명시적으로 표현한다 [182].LangGraph, Microsoft Agent Framework, Google ADK, AutoGen, CrewAI, CAMEL, Mastra, GPTSwarm이 이러한 접근을 exemplify한다. AutoGen은 maintenance mode임에도 역사적 영향력 때문에 포함하며, Microsoft는 신규 프로젝트에 Agent Framework를 권장한다.
  • 미해결 한계: 이 생태계에는 tool, message, workflow, event, state, dependency, capability, authority, organization을 위한 공통 표현이 없으며, 현재의 동적성은 실행 간 체계적 진화를 거의 가능하게 하지 못한다.상태는 checkpoint, memory, snapshot, history, log, temporal store에 분산되어 있고, observability는 observation과 failure에서 이후 개선으로 이어지는 타입이 지정된 인과 링크를 좀처럼 포착하지 못한다.

9 Graph Engineering의 응용

Graph Engineering의 응용은 작업 조직, agent 관계, runtime state가 실행에 미치는 영향에 초점을 두고 도메인별로 구성된다. 소프트웨어, 과학, 의료, 기업 시스템 전반에서 응용은 점차 개별 agent에서 구조화된 multi-agent system으로 이동하지만, 완전한 Graph Engineering은 여전히 초기 단계의 목표다.

  • 응용 프레임워크: 응용은 구조적 결정이 실제 작업에 영향을 미치기 때문에 도메인별로 분류되며, 지능 수준과 Graph Engineering 초점은 도메인을 가로지르는 기술자로 사용된다.검토에는 workflow, agent 관계 또는 runtime state의 변화가 실행을 변화시키는 research prototype과 deployed system이 포함되며, retrieval-only knowledge graph는 제외된다.
  • 소프트웨어 공학: 소프트웨어 공학은 specialist 역할, repository interface, persistent event stream, parallel agent, worktree, checkpoint, shared task state를 통해 System Intelligence로의 전환을 가장 뚜렷하게 보여준다.MetaGPT와 ChatDev는 사전 정의된 단계와 역할을 사용하며, SWE-agent는 agent–repository interface를 강조한다 [418]. 최신 시스템일수록 점점 더 명시적인 parallel coordination을 제공한다.
  • 과학적 발견: 과학 시스템은 coordinated specialist, supervisory workflow, physical validation, 그리고 이후 가설을 갱신하는 feedback을 통해 가설, 증거, 도구, 실험, 연구자를 조직한다.Co-Scientist는 generation, critique, ranking, refinement를 specialized agent에 할당하며, Robin은 문헌, 분석, laboratory evidence를 연결한다.
  • 의료: 의료 분야에는 coordinated specialization, longitudinal state, authority, evidence provenance가 필요하며, 시스템은 환자 이력과 guideline에 근거한 evolving care plan을 중심으로 multidisciplinary consultation에서 발전해 나간다.DeepRare는 phenotype, genotype, retrieval, analysis agent를 조정하면서 추적 가능한 증거를 축적하고, AMIE는 방문이 거듭되는 동안 conversational state와 management-reasoning state를 유지한다.
  • 도메인 간 성숙도: 도메인 전반에서 Work Organization, Agent Team, Runtime State 구조가 점점 일반화되고 있지만, 완전한 Graph Engineering을 위해서는 관찰 가능하고 제어 가능하며 일관되게 진화하는 구조가 여전히 필요하다.이 검토는 graph-structured system과 graph-engineered system을 구분한다. 현대의 구조는 실행 전에 수동으로 선택되거나 고정되는 경우가 많기 때문이다. 또한 simulated emergence는 실제 세계의 인과적 주장을 뒷받침하기 전에 calibration을 필요로 한다.

10 결론

결론은 이질적이고 상호의존적이며 장기적인 과제가 개별 에이전트의 한계를 드러내고, Graph Engineering을 통해 조직되는 System Intelligence를 요구한다고 주장한다. Graph abstraction은 작업, 에이전트, runtime state 간 관계를 명시적이고 적응 가능하게 만들지만, alignment, governance, evaluation, privacy, safe self-improvement에는 여전히 해결 과제가 남아 있다.

  • 10 결론: Graph Engineering은 상호 보완적인 세 가지 관점, 즉 작업 조직, 에이전트 조정, runtime state management를 통해 system intelligence를 조직한다.이러한 graph abstraction은 작업, 에이전트, state를 표현하는 동시에 system-level 관계를 구조화한다.
  • 10 결론: Graph는 에이전트 시스템 전반에서 작업을 스케줄링하고, capability를 결합하며, 실행을 추적하고, 실패를 국소화하며, 통제된 evolution을 가능하게 한다.이 survey는 이러한 기능을 Graph가 단순히 표현하는 데 그치지 않고 operational하며 adaptable하다는 근거로 제시한다.
  • 10 결론: System-level intelligence는 모델이나 에이전트를 추가하는 것보다 복잡한 과제를 위해 이들의 관계를 명시적으로 조직하는 데 더 크게 좌우된다.과제가 더욱 이질적이고 상호의존적이며 장기화될수록 individual-agent loop는 병렬 작업, 전문화된 expertise, 독립적 검증, persistent state에 대처하는 데 어려움을 겪는다.
  • 10 결론: Graph Engineering은 semantic alignment, graph governance, evaluation, privacy, safe self-improvement에서 해결되지 않은 과제에 직면한 emerging field로 남아 있다.이 survey는 graph-native infrastructure를 더욱 scalable하고 controllable하며 evolvable한 에이전트 시스템을 위한 방향으로 제시한다.

11 부록

기존 survey는 agent capability, engineering infrastructure, system-level organization을 다루지만, Graph Engineering은 명시적 graph를 intelligent system의 조직적 기반으로 취급한다는 점에서 차별화된다. 이는 task organization, agent coordination, runtime state, system evolution을 결합된 framework로 통합한다.

  • 기존 survey는 agent capability와 graph-enhanced planning, memory, tool use, reasoning, execution, multi-agent interaction을 검토한다 [20] [218].
  • 다른 survey는 harness, execution loop, persistent state, orchestration, failure recovery, self-evolution을 포함해 agent를 지원하는 infrastructure와 system organization을 강조한다 [284].
  • 특정 capability를 향상하는 graph–agent approach와 달리, Graph Engineering은 graph structure를 결합해 task, agent, runtime evidence의 변화가 system을 수정할 수 있게 한다.Dynamic graph transformation은 이와 밀접하게 관련되지만, 주로 persistent agent evolution과 memory, tool, skill, workflow, relation의 rewriting에 초점을 둔다.
  • Graph Engineering은 명시적 graph를 task organization, agent coordination, runtime state management, system evolution을 위한 organizational substrate로 취급한다.이러한 structure는 goal, dependency, workflow, capability, responsibility, communication, execution evidence, failure, recovery dependency를 나타낸다.
  • Graph Engineering은 system level에서 capability, information, execution infrastructure, feedback-driven control의 organization을 다룸으로써 Prompt, Context, Harness, Loop Engineering을 확장한다.
Loading 2608.21156v1…