Valhalla: A Layered Knowledge-State and Service-Governance Framework for Long-Term Scientific Knowledge Work

Yuyang Zheng; Nan Li; Wenxia Deng; Lige Yan; Xiang Li; Si Chen

Source-linked AI summary

Valhalla: A Layered Knowledge-State and Service-Governance Framework for Long-Term Scientific Knowledge Work

Yuyang Zheng, Nan Li, Wenxia Deng, Lige Yan, Xiang Li, Si Chen

arXiv:2608.15193v12026년 8월 15일q-bio.NCcs.AI

TL;DR

장기적 과학 지식 작업에서는 LLM 역량이 지식 작업의 요구에 맞춰 변화하는 동시에 콘텐츠와 근거를 구조화해야 하며, 지식은 재사용·공유·재구성도 가능해야 한다. Valhalla는 출처, 지식, 관계, 작업 뷰를 조직하는 계층형 지식 상태 객체와 거버넌스가 적용된 서비스 인터페이스로 이 간극을 해소한다. 항체 설계 검토에서 이 워크플로는 근거 활용, 메커니즘 설명, 구조적 조직화, 과학적 깊이, 논리적 구조, 근거의 엄밀성을 강화했으며, 도메인 적응도 지원했다.

문제
장기적 과학 지식 시스템에는 재사용·공유·재구성이 가능한 지식이 필요하지만, 기존 구조는 개인의 조직화 관행에 의존하는 경우가 많다.
방법
Valhalla는 계층형 File-Resource-Entity-Relationship-Graph 객체와 명시적인 Router-Contract-Workflow 서비스 인터페이스를 사용해 LLM의 접근과 수정을 관리한다.
결과
Valhalla는 근거 활용, 메커니즘 설명, 구조적 조직화, 과학적 내용의 깊이, 논리적 구조, 근거의 엄밀성을 강화했으며, 도메인 적응도 지원했다.
시사점 및 한계
이 프레임워크는 구조화된 과학 지식을 공유하고 재조합할 수 있게 하며, 협업의 대상을 에이전트 공유에서 구조화된 지식 공유로 확장한다.
시사점 및 한계
Valhalla에 대한 근거는 주로 아키텍처와 단일 사례 연구에서 도출되므로, 내적 타당도와 외적 타당도는 아직 충분히 확립되지 않았다.

Abstract

from arXiv · show

As large language model (LLM) agents are increasingly adopted in scientific research, external knowledge bases, knowledge graphs, and long-term memory have improved information retrieval and task continuity. However, most structured knowledge systems remain node-centric, representing files, concepts, results, and judgments as nodes and relations in a graph. While suitable for personal knowledge management, such structures often depend on individual organizational practices, limiting knowledge sharing, integration, and reorganization across users. This paper presents Valhalla, a layered knowledge-state and service-governance framework for long-term scientific knowledge work. Valhalla replaces flat graphs with layered encapsulation and stable semantic boundaries through a five-layer File-Resource-Entity-Relationship-Graph (FREG) model. File and Resource preserve source identity and provenance, Entity represents knowledge objects, Relationship captures semantic judgments, and Graph provides task-oriented knowledge views, enabling knowledge states from different researchers to be exchanged and reorganized under a unified structure. We further introduce a Router-Contract-Workflow service-governance architecture, inspired by the microkernel paradigm, to constrain how language models access, modify, and extend knowledge states while maintaining structural consistency and auditable operational boundaries. We implement a Valhalla prototype and validate knowledge ingestion, cross-member integration, and scientific writing support through an antibody-design review task comprising 26 paper resources, 80 knowledge entities, and 92 semantic relations. Rather than proposing a new knowledge-extraction algorithm, Valhalla offers a paradigm for organizing collaborative scientific knowledge, transforming individualized knowledge structures into transferable and reorganizable shared knowledge states.

1 서론 … 4 데이터 플레인: File–Resource–Entity–Relationship–Graph

Valhalla는 구조화되고 provenance가 보존되는 knowledge state와 inspectable한 service governance를 결합해 장기 과학 지식 작업을 지원한다. FREG data plane은 source identity, knowledge object, semantic judgment, task view를 분리하므로 correctness나 governance 문제가 해결되었다고 주장하지 않으면서도 지식을 공유하고 추적하며 재구성할 수 있다.

1 서론: Valhalla는 장기 지식 작업에 체계적으로 정리된 근거와 knowledge-work 요구에 맞는 서비스가 모두 필요하므로 content structuring과 LLM capability adaptation을 결합한다.이 프레임워크는 사용자, 프로젝트, 시나리오를 넘어 재사용·공유·재구성할 수 있는 지식을 대상으로 한다.
2 주요 기여: Valhalla는 provenance 제약 knowledge state, 감사 가능한 service extension, human-in-the-loop governance를 명시적 설계 요구사항으로 설정하는 동시에 transfer, extension speed, runtime guarantee 사이의 긴장을 드러낸다.이 프레임워크는 이러한 trade-off가 이미 제거되었다고 주장하지 않고, 이를 inspectable object와 operational interface로 다룬다.
3.1 프레임워크 정의: Valhalla는 연구 콘텐츠를 유지관리 가능한 data object로 다루며, content-first organization 아래에서 모델이 명시적 service interface를 통해서만 이에 접근하거나 수정하도록 요구한다.서비스는 실행 편의를 이유로 object boundary를 우회할 수 없다.
3.2 Data Plane과 Control Plane: Data plane과 control plane은 Valhalla가 저장하는 것과 모델이 작동하는 방식을 함께 조직한다. FREG는 안정적이고 추적 가능한 object를 제공하며, Router, Contract, Workflow는 허용 가능한 operation을 관리한다.Router는 요청을 분류한다. Contract는 permission, risk, state, confirmation, output boundary를 선언한다. Workflow는 eligibility check 이후의 실행 단계를 지정한다.
4 Data Plane: File–Resource–Entity–Relationship–Graph: FREG data plane은 File, Resource, Entity, Relationship, Graph에 서로 다른 책임을 부여해 사용자 간 구조화된 지식을 공유하기 위한 통합 아키텍처를 구축한다.이 설계는 새로운 extraction algorithm을 제안하기보다 object identity, maintenance responsibility, traceability path를 정의한다 [5].
4.1 File과 Resource: Human-Facing Entry Point에서 Stable Source Identity로: File은 연구자 관점의 조직을 보존하는 반면, Resource는 provenance나 task context를 지우지 않고 여러 file instance를 통합할 수 있는 안정적인 source identity를 제공한다.버전이나 supplementary material에서는 identity matching이 잘못될 수 있으므로 manual verification이 여전히 필요하다 [2‑3].
4.2 Entity: Provenance-Constrained Knowledge Object; 4.3 Relationship: Typed Semantic Judgment: Entity는 독립적으로 유지관리할 수 있고 provenance가 제약된 knowledge unit을 나타내며, Relationship은 support, contradiction, causation, constraint, dependence와 같은 typed judgment를 보존한다.조건이나 맥락이 다르면 source-specific Entity를 분리해 유지하며, relation은 causal proof가 아니라 inspectable한 judgment structure를 제공한다 [1‑3].
4.4 Graph: Task-Oriented Knowledge Network; 4.5 Core Semantic Graph와 Evidence Mapping: Graph는 현재 연구 과제를 중심으로 선택된 Entity와 Relationship을 조직하며, 별도의 file, semantic, evidence view를 통해 사용자가 구조를 검사하고 provenance를 검증하며 원자료로 돌아갈 수 있게 한다.Graph coverage와 isolated node는 knowledge organization gap을 나타내며, view switching만으로는 잘못된 registration, extraction, relation judgment를 수정할 수 없다.

5 데이터 플레인의 형식적 아키텍처 �

Valhalla 데이터 플레인은 Files, Resources, Entities, Relationships, Graphs라는 다섯 개의 캡슐화된 layer로 구성된 Root knowledge state를 정의하며, 네 개의 transformation mapping을 통해 인접 layer를 연결한다. 이 mapping은 서로 다른 책임에 따라 layer 간 knowledge-state transformation을 위한 interface를 제공한다.

5.1 5-Layer Knowledge-State Architecture: Root는 Valhalla knowledge state의 구체적인 data-plane 구현이다.
5.1 5-Layer Knowledge-State Architecture: File layer는 Root에 포함된 Files의 집합이다.
5.1 5-Layer Knowledge-State Architecture: Resource layer는 Root에 포함된 Resources의 집합이다.
5.1 5-Layer Knowledge-State Architecture: Entity layer는 Root에 포함된 Entities의 집합이다.
5.1 5-Layer Knowledge-State Architecture: Relationship layer는 Root에 포함된 Relationships의 집합이다.
5.1 5-Layer Knowledge-State Architecture: Graph layer는 Root에 포함된 Graphs의 집합이다.
5.2 데이터 플레인의 계층 간 Knowledge-State Transformation, ℳ�: 다섯 data-plane layer는 layer 간 knowledge-state transformation을 수행하는 mapping으로 연결된다.이 mapping은 layer를 연결하는 과정에서 서로 다른 책임을 갖는다.
5.2 데이터 플레인의 계층 간 Knowledge-State Transformation, ℳ�: 네 개의 transformation mapping은 다섯 개의 캡슐화된 structured-data layer를 인접 layer 사이의 interface로 연결한다.

1. File-to-Resource 변환 매핑 ℳ�� ∈�, �∈� … 4. Relationship-to-Graph 변환 매핑 ℳ�� ℳ��

프레임워크는 원천 파일을 표준화된 Resource로 변환하고, Entity를 추출하며, Entity 간 Relationship을 조직하고, 주제별 knowledge graph를 구축한다. 이러한 매핑은 원천 통합, 구조화된 지식 추출, 의미적 조직화, 과업 지향적 그래프 구축을 지원한다.

1. File-to-Resource 변환 매핑 ℳ�� ∈�, �∈�: File은 표준화된 논리적 Resource로 매핑되며, 변환 과정에서 원천 자료의 정체성을 보존한다.
1. File-to-Resource 변환 매핑 ℳ�� ∈�, �∈�: 서로 다른 경로, 파일명 또는 구성원 소유권이 동일한 원천 자료를 가리키는 경우 여러 File이 하나의 Resource로 매핑될 수 있다.
2. Resource-to-Entity 변환 매핑 ℳ��: Resource에서 Entity가 추출되며, 각 Resource는 여러 Entity를 포함할 수 있다.
2. Resource-to-Entity 변환 매핑 ℳ��: Relationship은 추출된 Entity 간 연결을 요약하고 조직한다.
3. Entity-to-Relationship 변환 매핑: 한 쌍의 Entity는 서로 다른 유형의 Relationship으로 연결될 수 있어, 동일한 객체 사이에 여러 의미적 연관을 허용한다.
4. Relationship-to-Graph 변환 매핑 ℳ�� ℳ��: 서로 다른 knowledge graph는 주제에 따라 구축되며, Relationship과 Entity 정보를 주제별 뷰로 묶는다.

5. Composite Transformation Mappings … 5. Composite Provenance Mappings

Valhalla는 조합 가능한 transformation mapping을 통해 다섯 개의 캡슐화된 knowledge layer를 아래에서 위로 구성하고, 각 객체의 provenance를 그 source까지 아래로 추적한다. provenance chain은 canonical source record를 보존하므로, graph knowledge를 원본 file까지 추적할 수 있다.

5. Composite Transformation Mappings: Transformation mapping은 다섯 개의 캡슐화된 knowledge layer를 bottom-up으로 구성하며, 인접한 mapping은 조합되어 간결한 composite transformation을 이룰 수 있다.네 가지 transformation mapping을 요약하고, readability-oriented composite form으로도 표현할 수 있다.
1. Graph Provenance Mapping ℳ��: Graph provenance는 각 Graph를 구성하는 Relationships와 Entities를 모두 기록한다.Graph provenance는 Graph 객체에서 구성 knowledge object로의 set mapping으로 표현된다.
2. Relationship Provenance Mapping ℳ��: Relationship provenance는 set mapping을 통해 각 Relationship이 구성된 Entity를 기록한다.
3. Entity Provenance Mapping ℳ��: Entity provenance는 set mapping을 통해 각 Entity가 구성된 Resource를 기록한다.
4. Resource Provenance Mapping ℳ��: Resource provenance는 각 Resource가 구성된 Files를 기록하며, canonical copied record를 사용해 수동으로 file이 변경되어도 provenance에 접근할 수 있도록 유지한다.canonical record는 수동 작업의 영향을 받지 않으므로, Files의 변경으로 provenance에 접근할 수 없게 되는 것을 방지한다.
5. Composite Provenance Mappings: 필요한 경우 Knowledge Graph G provenance는 아래 방향의 provenance mapping을 조합하여 원본 Files까지 추적할 수 있다.네 가지 provenance mapping을 요약하고, 인접한 mapping을 읽기 쉬운 composite form으로 조합할 수 있다.

6 구현된 데이터 플레인의 형식적 아키텍처 �∗

구현된 데이터 플레인은 다중 knowledge base와 virtual Resource layer를 통해 Valhalla의 layered knowledge-state architecture를 구현한다. 또한 provenance 제약이 적용된 Resource 선택, knowledge structure로의 변환, 공유 data plane 내 Root fusion을 지원한다.

6.1 구현된 Knowledge-State Architecture: 구현된 아키텍처는 다중 knowledge base를 통해 Resource layer에서 structured knowledge를 재사용하고 재구성할 수 있게 한다.이 구현은 structured knowledge를 공유하고 재구성하기 위한 운용 기반을 제공한다.
6.1 구현된 Knowledge-State Architecture: 각 knowledge base는 독립적인 knowledge space와 provenance 추적에 제약이 적용된 virtual Resource layer를 갖는다.virtual layer는 provenance 제약을 유지하면서 knowledge-space 구성요소를 보완한다.
6.2 Virtual Resource Layer: virtual Resource layer는 네 가지 Resource 기반 구성요소, 즉 local materials, required materials, excluded materials, Root-level blacklist로 구성된다.local resources는 고려 대상이지만 선택 사항이며, required resources는 반드시 사용해야 한다. excluded resources는 사용해서는 안 되며, blacklisted materials는 Root 내부에서 전역적으로 비활성화된다.
6.2 Virtual Resource Layer: 선택이 충돌할 경우 excluded resources가 local resources보다 우선한다.이 exclusion rule은 사용할 수 없는 것으로 표시된 resources가 일반적인 사용 대상으로도 등록되어 있을 때 excluded 상태로 유지되도록 한다.
6.3 Resource-to-Transformation Mapping: Resource-to-table transformation mappings는 이후 knowledge transformation에 앞서 Resources를 local, required 또는 excluded Resource tables에 할당한다.이 mappings는 resources가 해당 virtual-layer categories에 들어가는 방식을 형식화한다.
6.4 Resource-to-Entity Transformation; 6.5 Shared Data Plane: 이 framework는 이어서 Resource-to-Entity transformation을 정의하고, 공유 data plane에서 Root fusion을 통해 virtual Resource layer를 설명한다.서로 다른 두 Root가 새로운 Root로 fusion되며, 이 Root의 Resource layer는 공유 data plane의 일부로 구성된다.

1. Resource-Layer Integration … 7 Control Plane: 제약된 지식 연산

Valhalla는 identity 보존, 버전 분리, 충돌 인지형 차단, 지식 베이스 융합을 통해 resource를 통합하고, routed service, 명시적 contract, 감사 가능한 workflow를 통해 language-model 연산을 관리한다. 이 설계는 구조적 가독성과 운영 일관성을 높이지만, 완전한 security guarantee라기보다 규범적 제안에 머문다.

1. Resource-Layer Integration: Resource 통합은 서로 다른 출판 버전을 분리해 보존하고, 유사하지만 서로 다른 자료 사이의 잘못된 병합을 방지한다.Resource layer는 통합 identity의 재할당도 지원한다.
2. Blocking Strategy: 차단 충돌은 사용자가 Resource를 전역적으로 차단하거나, 관련 지식 베이스 내에서 국소적으로 차단하거나, 다시 허용하는 방식으로 해결한다.전역 차단은 Resource를 새 Root의 차단 집합에 추가하는 반면, 국소 차단은 시작 Root 아래의 적용 가능한 항목을 갱신한다.
3. Fused Knowledge Base �: 두 Root 아래의 지식 베이스는 선택된 차단 전략에 따라 융합된다.
7 Control Plane: 제약된 지식 연산: Control plane은 명시적인 요청 분류, 접근 범위, 위험, 확인, 출력 검증 조건을 적용해 자연어 요청을 system service로 변환한다.이는 자연어 규칙을 통해 형식적 authorization을 모사하는 대신 이러한 운영 경계를 명시한다 [22‑23].
7.1 Microkernel-Based Service Structure: Valhalla는 microkernel에서 영감을 받은 구조를 사용하며, 최소 상주 규칙이 self-check, state 식별, routing, safety check를 수행하고 capability는 필요할 때 로드된다.이 설계는 무관한 context 점유를 줄이고 service 변경을 국소화하지만, context compression이 핵심 제약을 보존하지 못할 가능성은 여전히 존재한다.
7.2 Router: Routing Natural-Language Requests to Services: Router는 요청을 분류하고 Contract를 선택하며, 불명확한 write scope를 자율적으로 결합하는 대신 모호성을 드러내 명확화를 요청한다.이는 knowledge를 수정하거나 최종 authorization을 결정하지 않고 service를 dispatch한다.
7.3 Contract: Operational Eligibility and Service Contract: Contract는 각 service의 적격성을 확인하고 input, permission, risk, prerequisite, confirmation, scope, output, failure handling을 정의한다.위임된 service는 Contract check를 반복해야 하며, 그 결과의 경계는 규범적일 뿐 우회 불가능한 security guarantee는 아니다.
7.4 Workflow: Readable and Modifiable Execution Procedures: routing과 적격성 확인 후 Workflow는 재사용 가능한 procedure를 통해 순서가 정해진 read, registry check, state update, logging, validation, conflict handling을 실행한다.가독성 높은 workflow는 학제 간 수정과 auditability를 지원하지만, 핵심 isolation, transactional commit, permission enforcement는 외부 orchestrator나 code 기반 mechanism에 의존해야 한다 [18‑19] [22‑23].

8 제어 평면 ℂ의 준형식 아키텍처 · 1. 시스템 상태 �

제어 평면 ℂ은 시스템 서비스, 필수 시작 초기화, 안전 제약, 그리고 서로 구분되는 시스템 상태 모델과 세션 상태 모델을 중심으로 구성된다. 시스템 상태는 Valhalla의 전체 상태를 설명하며, 기본 상태와 관리 상태를 통해 운영 권한을 제어한다.

8.1 마이크로커널 아키텍처: 제어 평면 ℂ은 �= {�1, �2, �3, ⋯}로 표기되는 시스템 서비스 집합을 포함한다.
8.1 마이크로커널 아키텍처: 제어 평면 서비스 집합의 각 원소는 시스템 서비스로 정의된다.
8.2 시스템 커널 �: 시작 초기화는 필수이며 Python으로 구현되고, 시스템 무결성 검사, 상태 재설정, Router 로딩을 수행한다.
8.2 시스템 커널 �: 시스템 커널은 안전 제약을 포함한다.
8.3 시스템 상태 �와 세션 상태 �: Valhalla는 시스템 상태 �와 세션 상태 �를 구분한다.
1. 시스템 상태 �: 시스템 상태 �는 Valhalla의 전체 상태를 설명하며, 기본 상태와 관리 상태를 통해 운영 권한을 관리한다.

2. 세션 상태 �

Valhalla의 세션 상태는 세션이 유휴 상태인지 활성 상태인지 기록하고 시스템 서비스의 대상을 식별한다. Router-Contract-Workflow 아키텍처는 요청을 관리되는 서비스에 매핑하고 실행을 제약하며 통제되고 반복 가능한 워크플로를 지원한다.

세션 상태: 세션 상태는 서비스 대상이 없는 유휴 세션과 서비스 대상이 있는 활성 세션을 구분한다.현재 Valhalla 세션을 설명하고 시스템 서비스의 대상을 식별한다.
Router: Router는 자연어 요청을 해당 operational contract의 진입점에 매핑한다.Router 키워드가 관련 진입점을 트리거한다.
Contract: Contract는 시스템 및 세션 상태, 서비스 대상, 권한, 워크플로 진입점을 바탕으로 구조화된 언어를 사용해 워크플로 실행을 관리한다.권한에는 쓰기 권한과 읽기 접근 범위가 포함된다.
Workflow: 워크플로는 자연어로 구성되며, 서비스 간 제한적인 호출을 제외하면 시스템 서비스는 서로 분리된 상태를 유지한다.한 서비스가 다른 서비스를 호출하면 두 번째 서비스는 직접 실행으로 우회되지 않고 완전히 실행되어야 한다.
Workflow: Valhalla는 멱등 연산을 지원하므로 시스템 서비스를 반복 실행해도 knowledge state가 추가로 변경되지 않는다.이를 통해 서비스를 반복 실행해도 안정적인 동작을 유지한다.

9 Human-in-the-Loop로 관리되는 서비스 진화

Valhalla는 명시적 구성요소, 대상, 계약, 워크플로, 검토, 검증, 감사를 통해 수동 및 LLM 기반 서비스 진화를 관리한다. 생성된 서비스는 효과성이나 일반적 준수의 증거가 아니라 테스트, 도메인 검토, 경계 조정이 필요하므로 인간의 참여가 여전히 필수적이다.

9 Human-in-the-Loop로 관리되는 서비스 진화: 관리되는 서비스 진화는 사용자가 기능적 필요를 식별한 뒤, 수동으로 또는 사전 정의된 규칙을 따르는 LLM을 통해 서비스를 확장하거나 수정한다.진화 워크플로는 명시적 구성요소와 대상을 사용하며, 자연어 워크플로는 운영 메커니즘의 검토를 지원한다.
9 Human-in-the-Loop로 관리되는 서비스 진화: 서비스 진화는 일반적으로 요구사항을 분류하고, 후보를 생성하며, 경계를 점검하고, 인간의 확인을 받은 뒤, 변경을 등록·검증하고 그 효과를 감사한다 [10‑14].서비스 변경은 향후 요청에 영향을 미치므로 현재 작업만 완료하는 것으로는 성공적인 등록을 확립할 수 없다.
9 Human-in-the-Loop로 관리되는 서비스 진화: Valhalla는 명시적 범위, 독립적 구성요소, 상속되지 않는 확인, 진단 가능한 실패를 통해 암묵적 상속, 권한 확장, 계층 간 쓰기, 불충분한 검증을 대상으로 한 진화를 제한한다.이러한 제약을 강제하려면 외부 검증기, 테스트, 오케스트레이션이 필요하며, 계약이나 워크플로만으로는 잘못 해석될 수 있다.
9 Human-in-the-Loop로 관리되는 서비스 진화: 서비스 파일을 생성하는 것만으로는 신뢰할 수 있는 능력, 안정적인 모델 안전성 분류, 일반적인 biomedical 준수를 입증할 수 없다. 효과성은 여전히 테스트, 입력, 도메인 검토에 달려 있다.Valhalla의 기본 버전에는 내장된 실험 프로토콜 검토 서비스도 없으므로, 사용자가 자신의 요구사항에 맞게 이를 진화시켜야 한다.
9 Human-in-the-Loop로 관리되는 서비스 진화: 실험 프로토콜 검토 서비스는 관련 Entity, Relationship, Graph 객체를 읽고, Resource를 인용하며, 보고서와 검증 가설을 생성하고, 확인 없이 관계를 수정하지 않을 수 있다.이 워크플로는 목표를 식별하고, 엔터티를 매핑하며, 관계 연쇄를 조사하고, 증거 공백을 찾고, 위험 경보를 생성하며, 검토 로그를 기록한다.
9 Human-in-the-Loop로 관리되는 서비스 진화: 인간 전문가는 Router, Contract, Workflow 구성요소를 수동으로 추가하거나 수정할 수 있으며, 모델이 생성한 설정과 도메인별 요구사항을 위한 세밀한 유지보수를 결합한다.항체 설계 ingestion-service 사례에서 수동 수정은 안전에 민감한 능력을 검토 수준의 정보로 좁히고, 실행 가능한 절차와 고위험 최적화 경로는 제외했다.

10 사례 연구: Valhalla 기반 지식 거버넌스 과학적 글쓰기 워크플로

이 사례 연구는 도메인을 넘나드는 항체 리뷰 작성에 Valhalla를 적용해 지식 수집, 서비스 진화, 지식 공유, 지식 상태 기반 글쓰기 지원을 평가했다. Valhalla는 근거가 풍부한 과학적 글쓰기와 장기 워크플로 효율성을 높였지만, 초기 지식 수집 투자가 필요했다.

사례 연구 가설: 이 사례 연구는 구조화된 지식 상태가 지속적인 재사용을 지원하는지, Router–Contract–Workflow 서비스가 도메인 적응 장벽을 낮추는지, 그리고 거버넌스된 진화가 투명성과 유지보수성을 보존하는지를 검증했다.연구팀 환경에서 지식 수집, 시스템 진화, 지식 자산 공유, 구조화된 조직화, 과학적 글쓰기 지원을 평가했다.
서비스 진화: Valhalla의 진화 메커니즘은 수집, 추출, 근거 매핑, 로깅을 관리하는 Router 항목, Contracts, Workflows를 통해 서비스를 항체 설계 요구사항에 맞게 조정했다.연구자들은 Workflow도 수정하고 안전 제약도 추가해, 서비스를 개념적 지식, 평가 지표, 연구 배경, 공개된 실험 결과로 제한했다.
지식 상태 구축: 이 실험은 후속 과학적 작업에 재사용할 수 있는 항체 설계 지식 상태를 구축했으며, 여기에는 26개 논문 Resource, 80개 Entity, 92개 Relationship이 포함됐다.이 사례에서는 면역학, 생의학 지식, 공학 설계를 아우르는 도메인 간 작업으로 PVRIG/항체 리뷰 생성을 수행했다.
과학적 글쓰기 지원: Valhalla를 지원받은 리뷰는 논문 워크플로만 사용한 결과보다 더 포괄적인 범위, 더 구체적인 실험 참고, 더 심층적인 메커니즘 논의, 더 강한 근거 기반 구성을 제공했다.Entity와 Relationship을 활용하면 모델이 안정적인 지식 객체를 중심으로 논증을 구성할 수 있어, 지식 손실과 근거 사슬의 단절을 줄일 수 있다.
과학 작업 효율성: 지식 상태와 서비스를 재사용했을 때 초기 생성 시간이 79% 단축되고 작성 반복당 약 30분이 소요되어 Valhalla의 효율성 우위가 입증되었다.초기 지식 수집에는 약 300분이 필요했으므로, 단일 작업만 수행할 경우에는 시간상 이점이 없을 수 있지만 후속 작업에서 비용을 분산할 수 있다.

11 한계, 실패 모드 및 거버넌스 경계

Valhalla의 근거는 아키텍처 설명과 방법론적으로 취약한 단일 사례 연구에 한정되며, ingestion, service independence, platform safety, state consistency, context management의 실패에 거버넌스 메커니즘이 취약하다. 더 규모가 크고 엄격하며 감사 가능한 평가로 검증되기 전까지 이러한 설계 의도를 runtime guarantee로 간주해서는 안 된다.

근거의 한계: 단일 사례 연구에는 randomization, replication, matched-budget baselines, ablations, 감사 가능한 expert evaluation이 없었으므로, 시간과 점수의 차이만으로는 인과 효과를 확립하거나 D1–D3을 검증할 수 없다.Model-assisted evaluation에도 공개된 judge configuration과 bias testing이 없었다. 더 폭넓은 평가는 knowledge quality, task performance, governance failures, cost, cross-member transfer를 검토해야 한다.
Ingestion 실패 모드: Batch ingestion은 문서 간 methods, conditions, conclusions를 결합할 수 있어, 각 source를 독립적인 경계로 유지해야 할 때 evidence mapping을 훼손한다.Workflow가 문서를 개별적으로 처리하도록 요구하더라도 이러한 실패가 발생할 수 있다.
Service-governance 경계: 자연어로 작성된 Router, Contract, Workflow specification은 재해석될 수 있으며, 이로 인해 참조된 service가 수정될 때 동작이 변하는 미선언 service dependency가 발생한다.새 service는 기본적으로 implementation, permissions, qualifications를 상속하는 대신 dependency, read/write scope, confirmation condition을 별도로 등록하고 검증해야 한다.
Safety 경계: 기저 platform safety policy는 내부 permission check 이후 biomedical 또는 experimental task를 거부할 수 있으며, Valhalla에는 현재 refusal, service failure, committed state를 구분하는 완전한 메커니즘이 없다.Staged commit, failure marker, human review, recoverable transaction을 제안하지만 platform safety mechanism을 우회하지 않는다.
State consistency: 직접 편집 가능한 persistent state는 automatic snapshot, transactional commit, verifiable rollback이 아직 모든 operation에 결부되지 않았기 때문에 partial commit, concurrent overwrite, 부주의한 변경의 위험을 지닌다.현재 recovery는 주로 local backup과 수동 복원에 의존하므로, visibility만으로는 transactional safety를 확립할 수 없다.
Context 및 평가 경계: 독립적인 context-scheduling layer가 없으면 model compression이 constraint, provenance detail, confirmation을 지워버릴 수 있어 장기 실행 중 발생한 실패를 재구성하기 어려워진다.현재 시스템은 context object를 정밀하게 schedule, compress, evict, restore할 수 없으며, external validity도 하나의 topic, team, run으로 제한된다.

12 결론

Valhalla는 장기적 과학 지식 작업을 위해 구조화된 지식을 공유하고 재조합할 수 있게 하는 계층형 knowledge-state 및 service-governance framework를 제시한다. 프로토타입은 계층형 상태 구성과 서비스 호출을 입증하지만, 비교 우위, 장기 재사용의 이점, D1–D3의 실현은 현재 근거만으로 확립되지 않는다.

Framework 기여: Valhalla는 구조화된 과학 지식 작업을 위해 File–Resource–Entity–Relationship–Graph data plane과 Router–Contract–Workflow control plane을 결합한다.Data plane은 문서 진입점, 안정적 식별자, 지식 객체, 의미적 판단, task-oriented view를 구분하고, control plane은 요청 분류, 자격 확인, 제약된 실행을 조직한다.
Framework 기여: 이 framework의 핵심 기여는 구조화된 지식을 LLM 지원 과학 협업을 위한 공유 가능하고 재조합 가능한 자산으로 만드는 계층형 architectural protocol이다.이는 협업의 대상을 agent 공유에서 구조화된 지식 공유로 확장한다.
한계: PVRIG writing case는 프로토타입이 계층형 knowledge state를 구성하고 관련 서비스를 호출할 수 있음을 보여주지만, 시간 및 품질 점수는 독립적으로 감사되지 않은 하나의 workflow에서 산출되었다.이 case는 Valhalla가 RAG, GraphRAG, general memory system 또는 workflow-only method보다 우수하다는 점을 입증하지 않는다.
한계: 가용한 근거는 장기 재사용의 이점이나 D1–D3의 실현을 확립하지 않는다 [4‑6,18‑19].결론은 이러한 주장이 현재 평가 근거로 뒷받침되지 않는다고 지적한다.
향후 연구: 향후 평가는 frozen protocol 아래에서 multi-task comparison, component ablation, 독립적 replication, blinded expert evaluation, knowledge-quality audit, fault injection, longitudinal cost measurement을 사용해야 한다.또한 계층형 knowledge state와 service governance가 일반적 기여를 구성하는지 판단하기 전에 독립적으로 검토 가능한 code, configuration, corpus inventory, raw evaluation record를 제공해야 한다.