PaperlayerView exact revision on arXiv

Source-linked AI summary

pro-team at LLMs4OL 2026 Tasks Flagship and Reuse: Retrieval-Augmented Generation and Vocabulary-Constrained Filtering for Ontology Learning

Shivam Mishra, Dhannu Ram Meena, Muneendra Ojha, Krishna Pratap Singh, Kuldeep Singh

arXiv:2608.27101v1cs.AI

TL;DR

LLM을 활용한 ontology learning은 환각되거나 어휘적으로 일관되지 않은 term과 취약한 vocabulary enforcement로 여전히 제한된다. 이 논문은 offline retrieval-augmented prompting과 deterministic vocabulary filtering을 결합해 두 challenge task 모두에서 강한 성능을 달성했으며, Task B에서 0.8692 Semantic Graph Similarity, Task A에서 0.7416을 기록했다.

  • 문제

    LLM 기반 ontology learning system은 term을 환각하거나 일관되지 않게 표현할 수 있으며, 기존 retrieval method는 ontology-vocabulary consistency를 명시적으로 강제하지 않는다.

  • 방법

    이 framework는 offline dense retrieval-augmented prompting을 context management 및 closed-world ontology extension을 위한 deterministic vocabulary-constrained filtering과 결합한다.

  • 결과

    Task B에서 0.8692 Overall Semantic Graph Similarity를 달성했으며, Task A에서는 0.7416 Semantic Match Graph Similarity를 달성했다.

  • 시사점 및 한계

    Deterministic vocabulary filtering은 closed-world ontology extension 성능을 높이고 out-of-vocabulary hallucination을 줄인다.

  • 시사점 및 한계

    Formal ablation studies를 수행하지 않아 retrieval, prompting, rule-based component 각각에 성능 향상을 정확히 귀속할 수 없다.

Abstract

from arXiv · show

Ontology learning from text remains challenging despite significant progress in Large Language Models (LLMs), which can hallucinate domain terms, produce inconsistent formats, and favor hierarchical over associative relations. In the LLMs4OL 2026 Challenge, we address both the End-to-End Flagship Task (Task A) and Ontology Extension Reuse Task (Task B) using an offline retrieval-augmented few-shot prompting pipeline. Our system employs Qwen2.5-14B-Instruct with all-MiniLM-L6-v2 for demonstration retrieval, selecting the top-5 examples for Task A and top-2 for Task B. A left-truncated context-windowing strategy preserves task instructions within long prompts. For Task B, generated triples undergo deterministic vocabulary-constrained filtering, retaining triples when at least one endpoint belongs to the sample's closed term/type vocabulary and removing duplicates of the initial ontology. The approach achieves Semantic Graph Similarity of 0.8692, Term-Typing F1 of 0.9200, and Taxonomy Discovery F1 of 0.8540 on Task B, while Task A achieves 0.7416 Semantic Graph Similarity. However, no non-taxonomic relations are extracted, highlighting limitations of closed, taxonomy-oriented relation vocabularies.

1 서론

Ontology learning은 텍스트에서 개념과 관계를 추출해 machine-readable ontology를 구축하지만, LLM은 환각된 어휘를 생성하고 비분류학적 관계를 예측하는 데 취약하다. 본 논문은 LLMs4OL task를 위해 context management와 vocabulary-constrained filtering을 결합한 offline retrieval-augmented framework를 제안한다.

  • 1 서론: Formal ontology는 domain concept, relationship, constraint를 표현하며, knowledge integration, interoperability, reasoning, semantic search, recommendation, knowledge graph를 지원한다,.
  • 1 서론: Ontology learning은 텍스트에서 concept, relation, taxonomy 및 기타 ontology component를 자동 또는 반자동으로 추출하며, rule-based, statistical, conventional NLP method를 확장한다.
  • 1 서론: LLMs4OL benchmark는 Text-to-Ontology Extraction, Term Typing, Taxonomy Discovery, Non-Taxonomic Relation Extraction 전반에서 LLM-based ontology learning의 평가를 표준화한다,,.
  • 1 서론: LLM은 환각되거나 어휘적으로 일관되지 않은 term을 자주 생성하며, 비분류학적 관계 추출보다 계층적 taxonomy 예측에서 더 나은 성능을 보인다.
  • 1 서론: 본 논문은 closed-world task를 위해 dense retrieval, instruction-guided inference, left-truncated context management, exact vocabulary-constrained filtering을 결합한 offline Retrieval-Augmented Generation framework를 제안한다.이 filtering algorithm은 vocabulary 외부 endpoint를 포함하는 generated triple을 제거하며, offline 설계는 resource-constrained environment를 목표로 한다.

2 관련 연구

Ontology learning은 규칙 기반 추출에서 LLM 기반 추론으로 발전해 왔지만, 표현력 있는 의미 추론, 어휘 일관성, 재현 가능한 평가에는 여전히 과제가 남아 있다. 결정론적 vocabulary filtering을 적용한 Retrieval-Augmented prompting은 LLMs4OL Tasks A와 B에서 이러한 한계를 다룬다.

  • 전통적인 ontology learning: 전통적인 ontology learning은 규칙, 통계적 학습, 기존 NLP를 사용해 개념, taxonomy, relation, axiom을 추출함으로써 수작업을 줄였지만, 수작업으로 설계한 언어 규칙에 의존했다.형태론적으로 풍부한 언어에서는 미성숙한 도구, 복잡한 문법, 명시적 언어 지식의 필요성으로 인한 한계가 더욱 뚜렷하게 나타난다.
  • LLM 기반 ontology engineering: LLM은 생성, 정렬, 평가, 유지보수, 문서화 전반에서 zero-shot 및 few-shot 추론을 통해 ontology engineering을 확장하는 동시에 수작업 annotation을 줄인다.그러나 표준화된 평가 프로토콜과 재현 가능한 workflow는 여전히 부재하다.
  • Benchmark 맥락: LLMs4OL challenge는 데이터셋을 표준화하고 여러 응용 도메인에서 Text-to-Ontology Extraction, Term Typing, Taxonomy Discovery, Non-Taxonomic Relation Extraction을 평가했다 [12].이러한 benchmark는 ontology learning system을 체계적으로 평가할 수 있도록 한다.
  • 한계: LLM은 여전히 domain, range, disjointness axiom보다 계층적 subclass prediction에서 상당히 더 나은 성능을 보여, 표현력 있는 의미 추론을 taxonomy extraction보다 어렵게 만든다 [9].생성 시스템은 hallucination이 포함되거나 어휘적으로 일관되지 않은 ontology term도 도입한다.
  • 제안 접근법: 제안하는 framework는 dense Retrieval-Augmented Generation과 exact-match vocabulary-constrained filtering을 결합해 LLMs4OL Tasks A와 B에서 의미적 정확도와 prediction consistency를 향상한다.Retrieval은 맥락적 지침을 제공하고, filtering은 해당되는 경우 출력을 사전 정의된 ontology vocabulary로 제한한다.

3 방법론

이 프레임워크는 offline retrieval-augmented prompting, LLM 추론, deterministic post-processing을 통해 ontology 구축과 확장을 통합한다. Qwen2.5-14B-Instruct에 사용할 task-specific demonstration을 검색하고, Task B 출력에 vocabulary-aware refinement를 적용한다.

  • 프레임워크 개요: 이 프레임워크는 dense semantic retrieval, Qwen2.5-14B-Instruct 추론, deterministic post-processing을 결합해 비정형 텍스트에서 ontology를 구축하거나 확장한다.아키텍처는 의미적으로 유사한 example을 검색하고 retrieval-augmented prompt를 구성한 뒤, JSON 출력 전에 vocabulary-constrained filtering으로 Task B triple을 정제한다.
  • Task 정의: Task A는 원시 텍스트에서 primitive ontology를 구축하는 반면, Task B는 제공된 base ontology를 확장하는 데 필요한 새로운 triple만 추론한다.따라서 통합 pipeline은 ontology 구축과 ontology 확장을 모두 지원하며, Task B에서는 기존 구조를 보존한다.
  • Demonstration 검색: 시스템은 all-MiniLM-L6-v2 embedding과 cosine similarity를 사용해 training example을 검색하고, Task A에는 top-5 demonstration을, Task B에는 top-2를 선택한다.Task A는 제공된 vocabulary 없이 term extraction, typing, taxonomy, relation extraction을 함께 요구하므로 demonstration 수를 별도로 조정한다.
  • Prompt 기반 생성: Qwen2.5-14B-Instruct는 task-specific prompt, greedy decoding, 그리고 Task A 900, Task B 320의 token budget으로 구조화된 ontology 출력을 생성한다.추론에는 16-bit precision과 sampling 비활성화를 사용해 deterministic output을 생성한다. 입력이 3,072-token limit을 초과하면 핵심 instruction을 보존하도록 prompt를 left-truncated한다.
  • Task B post-processing: Task B에서는 proximity-based term-typing heuristic이 LLM prediction을 보완한 뒤, deterministic vocabulary-constrained filter가 closed candidate vocabulary와 호환되는 triple을 남긴다.이 heuristic은 미리 정의된 인접 term과 type에서 도출한 instance-of triple을 generated output과 병합해 recall을 높인다.

4 실험 및 결과

이 framework는 vocabulary-constrained ontology reuse에서 특히 semantic matching과 term typing 측면에서 강력한 성능을 보이지만, unconstrained flagship extraction에서는 exact match와 semantic match 간 격차가 더 크게 나타난다. relation vocabulary가 6개의 taxonomic 및 typing string으로 제한되어 있어 non-taxonomic relation extraction은 완전히 실패한다.

  • Evaluation protocol: 공식 evaluation script는 Edge F1, Neighborhood Similarity, Taxonomy Similarity를 포함한 task-oriented metric과 Graph Similarity를 Exact, Partial, Semantic match variant로 보고한다.이러한 evaluation variant는 두 challenge track 모두에서 생성된 ontology를 평가하는 데 사용된다.
  • Task B: Ontology Extension: 0.8692 Semantic Match Graph Similarity와 0.9200 Term-Typing F1은 deterministic vocabulary-constrained filtering을 적용한 Task B의 강력한 성능을 보여준다.canonical vocabulary를 기준으로 filtering하면 Exact Match Graph Similarity는 0.8480으로 좁혀지며, Semantic Match Graph Similarity 0.8692와 비교되고 out-of-vocabulary hallucination을 방지한다.
  • Task A: Flagship: unconstrained Task A에서 0.7416 Semantic Match Graph Similarity는 0.5353 Exact Match Graph Similarity를 상회하며, lexical mismatch가 존재하더라도 semantic concept이 포착됨을 나타낸다.Task A는 predefined vocabulary constraint 없이 primitive ontology를 추출하고 구조화하므로 더 복잡하다.
  • Cross-task limitation: Task A와 Task B 모두에서 Non-Taxonomic Relation Extraction의 F1은 0.0000이다.시스템의 relation-mapping instruction은 is-a, instance-of, disjoint with, equivalent class, part of, has part라는 6개의 엄격한 taxonomic 및 typing relation string으로 구성된 closed set을 정의한다.

5 결론

이 연구는 Qwen2.5-14B-Instruct, sentence-transformers/all-MiniLM-L6-v2, 왼쪽 기준 context 관리, 그리고 Task B를 위한 결정론적 vocabulary-constrained filtering을 결합한 LLMs4OL 2026 Challenge용 offline RAG framework를 제시한다.

  • 5 결론: 이 framework는 offline Retrieval-Augmented Generation pipeline에서 Qwen2.5-14B-Instruct와 sentence-transformers/all-MiniLM-L6-v2를 결합한다.LLMs4OL 2026 Challenge를 위해 개발되었다.
  • 5 결론: 왼쪽 기준 context-window 관리와 Task B를 위한 결정론적 vocabulary-constrained filtering은 vocabulary 밖의 hallucination이 최종 output에 유입되는 것을 방지했다.또한 이 조합이 전체 prediction을 안정화했다고 서술한다.

한계

이 프레임워크에는 몇 가지 한계가 있다. 구성 요소별 기여를 formal ablation으로 분리해 검증하지 않았고, post-processing은 semantic predicate가 아닌 entity vocabulary를 필터링했으며, 주요 hyperparameter는 철저한 최적화보다 경험적으로 선택했다.

  • 한계: Formal ablation study로 dynamic retrieval, prompt configuration, hybrid rule-based extraction의 개별 기여를 분리하지 못했다.따라서 각 구성 요소가 미치는 고유한 영향을 확정적으로 정량화할 수 없다.
  • 한계: Post-processing은 명시적인 semantic predicate filtering이 아니라 전적으로 entity vocabulary filtering에 초점을 맞췄다.
  • 한계: 3,072-token truncation limit과 top-5 대 top-2 demonstration count는 exhaustive grid-search optimization이 아니라 hardware constraint와 preliminary dev-set evaluation을 바탕으로 경험적으로 설정했다.

데이터 이용 가능성에 관한 성명

본 연구는 LLMs4OL 2026 challenge 주최 측이 제공한 데이터셋을 사용한다.

  • 본 연구에 사용된 데이터셋은 LLMs4OL 2026 challenge 주최 측이 제공했다.
  • 데이터 이용 가능 여부는 주최 측의 challenge 데이터셋 제공에 달려 있다.
  • 본 연구의 데이터셋은 LLMs4OL 2026 challenge 자료의 일부를 이룬다.
Loading 2608.27101v1…