PaperlayerView exact revision on arXiv

Source-linked AI summary

ICDAR 2026 Competition on Information Extraction from Atomic Layer Deposition/Etching (ALD/E) Scientific Figures

Fahad Ahmed, Sören Auer, Jennifer D'Souza

arXiv:2607.26848v1cs.CV

TL;DR

Scientific figure understanding에는 복잡한 ALD/E figure에 대한 end-to-end reasoning을 포괄하는 종합적이고 domain-specific한 benchmark가 부족하다. Sci-ImageMiner는 expert-annotated four-task benchmark와 competition을 제시하며, structured task-specific approach는 전반적으로 효과적이지만 data extraction과 visual question-answering은 여전히 어렵다는 점을 보여준다.

  • 문제

    기존 scientific-figure dataset과 competition은 domain coverage, quantitative figure, end-to-end comprehension 및 reasoning task를 제한적으로만 제공한다.

  • 방법

    이 논문은 네 가지 상호보완적인 end-to-end scientific understanding task를 포괄하는 expert-annotated ALD/E figure benchmark이자 competition인 Sci-ImageMiner를 소개한다.

  • 결과

    네 가지 task 전반에서 top-performing approach는 problem decomposition, data-centric optimization, contextual grounding 및 structured task-specific reasoning을 선호했다.

  • 시사점 및 한계

    이 benchmark는 domain-specific scientific figure comprehension을 연구하고 추가 연구가 필요한 과제를 규명하기 위한 엄밀한 플랫폼을 구축한다.

  • 시사점 및 한계

    data extraction과 visual question-answering에는 여전히 중대한 과제가 남아 있으며, 이를 해결하려면 견고한 multimodal reasoning과 정밀한 scientific understanding이 필요하다.

Abstract

from arXiv · show

Scientific figure comprehension and reasoning using multimodal AI requires integrating visual perception with domain-specific reasoning to extract meaningful knowledge, often not presented in the text of a research publication. The Sci-ImageMiner benchmark dataset, accompanied by a community-driven competition, raises the bar over prior scientific competitions by curating a comprehensive, expert-annotated dataset across four end-to-end complementary tasks. The competition attracted 68 active participants and 1,263 public/private submissions from 9th January 2026 to 8th April 2026. Our results show that state-of-the-art multimodal models perform well on classification and summarization tasks but struggle with data extraction and scientific reasoning, particularly in visual question-answering. These findings reveal key limitations and highlight challenges and opportunities for improving domain-aware multimodal AI systems. Overall, the Sci-ImageMiner benchmark and competition establish a rigorous platform for advancing research in scientific figure comprehension and reasoning and demonstrate the potential of state-of-the-art approaches for a challenging and complex research area.

1 서론

서론은 과학 그림 이해를 시각적 인식과 도메인 특화 추론이 모두 필요한 multimodal 해석으로 규정하고, 현재의 한계를 다루는 전문가 주석 ALD/E benchmark로 Sci-ImageMiner를 제시한다. 또한 복잡한 과학 그림과 도메인 특화 추론에서 multimodal model이 겪는 어려움을 강조해 competition의 필요성을 제기한다.

  • 과학 그림 이해에는 연구 그림에서 추세, 관계, 의미 있는 과학 지식을 해석하기 위한 시각적 인식과 도메인 특화 추론이 필요하다.
  • ALD와 ALE는 원자 규모의 첨단 전자·기능성 소재 및 차세대 나노전자공학을 위한 핵심 반도체 제조 기술이다.
  • Multimodal model은 natural image에서는 뛰어난 성능을 보이지만, 도메인 특화 dataset과 추론 능력이 여전히 제한적이어서 복잡한 과학 그림의 의미론과 추상적 표현을 처리하는 데 어려움을 겪는다.이전 ICDAR competition은 크게 기여했지만, 실제 과학 그림 이해의 복잡성과 end-to-end 요구를 완전히 포착하지는 못했다.
  • Sci-ImageMiner는 multimodal 이해, 개선 전략, task 난이도를 조사하기 위해 설계된 포괄적이고 전문가가 주석한 도메인 특화 ALD/E 과학 그림 dataset으로 소개된다.

2 Sci-ImageMiner 벤치마크 데이터셋

Sci-ImageMiner는 공정 유형과 연구 양식에 따라 정리된 205편의 ALD/E 연구 출판물로 구성되며, multimodal analysis를 위해 figure와 구조화된 콘텐츠를 보존한다. 맞춤형 플랫폼은 Bloom’s taxonomy에 기반한 subfigure-level VQA를 포함해, 점진적으로 심화되는 네 가지 comprehension 및 reasoning task에 걸친 협업 annotation을 지원한다.

  • 데이터셋 구축: 이 벤치마크는 실험 및 simulation 기반 ALD/E 출판물 205편을 수집하고, visualization과 description을 포함하는 49-figure taxonomy를 구축한다.이 taxonomy는 프로젝트의 GitHub repository를 통해 공유된다.
  • Curation workflow: MinerU는 구조화된 textual content를 JSON으로, 고해상도 figure를 JPEG로 추출해 downstream multimodal analysis를 위한 semantic structure와 visual fidelity를 보존한다.End-to-end curation workflow는 Figure 1에 제시되어 있다.
  • 데이터셋 구성: 데이터셋은 ALD와 ALE 범주로 구성되며, 각 범주는 experimental study와 simulation-based study로 나뉘고 표준 train/dev/test split을 사용한다.데이터셋 통계는 Table 1에 보고되어 있으며, Figure 2는 계층 구조와 관련된 PDF, content.json, figure 및 annotation file을 보여준다.
  • Annotation framework: 대규모의 복잡한 데이터셋에서는 점진적으로 심화되는 네 가지 task에 대한 협업 annotation이 필요하므로, 저자들은 세밀한 end-to-end labeling을 위한 맞춤형 multi-user web platform을 개발했다.기존 annotation tool이 해당 domain-specific workflow에 충분하지 않았기 때문에 이 플랫폼은 기관 인프라에서 호스팅된다.
  • Annotation framework: VQA에서 annotator는 figure마다 네 개의 subfigure-level question–answer pair를 부여하고, Bloom’s revised taxonomy를 사용해 scientific question type 전반에서 점진적으로 심화되는 이해를 평가한다.Question type은 process-oriented mechanism과 workflow, comparative 또는 trend-based quantitative relationship, structure–property connection을 포괄한다.

3 대회

대회는 상호 보완적인 과제 전반에서 포괄적인 end-to-end 과학 그림 이해와 추론을 평가하도록 설계됐다. 구조화된 제출 및 리더보드 관리와 함께 development 및 evaluation 단계를 분리해 운영했다.

  • 대회 운영: 대회는 development phase에서 final evaluation and rankings로 진행됐으며, 확장 가능한 제출 및 평가 관리를 위해 CodaBench 트랙을 사용했다.
  • 대회 목적: 대회는 end-to-end comprehensive scientific figure understanding and reasoning 역량을 종합적으로 평가했다.
  • 대회 과제: 네 가지 과제는 그림 분류, 차트 데이터의 Markdown 표 추출, 간결한 사실 요약, 전문가가 주석한 question-answer pair에 대한 domain-specific reasoning으로 구성됐다.
  • 평가 프로토콜: 분류에는 Accuracy, Precision, Recall, F1-score를 사용했으며 F1-score as the primary ranking metric으로 삼았다. 데이터 추출에는 RMS와 TEDS를 사용했다.
  • 평가 프로토콜: 요약에는 ROUGE-1/2/L과 BERTScore-F1을 사용했으며, 추론은 paragraph, factoid, list, yes/no answer별로 task-specific metrics를 사용해 별도로 평가했다.

4 결과 및 논의 · 4.1 개요 · 4.2 Baseline 결과

이 대회에는 국제적으로 상당한 참여가 이루어졌으며, baseline 평가 결과 현재 LVLM은 여러 task에서 scientific figure comprehension에 여전히 어려움을 겪는 것으로 나타났다. 모든 task에서 일관되게 우수한 성능을 보인 단일 baseline은 없었으며, 이는 domain-specific multimodal reasoning의 필요성을 강조한다.

  • 4.1 개요: 68명의 활발한 참가자가 ICDAR Sci-ImageMiner 대회에 1,263건의 공개 및 비공개 제출물을 기여했다.이러한 참가자 및 제출물 통계는 Table 3에 보고되어 있다.
  • 4 결과 및 논의: 이 대회는 전 세계 참가자들의 상당한 참여를 이끌어냈다.
  • 4.1 개요: 전체 대회 리더보드는 대회 웹사이트에 공개되었다.
  • 4.2 Baseline 결과: Baseline에서는 Gemma 4 E4B 8b, Qwen3-VL-8B-Instruct [14], GLM-4.6V-Flash [15], Intern VL 3.5 8b [17]를 포함한 다양한 LVLM을 평가했다.
  • 4.2 Baseline 결과: Baseline 평가에서는 모든 task에 걸쳐 프롬프트 9를 일관되게 사용했다.
  • 4.2 Baseline 결과: 모든 task에서 우수한 성능을 보인 단일 baseline은 없었으며, 이는 scientific figure comprehension의 본질적 난이도와 고도화된 domain-specific multimodal reasoning의 필요성을 보여준다.

4.3 대회 결과 · Task 1: 분류 결과

Section 4.3에서는 상위 5개 leaderboard 팀의 방법론을 요약하고, Task 1에서는 이들의 classification leaderboard를 보고하며 상위 5개 팀과 함께 최상의 baseline을 제시한다. 설명된 접근법에는 계층적 multi-model fine-tuning, iterative prompting과 multi-agent consensus를 활용한 contextual augmentation, 그 밖의 체계적인 실험 전략이 포함된다.

  • 4.3 대회 결과: 대회 결과에서는 리더보드 상위 5개 팀이 제안한 방법론을 요약하며, 이들의 접근법 개요는 Table 6에 제시된다.요약은 해당 method report를 확인할 수 있는 경우를 기반으로 한다.
  • Task 1: 분류 결과: Task 1에서는 상위 5개 제출 결과와 이들의 분류 리더보드를 Table 4에 제시한다.Table 4에는 최우수 baseline과 상위 5개 팀의 분류 점수가 수록되지만, 제공된 본문에는 수치 점수가 제시되지 않는다.
  • Task 1: 분류 결과: Ricoh_SRCB는 coarse 6-class model에서 refined 49-class model로 이어지는 계층적 fine-tuning을 사용하며, auxiliary binary 및 4-class classifier를 추가로 활용한다.최종 예측은 이러한 model의 출력을 융합해 얻는다.
  • Task 1: 분류 결과: DocMiner는 semantic understanding을 향상하기 위해 category-specific sample documents, image captions, source text로 입력을 보강한다.또한 development-set feedback을 사용해 prompt를 반복적으로 최적화하고, 시각적으로 유사한 class 간 모호성을 해소하도록 category description을 개선한다.
  • Task 1: 분류 결과: DocMiner는 individual-model bias를 완화하기 위해 consensus 또는 re-evaluation을 통해 독립적인 예측을 조정하는 multi-agent inference를 추가로 도입한다.제공된 본문에서는 예측 조정을 위한 메커니즘으로 consensus와 re-evaluation을 제시한다.
  • Task 1: 분류 결과: VLMinators의 접근법은 체계적 실험 전략을 채택한 것으로 설명되지만, 제공된 본문에는 추가적인 방법론적 세부사항이 제시되지 않는다.이 팀은 Task 1의 상위 5개 접근법 중 하나로 식별된다.

Task 2: 데이터 추출 결과

Task 2는 최우수 baseline과 상위 5개 팀을 포함한 leaderboard를 통해 데이터 추출 시스템을 평가한다. 선도적인 접근법은 구조 인식 학습, parameter-efficient fine-tuning, multimodal 입력 설계, architecture 개선, 보조 텍스트 context를 결합한다.

  • Task 2: 데이터 추출 결과: TeleOCR-VL은 구조 인식 학습, synthetic data generation, ensemble inference를 결합하고 구조 학습과 내용 인식을 분리한다.구조만 포함된 샘플과 전체 내용 샘플을 분리해 학습함으로써 layout 이해와 semantic extraction을 목표로 하며, synthetic data로 annotation 부족과 일반화 문제를 완화한다.
  • Task 2: 데이터 추출 결과: VLMinators는 prompt 제약, chart semantics, chart-type context injection을 적용한 Qwen2.5-VL-7B-Instruct 의 QLoRA fine-tuning으로 구조화된 table을 생성한다.이 방법은 parameter-efficient adaptation에 초점을 두고 axis labels, legends, metadata를 사용해 구조 예측을 유도한다.
  • Task 2: 데이터 추출 결과: Ricoh_SRCB는 multi-image prompts에서 전체 chart와 cropped subgraphs를 결합하고, chart type 전반의 coverage를 높이기 위해 category-wise augmentation을 적용한다.이 표현은 전역 및 국소 시각 패턴을 포착하며, data balancing으로 class imbalance를 완화하고 일반화를 지원한다.
  • Task 2: 데이터 추출 결과: Vassilis Sioros는 early vision-language fusion, Gated Delta Networks, sparse Mixture-of-Experts를 갖춘 Qwen3.5-9B를 사용하고, document-context 입력을 구조화된 Markdown으로 파싱한다.입력은 cropped subfigures와 주변 source text를 결합하며, dense table strings는 이후 구조화된 Markdown으로 파싱된다.
  • Task 2: 데이터 추출 결과: DocMiner는 captions와 주변 텍스트를 multi-agent architecture와 통합하고, 다양한 question type을 전문화된 agent로 동적으로 라우팅한다.보조 텍스트 정보는 semantic grounding을 강화하기 위한 것이며, routing을 통해 task-specific processing을 수행한다.
  • Task 2: 데이터 추출 결과: Table 5는 최우수 baseline과 상위 5개 팀의 Task 2 데이터 추출 점수를 보고한다.제공된 문단은 leaderboard의 범위만 제시하며 개별 점수나 순위 비교를 제공하지 않는다.

Task 3: 요약 결과

Task 3에서는 상위 5개 제출물이 사용한 접근법을 제시하고, DeepVitminC의 modular summarization 및 visual question-answering framework를 포함해 task leaderboard 순위를 보고한다.

  • Task 3: 요약 결과: Table 7의 task leaderboard는 상위 5개 제출물의 순위를 제시한다.
  • Task 3: 요약 결과: DeepVitminC는 문서 정보, 주로 figure caption에서 context를 추출하고 task-specific output을 위해 일관된 visual-context alignment를 수행한다.retrieval-augmented generation을 사용해 contextual information을 model input에 주입하고 visual signal과 contextual signal을 공동으로 처리한다.

Tasks 4: Visual Question-Answering 결과

VQA leaderboard는 최적 baseline과 상위 5개 팀을 비교하며, 각 팀은 contextual retrieval, supervised multimodal fine-tuning, structured prompting, cross-task information flow를 결합한다.

  • 상위 제출 접근법: DeepVitminC는 figure caption과 주변 문서 텍스트를 상호보완적 context로 retrieval한 뒤, enriched prompt와 supervised fine-tuning을 사용해 Consistent Alignment Module을 탑재한 vision-language model을 학습한다.
  • 상위 제출 접근법: Ricoh_SRCB는 prompt 설계와 adaptive decoding limits를 통해 answer type, output structure, length를 제한한다.
  • 상위 제출 접근법: Sequential context chaining은 upstream classification, table extraction, summarization 결과를 VQA prompt에 통합해 factoid 및 paragraph 기반 질의에서 수치 정밀도와 contextual reasoning을 향상한다.
  • Leaderboard: VQA leaderboard는 최적 baseline과 상위 5개 팀의 점수를 제시한다.

4.4 논의

논의에서는 네 가지 competition task 전반에 걸쳐 참가 팀을 비교하고, 우수한 성능을 뒷받침하는 방법론적 동향을 식별한다. 전반적으로 견고한 결과는 data design, contextual input engineering, model ensembling, task-specific pipeline 또는 training 전략을 결합할 때 나타난다.

  • 비교 분석: 모든 task에서 분석은 일관되게 강력한 접근법을 부각하며, data design, contextual input engineering, model ensembling을 결합하면 견고한 성능을 얻을 수 있음을 확인한다.비교는 단일 task보다는 competition 전반에서 효과적인 model과 전략에 초점을 둔다.
  • Task 1: Classification: Ricoh_SRCB는 hierarchical multi-stage, multi-granularity decomposition과 dual-image inference를 통해 classification에서 선두를 차지하며, IIT_Patna_CV_1은 Qwen2.5-VL-7B-Instruct, prompt design, test-time augmentation을 활용한다.두 접근법은 구조화된 task decomposition과 generative reformulation 및 robustness 중심 inference를 대조한다.
  • Task 2: Data Extraction: TeleOCR-VL은 structure-aware training, synthetic data augmentation, ensemble inference를 통해 data extraction에서 선두를 차지하며, VLMinators는 lightweight fine-tuning과 prompt-based context injection으로 경쟁력 있는 성능을 유지한다.이 결과는 pretrained model의 강점과 함께 data-centric 및 system-level optimization을 강조한다.
  • Task 3: Summarization: Summarization 선도 팀들은 structured pipeline, retrieval-augmented context, hard negative를 활용한 DPO 와 같은 alignment method, robust multi-candidate consensus re-ranking을 결합한다.DeepVitminC, Ricoh_SRCB, TeleOCR-VL은 training 및 inference 전략에서 상호 보완적인 발전을 보여준다.
  • Task 4: Visual Question-Answering: Visual question-answering에서는 pipeline engineering과 training optimization의 균형이 중요하며, retrieval-grounded context, iterative prompt refinement, agent-based reasoning, 정교한 pipeline design이 우수한 결과를 뒷받침한다.DeepVitminC는 grounding을 강조하고, DocMiner는 adaptability를 보여주며, Ricoh_SRCB는 training 기반 개선만으로는 제한적인 이득을 보인다.

비교 분석 및 핵심 시사점

모든 task에서 상위 성능 접근법은 강력한 vision-language backbone과 context, structure, task-specific constraint를 통합하는 pipeline을 결합하며, task-specific strategy가 성능에 영향을 준다.

  • 종합 결과: 상위 성능 접근법은 context, structure, task-specific constraint를 통합하는 pipeline과 Qwen 기반 vision-language model을 결합한다.해당 내용에서는 Qwen2.5-VL-7B-Instruct와 Qwen3.5-9B를 대표적인 예로 제시한다.
  • Task 1: Task 1은 명시적 분해와 모호성 처리를 선호한다.
  • Task 2: Task 2는 데이터 중심 설계와 앙상블을 강조한다.

5 결론

ICDAR Sci-ImageMiner competition은 ALD/E figure에 대한 과학적 이해와 reasoning을 다루는 최초의 benchmark dataset이자 competition으로, expert annotation을 활용해 domain complexity를 포착한다. 폭넓은 글로벌 참여와 novel method는 높은 관심을 보여주지만, 결과는 data extraction과 visual question-answering에서 지속적인 어려움이 있음을 보여준다.

  • Sci-ImageMiner는 ALD/E figure에 대한 과학적 이해와 reasoning에 전념하는 최초의 benchmark dataset이자 competition이다.
  • Domain-expert annotation은 ALD/E 과학 콘텐츠의 복잡성과 특수성을 반영한다.
  • 이 competition에는 네 가지 task category 전반에서 상당한 글로벌 참여가 있었으며, 각 팀은 novel methodology와 approach를 제안했다.
  • 결과는 특히 data extraction과 visual question-answering에서 여전히 상당한 challenge가 남아 있음을 보여준다.
Loading 2607.26848v1…