PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search

Yutaro Yamada, Robert Tjarko Lange, Cong Lu, Shengran Hu, Chris Lu, Jakob Foerster, Jeff Clune, David Ha

arXiv:2504.08066v1cs.AIcs.CLcs.LG

TL;DR

The AI Scientist-v1 (Lu et al., 2024)은 사람이 작성한 코드 템플릿에 의존해 자율성과 적용 범위가 제한되었다. The AI Scientist-v2는 템플릿 없는 실험, 관리 에이전트가 감독하는 에이전트 기반 트리 탐색, 시각·언어 피드백을 결합해 자율적으로 연구를 수행한다. AI가 생성한 제출 논문 세 편 중 한 편이 심사위원 평균 점수 6.33을 받아 ICLR 워크숍에 채택되었다.

  • 문제

    The AI Scientist-v1 (Lu et al., 2024)은 사람이 작성한 코드 템플릿에 의존해 자동화된 과학 연구 절차의 적용 범위와 자율성이 제한되었다.

    출처: §1 · p. 1

  • 방법

    The AI Scientist-v2는 템플릿 없는 실험, 실험 관리 에이전트가 감독하는 에이전트 기반 트리 탐색, 시각·언어 피드백을 결합해 자율적으로 연구를 수행하고 논문을 작성한다.

    출처: §7 · p. 15

  • 결과

    ICLR 워크숍에 제출된 AI 생성 논문 세 편 중 유일하게 채택된 논문의 심사위원 평균 점수는 6.33이었다.

    출처: §1 · p. 2, §5 · p. 13

  • 시사점 및 한계

    저자들은 현재의 한계를 극복하고 자율 연구 시스템의 규모를 확장하면 협업을 촉진하고 과학적 발견을 가속할 수 있다고 본다.

    출처: §7 · p. 15

    이 시스템은 최상위 학회 논문에 요구되는 기준은커녕 워크숍 수준의 기준도 일관되게 충족하지 못한다.

    출처: §5 · p. 13

Abstract

from arXiv · show

AI is increasingly playing a pivotal role in transforming how scientific discoveries are made. We introduce The AI Scientist-v2, an end-to-end agentic system capable of producing the first entirely AI generated peer-review-accepted workshop paper. This system iteratively formulates scientific hypotheses, designs and executes experiments, analyzes and visualizes data, and autonomously authors scientific manuscripts. Compared to its predecessor (v1, Lu et al., 2024 arXiv:2408.06292), The AI Scientist-v2 eliminates the reliance on human-authored code templates, generalizes effectively across diverse machine learning domains, and leverages a novel progressive agentic tree-search methodology managed by a dedicated experiment manager agent. Additionally, we enhance the AI reviewer component by integrating a Vision-Language Model (VLM) feedback loop for iterative refinement of content and aesthetics of the figures. We evaluated The AI Scientist-v2 by submitting three fully autonomous manuscripts to a peer-reviewed ICLR workshop. Notably, one manuscript achieved high enough scores to exceed the average human acceptance threshold, marking the first instance of a fully AI-generated paper successfully navigating a peer review. This accomplishment highlights the growing capability of AI in conducting all aspects of scientific research. We anticipate that further advancements in autonomous scientific discovery technologies will profoundly impact human knowledge generation, enabling unprecedented scalability in research productivity and significantly accelerating scientific breakthroughs, greatly benefiting society at large. We have open-sourced the code at https://github.com/SakanaAI/AI-Scientist-v2 to foster the future development of this transformative technology. We also discuss the role of AI in science, including AI safety.

1. 서론

The AI Scientist-v2는 템플릿 없는 코드 생성, 에이전트 기반 트리 탐색, 병렬 실험, VLM 피드백을 결합해 과학적 발견을 자동화한다. 자율적으로 작성해 ICLR 워크숍에 제출한 논문 세 편 중 한 편은 동료 심사를 통과했으며, 사람이 작성한 논문이었다면 메타 심사 후 채택되었을 것이다.

1. 서론

  • AI가 생성해 워크숍에 제출한 논문 세 편 중 한 편의 평균 심사 점수는 6.33으로, 전체 투고 논문의 약 상위 45%에 해당했다.이 논문은 동료 심사를 통과했으며, 사람이 작성했다면 메타 심사 후 채택되었을 것이다. 이는 전적으로 AI가 생성한 논문이 동료 심사를 통과한 첫 사례다.출처: §1 · p. 2
  • VLM 기반 피드백은 검토와 수정 과정에서 생성된 그림, 캡션, 본문의 해석을 다듬어 품질과 명료성, 상호 일치도를 높인다.출처: §1 · p. 2
  • 채택된 논문은 합성 산술식 데이터셋에서 조합적 정규화가 유의미한 개선을 보이지 않으며 때로는 성능을 저해한다는 결과를 제시한다.이 방법은 시퀀스 모델에서 연속한 시간 단계의 임베딩 간 차이가 크면 페널티를 부과하며, 이를 통해 조합적 일반화를 촉진할 수 있다는 가설에 기반한다.출처: §1 · p. 2
  • 심사자들은 부정적 결과의 가치를 인정했지만 정규화 항의 근거가 부족하다고 지적했으며, 학술대회에 채택될 수준은 아니지만 워크숍 수준에서는 기술적으로 타당하다고 평가했다.저자들은 정규화 대상 네트워크 구성 요소의 불명확한 명세, 데이터셋 간 중복 가능성, 부정확한 그림 캡션도 지적한다. 심사자들은 추가적인 발전과 더 폭넓은 실험을 요구했다.출처: §1 · p. 2
  • 내부 평가에서는 산출물과 동료 심사 피드백을 분석하며, 전체 코드와 ICLR 2025 워크숍 실험 데이터는 오픈소스로 공개되어 있다.이 분석은 AI가 생성한 논문을 기존의 인간 작성 과학 논문과 비교해 강점과 약점을 살펴본다.출처: §1 · p. 2
  • The AI Scientist-v2는 사람이 작성한 코드 템플릿을 실험 관리자 에이전트가 이끄는 에이전트 기반 트리 탐색과 병렬 실험으로 대체해, 여러 기계학습 분야에서 가설을 더 깊고 체계적으로 탐색한다.작업 흐름은 아이디어 생성부터 논문 검토까지 아우르며, 성능이 가장 좋은 코드 체크포인트를 재사용해 가설을 검증한다. The AI Scientist-v1 (Lu et al., 2024)은 사람이 작성한 주제별 템플릿이 필요했고, 실험도 선형적이고 탐색 깊이가 얕았다.출처: §1 · pp. 1–2, Figure 1 · p. 3

2. 배경

The AI Scientist-v1 (Lu et al., 2024)은 과학 연구를 자동화했지만, 사람이 작성한 코드 템플릿과 선형적 실험 방식에 의존했다. 에이전트 스캐폴딩과 트리 탐색은 성찰과 폭넓은 탐색을 가능하게 하며, 이를 바탕으로 다단계 과학 실험에 맞춘 트리 탐색을 도입한다.

2. 배경

  • The AI Scientist-v1 (Lu et al., 2024)은 사람이 작성한 베이스라인 코드 템플릿에 의존하고 선형적인 가설 검증만 수행해 자율성과 탐색 범위가 제한되었다.템플릿이 주어지면 자율적으로 코드를 작성하고 실험을 실행하며, 결과를 시각화하고 완결된 과학 논문을 작성했다.출처: §2 · p. 3

언어 모델 에이전트 스캐폴딩

  • Reflexion (Shinn et al., 2024)과 LLM 트리 탐색 전략은 각각 견고성과 체계적 추론을 개선하지만, 계산 비용과의 절충이 필요하다.Reflexion은 이전 출력을 반복적으로 평가해 자기 개선을 유도하지만, 추가 비용이 발생하고 추론이 느려질 수 있다. 트리 탐색은 추론 경로를 더 폭넓게 탐색하지만 복잡성과 연산 요구량이 증가해 확장성 문제가 발생한다.출처: §2 · p. 3

대규모 언어 모델을 활용한 트리 탐색

  • AIDE 에서 착안해 다단계 과학 실험에 맞춘 트리 탐색을 도입함으로써, The AI Scientist-v1에서 관찰된 단기적 관점에 치우친 실험 방식을 개선한다.AIDE는 MLEBench 에서 최고 수준의 성능을 보이며, 후보 해법을 노드로 표현하고 각 노드의 스칼라 평가 점수로 디버깅이나 개선 방향을 정한다. 코드 생성을 행동 공간으로 활용하면 작업 흐름을 자동화할 수 있지만(Wang et al., 2024), 인간의 연구에는 개방형 가설 생성, 후속 탐색의 발판이 되는 중간 성과의 축적, 반복적 개선이 포함된다.출처: §2 · pp. 3–4

3. The AI Scientist-v2

The AI Scientist-v2는 추상적 아이디어 생성, 템플릿 없는 실험, 단계별 에이전트 기반 트리 탐색으로 자율성을 높인다. 또한 실험과 원고 검토에 시각적 피드백을 통합하고 원고 생성 과정을 단순화한다.

3. The AI Scientist-v2

  • 원고 작성은 점진적 반복 대신 한 번에 생성한 뒤 추론 모델을 활용하는 별도의 성찰 단계를 거치는 방식으로 바뀐다.개요에서는 이 작성 방식의 변화를 아이디어 생성의 일반화, 템플릿 제거, 실험 관리, 트리 탐색, VLM 통합과 함께 소개한다.출처: §3 · p. 4

3.1. 더 일반적인 아이디어 생성

  • 아이디어 생성은 추상적인 연구 방향, 가설, 실험 설계에서 시작하며, 구현에 착수하기 전에 문헌 검색을 통합한다.코드베이스를 바탕으로 점진적 개선안을 제안하는 방식과 달리, 이 과정에서는 구상 단계에서 Semantic Scholar 등의 도구로 참신성을 평가하고 관련 선행 연구를 파악한다.출처: §3.1 · p. 4

3.2. 템플릿 의존성 제거

  • 템플릿 없는 실험은 v1의 사전 정의된 베이스라인 코드 의존성과 순차적 코드 수정만 가능하다는 제약을 없앤다.이러한 제약을 큰 단위의 실험 관리와 에이전트 기반 트리 탐색으로 대체한다.출처: §3.2 · p. 4, §3 · p. 4

3.2.1. 실험 진행 관리자

  • 실험 진행 관리자는 예비 조사, 하이퍼파라미터 튜닝, 연구 계획 실행, 절제 실험을 조율한다.각 단계에서는 최소한의 작동 가능한 프로토타입을 구축하고, 안정적인 베이스라인을 최적화하고, 그 베이스라인에 연구 계획을 구현한 뒤, 구성 요소의 중요도를 평가한다.출처: §3.2.1 · p. 5
  • 관리자는 각 단계의 체크포인트를 저장하고, LLM 평가기로 다음 단계의 시작 실험을 선택하며, 평균과 표준편차를 구하기 위한 반복 실험을 실행한다.1단계에서는 작동 가능한 프로토타입이 필요하다. 2단계에서는 학습 곡선이 수렴하고 최소 두 데이터셋에서 성공적으로 실행되어야 한다. 3–4단계는 각 단계의 연산 예산이 소진되면 종료된다. 3단계에서는 실행이 할당된 시간보다 훨씬 빨리 끝나면 실험의 복잡도를 높이도록 권고한다.출처: §3.2.1 · p. 5

3.2.2. 병렬 에이전트 기반 트리 탐색

  • 병렬 에이전트 기반 트리 탐색은 네 실험 단계 모두에서 디버깅이나 LLM이 유도하는 최선 우선 개선을 통해 실험을 확장한다.LLM은 계획과 실행 가능한 Python 코드를 생성하며, 실행 오류나 VLM이 식별한 시각화 문제가 발생한 노드는 오류 노드로 표시된다. 특화된 노드는 중복을 피하도록 이미 시험한 하이퍼파라미터와 절제 실험을 추적하고, 서로 다른 난수 시드로 실험을 반복하며, 결과를 집계해 평균과 표준편차를 보여 주는 그림을 만든다.출처: §3.2.2 · pp. 5, 7

3.3. Hugging Face를 통한 데이터셋 로딩

  • 데이터셋 로딩은 datasets.load_dataset을 통한 Hugging Face Hub 이용을 우선하여 접근을 간소화하지만, 저장소 호환성에 따른 제약은 남는다.Hub는 학습·검증·테스트 분할이 미리 정의된 널리 쓰이는 데이터셋을 제공하지만, 모든 데이터셋 저장소가 이 로딩 방식을 지원하지는 않는다.출처: §3.3 · p. 7

3.4. 시각-언어 모델 기반 심사자

  • VLM은 실험 그림을 즉시 평가하고 원고 성찰 단계에서 그림과 캡션을 함께 검토하여 시각적 명료성과 일관성을 높인다.원고 검토에서는 그림 스크린샷, 캡션, 그림을 참조하는 본문을 함께 살펴 내용의 일치 여부, 불명확한 레이블이나 누락된 범례, 본문과 부록 사이의 중복을 확인한다.출처: §3.4 · pp. 7–8

4. The AI Scientist-v2가 생성한 원고에 대한 인간 평가

AI가 생성한 원고 세 편 중 한 편이 워크숍 동료 심사를 통과했지만, 내부 평가에서는 어느 원고도 일반적인 최상위 학술대회 본회의 수준에는 미치지 못했다. 사람이 아이디어와 완성된 결과물을 선정했으나, 각 실행 내 생성 과정은 자율적으로 이루어졌다.

4. The AI Scientist-v2가 생성한 원고에 대한 인간 평가

  • 투고작 3편 중 1편이 워크숍 채택 기준을 넘었으며, 평균 10점 만점에 6.33점으로 상위 45%에 들었다.개별 점수는 6(약한 채택), 7(채택), 6(약한 채택)이었으며, 나머지 두 편은 채택되지 않았다.출처: Figure 3 · p. 8, §4.1 · p. 9

4.1. 평가 방법

  • 전체 투고작 43편에는 AI가 작성했다는 사실을 공개하지 않은 채 심사받은 AI 원고 세 편이 포함되었다. IRB 승인을 받은 이 평가에서는 채택된 원고를 출판 전에 철회했다.심사자는 AI 투고작이 있을 수 있음을 알았고 심사를 거절할 수 있었으며, 심사 후 실험에 대해 안내받았다. 철회는 워크숍 주최 측 및 ICLR 지도부와 사전에 합의한 사항이었다. 저자들은 출판 규범이 아직 정립되지 않은 상황에서 AI 작성 여부를 명시적으로 표시할 것을 주장한다.출처: §4.1 · p. 9
  • 내부 평가에서는 어떤 원고도 일반적인 최상위 학술대회 본회의 수준에 미치지 못했지만, 워크숍 채택에 적합한 원고로는 외부 심사와 독립적으로 동일한 투고작을 선정했다.검토 결과, 표준 실험 파이프라인은 성공적으로 실행했으나 간헐적인 인용 오류와 방법론적 엄밀성 및 분석 깊이의 부족이 드러났다.출처: §4.1 · p. 9

4.2. 최초로 동료 심사를 통과한 AI 생성 워크숍 논문.

  • 사람은 AI가 생성한 초기 아이디어와 여러 시드에서 나온 최상의 완성 원고를 선정했지만, 코드, 결과, 그림, 본문은 전혀 수정하지 않았다.초기 아이디어는 기계학습 핵심 분야와 응용 분야를 대상으로 각각 수행한 생성 과정에서 나왔다. 이 연구는 성공률이 아니라 적어도 한 편의 원고가 동료 심사를 통과할 수 있는지를 검증했으며, 투고 분량 제한은 자동으로 처리했다.출처: §4.2 · p. 10
  • 채택된 논문은 입력 임베딩의 시간적 일관성 정규화가 조합적 일반화를 유의하게 개선하지 못했으며, 합성 산술 과제에서는 때때로 학습을 방해한다는 사실을 발견했다.이 정규화 항은 연속한 토큰 사이의 임베딩 변화에 페널티를 부과했다. 수식의 복잡도가 높아지면 정규화 여부와 관계없이 일반화 성능이 악화되었으며, 이는 정규화만으로는 충분하지 않고 주된 학습 목표와 충돌할 수도 있음을 시사한다.출처: §4.2 · pp. 10–11
  • 학습·시험 데이터가 약 57% 중복되어 신뢰성에 의문이 제기되었다. 한편 어텐션을 추가한 LSTM의 보고된 정확도 100%는 주로 과제의 단순성을 반영했으며, 복잡도가 높아지자 정확도가 낮아졌다.저자들은 임베딩과 은닉 상태의 혼동, 핵심 참고문헌 누락, 잘못된 그림 해석도 확인했다. 여기에는 어텐션 기반 모델이 LSTM보다 우수한 성능을 보인 결과와 모순되는 주장도 포함되었다. 평가는 짧은 합성 시퀀스로 한정되었다.출처: §4.2 · p. 11
  • 워크숍 심사자들은 유용한 부정적 결과를 근거로 채택을 권고하면서도, 방법론의 근거 보강, 추가 아키텍처 검토, 더 폭넓은 실험 데이터셋을 요구했다.심사자들은 기준 모델 비교와 구성 요소 제거 실험을 높이 평가했으며, 연산자 복잡도가 신경망 용량의 병목임을 강조하고 정규화보다 아키텍처 변경이 더 효과적일 수 있다고 제안했다.출처: §4.2 · p. 12

5. 한계 및 윤리적 고려사항

The AI Scientist-v2는 워크숍 논문 채택을 달성했지만, 워크숍이나 최상위 학회의 기준을 일관되게 충족하지는 못하며 과학적 탐구의 중요한 측면에서도 여전히 어려움을 겪는다. 이 연구는 승인된 동료 심사 절차를 거쳤으며, 저자들은 AI 생성 연구의 오용을 막기 위한 투명성과 연구 공동체 규범을 강조한다.

5. 한계 및 윤리적 고려사항

  • AI가 생성한 투고 논문 3편 중 1편이 워크숍에 채택되었으나, 이는 워크숍 수준의 성능을 일관되게 달성하거나 최상위 학회에 게재할 수준에 도달했음을 입증하지는 못한다.일반적인 워크숍 채택률은 60-80%인 반면, ICLR, ICML, NeurIPS 등 주요 머신러닝 학회의 본 학술대회 트랙 채택률은 20-30%다.출처: §5 · p. 13
  • 구조화된 에이전트 기반 트리 탐색과 강화된 자율성에도 불구하고, 진정으로 새롭고 파급력이 큰 가설 수립, 혁신적인 실험 방법 개발, 설계 선택에 대한 분야 전문가 수준의 근거 제시는 여전히 어렵다.예비적 결과나 점진적 개선을 넘어 학회 수준의 우수한 연구 성과를 일관되게 내기 위해서는 이러한 한계를 극복해야 한다.출처: §5 · p. 13
  • 이 연구는 ICLR 운영진과 워크숍 주최 측의 협조 및 브리티시컬럼비아 대학교의 IRB 승인을 받았으며, 투고 논문은 이후 철회되었다.승인 번호는 H24-02652였다. 주최 측과의 합의에 따라 AI 생성 논문은 OpenReview의 공개 포럼에 게시되지 않는다.출처: §5 · pp. 13–14
  • 저자들은 동료 심사 제도의 악용이나 과학자들의 이력서를 인위적으로 부풀리는 행위를 막기 위해 AI 생성 과학 연구의 투명성과 연구 공동체 규범을 강조한다.편향을 피하기 위해 AI 사용 사실을 공개하기 전에 연구 자체의 가치로 초기 평가를 해야 하는지 등 공개 요건과 시점은 아직 정해지지 않았다.출처: §5 · p. 14

6. 관련 연구

관련 연구는 자동화된 연구 파이프라인, 과학적 아이디어 생성, 연구 엔지니어링 및 분야별 코딩 벤치마크를 포괄한다. 접근법마다 인간의 감독, 실험 수행 여부, 에이전트의 행동과 과학적 이해 중 어디에 중점을 두는지가 다르다.

6. 관련 연구

  • 자동화된 연구 시스템은 종단간 프레임워크부터 인간이 감독하는 워크플로와 실험 수행을 생략하는 파이프라인까지 다양하다.The AI Scientist-v1 (Lu et al., 2024)과 AI-Researcher (Data Intelligence Lab, 2025)는 연구 파이프라인을 자동화하며, Intology (Intology AI, 2025)와 Carl (AutoScience AI, 2025)은 인간의 감독을 포함한다. CycleResearcher (Weng et al., 2025)는 실험 수행을 제외한다. 자율 실험실 프로토콜은 LLM을 사용하지 않거나 보완적으로 활용할 수 있다(Shi et al., 2025).출처: §6 · p. 14
  • Si et al. (2025)의 사람을 통한 평가에서 LLM이 생성한 아이디어는 전문가의 아이디어보다 대체로 더 참신하지만 실현 가능성은 낮았다.GraphEval (Feng et al., 2025)은 그래프 기반 아이디어 평가 방법을 제공하며, 연구 아이디어를 정확히 평가하는 LLM의 능력에 한계가 있음을 부각한다.출처: §6 · p. 14
  • METR Research Engineer 벤치마크(Wijk et al., 2024)에서 2시간 미만 과제는 AI의 우위를 보여준다.MLEBench 와 Aide 는 연구 엔지니어링 작업을 평가한다. 독립적인 평가에서는 완성된 프레임워크도 검토하며, Beel et al. (2025)이 평가한 The AI Scientist-v1이 그 예다.출처: §6 · p. 14
  • SciCode 는 물리학, 화학, 생물학 전반의 과학 프로그래밍을 평가하며, BixBench는 계산생물학 에이전트를 평가한다(Mitchener et al., 2025).SciCode는 각 분야 과학자들이 선별하고 하위 문제로 구조화한 문제를 사용한다. Eger et al. (2025)은 과학 연구 워크플로 전반에서 LLM의 역할과 효과를 검토한다.출처: §6 · p. 14
  • Bengio et al. (2025)은 데이터 이해에 초점을 둔 과학자 AI와 목표 지향적으로 세계와 상호작용하는 에이전트 시스템을 구분한다.산업계의 시도로는 AI Co-Scientist라고도 불리는 Google의 AI Research Copilot (Gottweis et al., 2025)이 있다.출처: §6 · p. 14

7. 결론

The AI Scientist-v2는 템플릿 없는 실험, 에이전트 기반 트리 탐색, VLM 피드백을 결합해 워크숍 동료 심사를 통과하는 논문을 자율적으로 작성한다. 이러한 성과에도 최상위 수준의 품질을 일관되게 달성하고 획기적인 가설을 생성하는 일은 여전히 과제로 남는다.

7. 결론

  • The AI Scientist-v1과 달리, 이 시스템은 사람이 작성한 템플릿을 없애고 실험 관리자 에이전트가 감독하는 에이전트 기반 트리 탐색을 도입하며, 시각화와 논문 개선에 VLM 피드백을 통합한다.이러한 변화는 자율성과 탐색 능력을 높인다.출처: §7 · p. 15
  • The AI Scientist-v2는 주요 머신러닝 학회 워크숍의 동료 심사를 통과한 최초의 완전 AI 생성 논문을 작성했다.저자들은 이 성과를 본 학회의 기준을 충족하는 것과 구분한다.출처: §7 · p. 15
  • 최상위 수준의 품질을 일관되게 달성하고 획기적인 가설을 생성하는 일은 여전히 과제로 남지만, 저자들은 향후 AI 시스템이 인간이 작성한 논문의 품질에 도달하거나 이를 넘어설 것으로 전망한다.저자들은 역량이 지속적으로, 어쩌면 지수적인 속도로 향상될 것으로 예상한다. 이는 입증된 결과가 아니라 전망이다.출처: §7 · p. 15
  • 저자들은 인간의 과학 연구와 비교하기보다 인류에 이로운 발견을 우선시하며, 공개적인 공유와 협력, 발견의 가속화를 강조한다.한계를 극복하고 이러한 시스템의 규모를 확대하면 질병 치료와 우주 이해 같은 목표 달성에 기여할 수 있다.출처: §7 · p. 15

보충 자료 … 여기서 T는 입력 시퀀스의 길이다.

보충 자료는 모델과 탐색 설정, 문헌 기반 연구 제안 개발, 기준 모델 구현, 그래프 작성, 실험에 근거한 결과 보고, 원고와 그림의 반복 검토에 쓰이는 프롬프트를 기술한다. 또한 자율적으로 생성된 워크숍 논문 세 편과 주석이 달린 조합적 정규화 연구를 제시하며, 제안 방법과 한계, 일반화에 유의미한 이점이 없었다는 결과를 다룬다.

A. 하이퍼파라미터

  • 논문 생성의 실행 시간 상한은 15시간이다. Tables 2–3은 모델 구성, 트리 탐색 설정, 실험 진행 과정, 노드 실행 한도를 기록한다.생성에는 문제의 복잡도에 따라 보통 수 시간이 걸리며, 상한까지 소요되기도 한다.출처: A. Hyperparameters · p. 21, Table 2 · p. 21, Table 3 · p. 21

B. 프롬프트

  • 연구 제안 프롬프트는 제공된 코드베이스와 학술 연구실의 자원으로 실현 가능한 독창적인 문헌 기반 아이디어를 요구하고, 이후 품질·독창성·실현 가능성을 재검토하도록 한다.최종 확정 전에 최소 한 번의 문헌 검색이 필요하다. 재검토에는 도구 실행 결과를 반영하되, 중대한 문제가 없으면 원래 아이디어를 유지한다.출처: B. Prompts · pp. 21–23
  • 기준 모델 프롬프트는 정교한 변형을 탐색하기에 앞서 데이터 준비, 모델 학습, 평가, 시각화를 포함하는 단순하고 작동하는 구현을 우선시한다.초기 구현은 연구 아이디어에 기반한 견실한 기준 모델을 구현해야 한다.출처: B. Prompts · p. 23
  • 그래프 작성 프롬프트는 기존 실험 데이터와 정확한 파일 경로를 사용하는 독립 실행형 집계 스크립트를 요구하며, 데이터를 지어내거나 그림을 중복 생성하지 못하도록 한다.그림은 figures/에만 저장한다. 수치는 기존 .npy 파일이나 JSON 요약에서 가져오고, 합성 데이터 그래프는 부록에 배치한다.출처: B. Prompts · pp. 23–25
  • 원고 작성 프롬프트는 ICBINB 워크숍에 맞는 정확한 결과 보고를 요구하며, 부정적이거나 결론이 불분명한 결과도 유효한 기여로 인정하고 교훈과 향후 방향을 강조한다.본문에는 그림을 최대 네 개까지 허용하고 나머지는 부록에 배치하며, 지정된 페이지 제한을 준수해야 한다.출처: B. Prompts · pp. 25–26
  • 원고 수정에서는 LaTeX 점검과 VLM 검토를 결합해 그림·캡션·논의의 일관성을 맞추고, 중복을 제거하며, 그림 선정을 개선한다.가치가 낮은 그림은 부록으로 옮기거나 삭제한다. 내용이 적고 서로 관련된 그림은 합칠 수 있으며, 이에 맞춰 본문을 수정하고 과학적 분석을 강화한다.출처: B. Prompts · pp. 28–29

C. AI 생성 논문

  • 시스템이 전적으로 생성한 원고 세 편을 ICLR 2025 ICBINB 워크숍에 제출했으며, 과학적 평가와 코드 검토 주석을 달아 수록했다.그림 검토 프롬프트는 그림 내용, 캡션, 본문 내 참조와의 연계에 대해 구조화된 JSON 평가를 요청한다.출처: B. Prompts · p. 30, C. AI Generated Papers · p. 31

C.1. Compositional Regularization: Unexpected Obstacles in Enhancing Neural Network Generalization

  • 초기 제안은 사전 정의된 조합적 구조에서 벗어나는 정도에 페널티를 부과하면 새로운 조합으로의 일반화가 향상될 것이라는 가설을 제시했다.계획된 평가에는 SCAN, COGS, IWSLT, GeoQuery, 표현 분석, 정규화 강도별 절제 실험, 다른 접근법과의 비교가 포함됐다. 예상 위험으로는 과제 의존성, 주 과제 정확도 저하, 추가 계산 비용, 조합적 구조 정의의 어려움, 제한된 확장성이 있었다.출처: §C.1 · p. 32

COMPOSITIONAL REGULARIZATION: UNEXPECTED OBSTACLES IN ENHANCING NEURAL NETWORK GENERALIZATION

  • 조합적 정규화는 기준 모델에 비해 학습에서 보지 못한 산술식 조합으로의 일반화를 유의미하게 개선하지 못했다.정규화 여부와 무관하게 산술식의 복잡도가 높아질수록 일반화가 더 어려워졌다.출처: COMPOSITIONAL REGULARIZATION:… · p. 33

1 서론

  • 조합적 일반화는 익숙한 구성 요소의 새로운 조합을 다룬다 (Ito et al., 2022). 한 주석은 MAML 을 인용하는 것이 적절한지 의문을 제기한다.서론은 신경망이 이 능력에서 겪는 어려움을 학습 데이터를 넘어서는 체계적 추론의 한계로 제시한다.출처: §1 · p. 33

학습된 표현에서 특정 속성을 유도한다 (Yin et al., 2023).

  • 정규화는 때때로 학습을 저해했으며, 주석은 산술식의 복잡도 증가가 중첩이 아니라 연산자 추가에 따른 것임을 명확히 한다.원고는 정규화로 조합적 구조를 직접 강제하는 방식이 일반화 향상으로 곧바로 이어지지는 않을 수 있다고 결론짓는다.출처: courage certain properties in the… · pp. 33–34

3 방법

  • 산술 모델은 임베딩층, LSTM층, 출력층을 결합하고, 연속한 은닉 상태 간 차이의 제곱평균으로 정의한 정규화 항을 사용한다.한 주석은 페널티를 부과하는 상태를 더 정확히 정의할 것을 요청하며, 대안으로 임베딩 상태를 제안한다.출처: §3 · p. 34

여기서 T는 입력 시퀀스의 길이다.

  • 학습 목적함수는 예측 평균제곱오차에 λ로 가중한 연속 상태 정규화 항을 더하며, 여러 λ 값을 시험한다.이 페널티는 큰 상태 변화를 억제하고 가산적 표현을 유도하기 위한 것이다.출처: where T is the length of the input… · p. 34, §3 · p. 34

4 실험 … B.1 실험 설정

조합성 정규화는 조합성 손실을 낮췄지만 합성 산술식에서 일반화 성능을 개선하지 못했으며, 연산자 복잡도가 높아질수록 성능이 악화됐다. 추가 절에서는 임베딩 용량을 살펴보고, 한계와 향후 연구 방향을 논의하며, 어텐션을 추가한 LSTM의 실험 설정을 설명한다.

4 실험

  • 정규화를 적용하지 않은 LSTM의 테스트 정확도는 약 84%로 보고됐으며, 조합성 손실은 비교적 일정하게 유지됐다.다만 제공된 Figure 1의 주석은 표시된 정확도가 40%에만 도달한다고 지적하므로, 보고된 최종 정확도는 시각적으로 확인되지 않는다.출처: Figure 1 · p. 35, §4 · p. 35
  • 학습용 수식 1,000개와 학습에 사용하지 않은 테스트 수식 200개로 새로운 숫자–연산자 조합과 높아진 연산자 복잡도에 대한 일반화 성능을 평가했다.모델은 Adam과 평균제곱오차를 사용해 30 에포크 동안 학습했으며, 별도 명시가 없으면 정규화 가중치는 λ = 0.1로 설정했다.출처: §4 · p. 35
  • 정규화 가중치를 높이면 조합성 손실은 감소했지만 테스트 정확도는 개선되지 않았으며, 때로는 오히려 낮아졌다.평가에는 조합성 손실과 테스트 정확도를 사용했으며, 테스트 정확도는 수치 예측값이 허용 오차 범위에 드는 비율로 정의했다.출처: §4 · pp. 35–36
  • 연산자 복잡도가 높아지면 기준 모델과 정규화 모델 모두 일반화 성능이 악화돼, 조합성 정규화만으로는 이 어려움을 해결하지 못했음을 보여준다.Figure 3의 캡션은 학습 및 검증 손실이 증가한다고 설명하지만, 삽입된 주석은 마지막 패널의 정확도 레이블이 표시된 손실과 일치하지 않는다고 지적한다.출처: §4 · pp. 35–36, Figure 3 · p. 36

5 결론

  • 부정적 결과의 가능한 원인으로는 서로 충돌하는 목적함수, 의도에 부합하지 않는 조합성 척도, 합성 데이터셋의 한계가 있다.후속 연구로는 다른 정규화 방식, 조합성 정의의 정교화, 더 복잡한 데이터셋, 재귀적 또는 계층적 모델을 제안한다. 결론에서는 엄밀한 평가와 부정적이거나 결론이 불분명한 결과의 보고도 강조한다.출처: §5 · p. 36

A 임베딩 차원의 영향

  • 임베딩 차원을 늘려도 최종 테스트 정확도가 일관되게 개선되지 않아, 표현 용량 자체보다는 조합적 구조의 포착이 조합적 일반화의 병목일 수 있음을 시사한다.임베딩 차원 16, 32, 64, 128에서 학습 손실 감소 양상과 조합성 손실 추이가 유사했다.출처: A EFFECT OF EMBEDDING DIMENSION · p. 37

B 어텐션 메커니즘 통합

B.1 실험 설정

  • 추가된 어텐션 층은 LSTM 은닉 상태로부터 가중치를 계산하고 문맥 벡터를 구성해 최종 출력 예측에 활용했다.출처: §B.1 · p. 38

B.2 결과 … C.3 드롭아웃의 영향

실험에서는 어텐션, 조합 가중치, 순환 구조, 드롭아웃 전반에 걸쳐 조합적 일반화의 어려움이 지속되었다. 논평에서는 보고된 어텐션 비교 결과에 이의를 제기하고, 조합 가중치에 따른 정확도 그래프만으로 결론을 내리지 않도록 주의를 촉구한다.

B.2 결과

  • 어텐션은 학습 동역학을 소폭 개선했지만 유의미한 일반화 성능 향상은 보고되지 않았다. 이는 더 근본적인 구조적 한계가 있거나 더 정교한 조합 메커니즘이 필요함을 시사한다.저자들은 관련 입력 요소에 집중하기 어렵다는 점이 주된 장애물은 아닐 수 있다고 본다.출처: §B.2 · p. 38
  • 본문은 어텐션과 기준 모델의 테스트 정확도가 비슷하다고 보고하지만, Figure 5의 논평은 어텐션이 기준 LSTM보다 우수하다고 명시한다.이러한 불일치는 어텐션이 조합적 일반화 문제를 해결하지 못한다는 결론에 단서를 붙인다.출처: Figure 5 · p. 38, §B.2 · p. 38

C.1 조합 가중치 절제 연구

  • 조합 가중치가 높아지면 조합 손실은 감소했지만 훈련 손실은 소폭 증가해, 주 학습 목표를 방해할 가능성을 시사한다.이러한 효과는 조합 목적함수의 개선과 주 훈련 목적함수의 개선이 별개임을 보여준다.출처: §C.1 · p. 38, §C.3 · p. 39

C.2 LSTM과 RNN 구조 비교

  • LSTM은 단순 RNN보다 테스트 정확도가 근소하게 높았지만, 둘 다 조합적 일반화에 어려움을 겪었다. 이는 순환 유닛의 선택만으로는 이 문제를 해결할 수 없음을 시사한다.두 모델의 훈련 손실은 유사한 수렴 양상을 보였다.출처: §C.2 · p. 38, §C.3 · p. 39

C.3 드롭아웃의 영향

  • 드롭아웃 비율을 높여도 일반화 성능이 유의미하게 개선되지 않았다. 이는 표준적인 정규화만으로는 조합 구조를 학습하기에 충분하지 않을 수 있음을 시사한다.실험에서는 서로 다른 드롭아웃 비율에서 최종 테스트 정확도를 비교했다.출처: §C.3 · p. 38

C.1 조합 가중치 절제 연구

  • 조합 가중치가 높아지면 테스트 정확도가 감소했다고 보고되었으나, 논평에서는 Figure 7만으로 명확한 결론을 뒷받침할 수 없다고 지적한다.저자들은 이 결과를 조합적 정규화와 주 학습 목표 사이의 충돌로 해석한다.출처: §C.1 · p. 38, Figure 7 · p. 39

D 하이퍼파라미터 및 학습 세부 사항 … THE AI SCIENTIST-V2가 자율 생성

산술 과제 논문 심사에서는 시간적 일관성 정규화의 이점이 확인되지 않았으며, 학습·테스트 데이터 중복, 보고 오류, 제한적인 평가가 지적됐다. 레이블 잡음 원고는 모델 보정을 연구하지만, 주석에서는 실증적 근거와 선행연구를 서술하는 방식에 의문을 제기한다.

C.1.1. AI Scientist 팀 심사; D 하이퍼파라미터 및 학습 세부 사항; 강점; 점수

  • 시간적 일관성 정규화는 다중 과제 산술 성능을 개선하지 못했으며, 드롭아웃을 높여도 조합적 일반화는 개선되지 않았다.심사자들은 산술 과제가 적절하다고 평가하고, 종합 - 워크숍: 5/10 (경계선 채택), 종합 - 학회: 4/10 (경계선 거절)을 부여했다. Figure 9는 드롭아웃 탐색을 설명하는 캡션과 달리 최적 설정만 보여준다.출처: D HYPERPARAMETERS AND TRAINING DETAILS · p. 40, §C.1.1 · p. 41, Strengths · p. 41

데이터셋 생성 과정 점검

  • 덧셈, 곱셈, 숫자 [0-9]를 사용한 데이터셋 생성 10회에서 테스트 예제의 평균 57%가 학습 예제와 중복됐다.각 실행에서는 학습 표본 1,000개와 테스트 표본 200개를 사용했다. 점검 결과는 중복 위험의 원인을 가능한 한 자릿수 수식의 수가 제한적이라는 데서 찾는다.출처: Inspecting the dataset generation… · p. 42

모델 구조, 손실 함수 및 평가 함수; 약점; 추가 의견

  • 코드 점검 결과 정규화는 LSTM 은닉 상태가 아닌 입력 임베딩에 적용되며, 심사자들은 오해를 유발하는 설명, 보고 오류, 불충분한 평가를 지적한다.모델은 임베딩, LSTM 층 하나, 선형 회귀 헤드로 구성된다. 본문 설명과 달리 어텐션이 LSTM보다 우수하며, 캡션과 달리 과제 복잡도가 높아질수록 검증 손실이 증가한다. 심사자들은 여러 과제에서 정규화 기법을 비교하고, 프로브나 임베딩 시각화로 조합적 표현을 직접 검증할 것을 권고한다.출처: Weaknesses · p. 41, Additional Comments · pp. 41–42, Model architecture, loss function, and… · pp. 42–43

어텐션을 추가한 LSTM

  • 어텐션을 추가한 LSTM은 [1-9]와 [10-19]에서 각각 테스트 정확도 100%와 56%를 재현했으며, 기준 LSTM의 정확도는 각각 85%와 0%였다.더 어려운 설정에서는 수식 길이를 3에서 5로 늘리고 출력 공간도 확장했으며, 이 결과는 완벽한 성능이라는 당초 인상을 약화했다.출처: Attention-augmented LSTM · p. 44

C.2.1. The AI Scientist-v2의 아이디어; 1 서론; 2 관련 연구

  • 레이블 잡음 연구 제안은 잡음이 있는 레이블이 보정을 왜곡하는지 살펴보며, 정확도뿐 아니라 Expected Calibration Error와 완화 기법도 평가한다.문헌 논의는 온도 스케일링 (Kull et al., 2019)과 보정을 고려한 학습 (Huang et al., 2023)을 다룬다. 예상 한계로는 모델·데이터셋 의존성, 작은 테스트셋에서 얻은 보정 추정치의 낮은 신뢰성, 합성 잡음과 실제 잡음 간의 불완전한 대응을 제시한다.출처: §C.2.1 · p. 45, §1 · p. 46, §2 · p. 47

UNVEILING THE IMPACT OF LABEL NOISE ON MODEL CALIBRATION IN DEEP LEARNING; 1 서론

  • 레이블 잡음 원고는 과신, 비대칭 잡음에서의 보정 악화, 제한적인 완화 효과를 주장하지만, 주석에서는 근거에 의문을 제기하고 실험의 깊이와 독창성을 부각하는 방식도 문제 삼는다.주석은 실증적 근거의 부재를 명시적으로 지적하고, 레이블 잡음하의 보정 연구가 부족하다는 주장에 이의를 제기하며, 명료성을 위해 불확실성 추정 용어를 빼도록 권고한다.출처: §1 · pp. 46–47, UNVEILING THE IMPACT OF LABEL NOISE ON… · p. 46

3 연구 방법

  • ResNet-18 (He et al., 2015)을 사용해 CIFAR-10, MNIST, Fashion-MNIST에 10%에서 50%의 합성 대칭 및 비대칭 레이블 잡음을 적용했다.대칭 잡음은 레이블을 다른 클래스로 균등한 확률로 바꾸는 반면, 비대칭 잡음은 사전에 정의한 혼동 행렬을 따른다. 주석에서는 데이터셋과 참고문헌의 잘못된 대응 관계를 지적하고, 생성된 신뢰도 다이어그램이 원고에서 누락되었음을 명시한다.출처: §3 · pp. 47–48

THE AI SCIENTIST-V2가 자율 생성; E 추가 참고 사항; D 하이퍼파라미터 및 학습 세부 사항

  • 표준 교차 엔트로피 손실과 모멘텀을 적용한 확률적 경사 하강법으로 100 에포크 동안 학습했으며, 배치 크기는 128, 초기 학습률은 0.1이었다.50 및 75 에포크에서 학습률에 0.1을 곱해 감소시켰다. 레이블 잡음하에서의 효과를 평가하기 위해 사후 온도 스케일링 (Kull et al., 2019)을 적용했다.출처: AUTONOMOUSLY GENERATED BY THE AI… · p. 48

4 실험 및 결과 … A 추가 실험 및 그림

기본 CNN은 레이블 노이즈 환경에서 ResNet-18과 유사한 정확도를 달성한 것으로 보고되었으나, 주석은 보정 관련 주장을 정정하고 노이즈 완화 효과에 대한 근거 부족을 지적한다.

4 실험 및 결과

  • 비대칭 노이즈에서 ECE는 일관되게 악화되지 않고, 처음에는 증가했다가 이후 감소하는 비단조적 양상을 보였다.주석에 따르면 노이즈 비율 0.4 이후에 감소하며, 보고된 ECE는 0.35가 아니라 0.23 또는 0.24로 정정된다.출처: §4 · p. 48
  • 레이블 노이즈가 증가하면 대칭 및 비대칭 오염 모두에서 CIFAR-10 테스트 정확도가 낮아졌다.그림 주석은 대칭 노이즈 조건의 초기 정확도를 85%가 아닌 약 75%로 정정한다. 실험에서는 단계적 감소가 아니라 코사인 어닐링을 사용했다.출처: §4 · p. 48, Figure 1 · p. 48
  • 비대칭 노이즈에서 ECE가 증가했지만, MNIST에서는 높은 노이즈 수준에서도 90% 초과의 정확도가 유지되었다.분석을 MNIST와 Fashion-MNIST로 확장했으나, 주석은 데이터셋 간 해석이 비대칭 노이즈에 해당하며 대칭 노이즈 결과에 대한 논의가 필요하다고 지적한다.출처: §4 · p. 48

표준 레이블 노이즈 완화 기법이 보정 성능을 개선하는지 평가했다. 구체적으로,

  • 기본 CNN은 대칭 및 비대칭 레이블 노이즈 환경에서 여러 데이터셋에 걸쳐 ResNet-18과 유사한 테스트 정확도를 보였다.Figure 3은 ECE가 아니라 최종 테스트 정확도를 제시하므로, CNN의 보정 성능이 더 나쁘다는 원고의 주장을 뒷받침하지 못한다.출처: Figure 3 · p. 49, We evaluated whether standard label… · p. 49
  • 온도 스케일링은 ECE를 소폭만 낮춘 것으로 보고되었으나, 인용된 그림에는 이를 뒷받침할 온도 스케일링 결과가 없다.따라서 기존 완화 기법이 불충분하다는 원고의 더 포괄적인 주장은 해당 그림으로 입증되지 않는다.출처: We evaluated whether standard label… · p. 49

5 논의

  • 논의에서는 보정을 고려한 목적함수(Huang et al., 2023)와 노이즈에 강건한 보정을 제안하지만, 주석은 노이즈 완화 관련 주장을 뒷받침할 실험이 빠져 있음을 지적한다.이러한 방향은 위험에 민감한 응용 분야에서 신뢰할 수 있는 예측을 목표로 하며, 입증된 개선이 아니라 제안이다.출처: §5 · p. 49

6 결론

  • 결론은 레이블 노이즈로 인한 보정 오류를 신뢰할 수 있는 불확실성 추정의 과제로 지목하고, 노이즈 환경에 맞춘 보정 목적함수나 방법이 필요하다고 제언한다.비대칭 노이즈에서의 확률 추정은 과도하게 확신하며 신뢰하기 어렵고, 기존 완화 기법에 따른 개선은 제한적이라고 설명한다.출처: §6 · p. 49

A.1 잡음률 민감도 분석 … 4 실험 설정

이 절에서는 레이블 잡음, 해충 탐지, 다중 데이터셋 연구를 통해 모델 성능과 일반화를 살펴보고, 환경 변화에 대한 취약성, 데이터 준비의 한계, 동료 심사의 비판을 함께 다룬다. 다중 데이터셋 실험은 EuroSAT, MedMNIST, CIFAR-10을 사용하며, 평가 지표는 정확도, 손실, ERS다.

C.2.2. AI Scientist 팀 검토 / 강점 / A.1 잡음률 민감도 분석 / A.2 보정 곡선과 신뢰도 다이어그램

  • MNIST, Fashion-MNIST, CIFAR-10 모두에서 비대칭 레이블 잡음이 대칭 잡음보다 높은 기대 보정 오차를 유발했다.CIFAR-10에서는 잡음이 증가할수록 테스트 정확도가 하락했으며, 비대칭 잡음에서 하락 폭이 더 컸다. ECE는 학습 중 증가했고, 특히 잡음률이 높을 때 두드러졌다. 과신의 근거로 언급한 신뢰도 다이어그램은 제시하지 않았다.출처: §A.1 · p. 50, Figure 5 · p. 51, §A.2 · p. 51

점수 / C.2.4. 워크숍 심사평

  • 팀의 종합 - 워크숍 점수는 3/10 (거절)이었으며, 워크숍 심사자 두 명 모두 평점: 3: 명백한 거절을 부여했다.심사자들은 실험과 과신 주장 사이의 연관성에 의문을 제기하고, 더 정교한 잡음 주입과 폭넓은 평가 지표를 요구했다. 참고문헌 누락과 읽기 어려운 그림도 제출 원고가 미완성이라는 인상을 주었다.출처: Scores · p. 53, §C.2.4 · p. 57

온도 스케일링 / 약점 / 추가 의견 / A.4 추가 데이터셋

  • 온도 스케일링은 구현했지만 전혀 사용하지 않아, 원고의 보정 기법 관련 주장을 실제 수행한 실험으로 뒷받침하지 못했다.점검 결과는 초기 계획과 사용하지 않은 코드가 원고 작성에 영향을 주었음을 시사한다. SVHN에서 보정 성능이 저하되었다고 주장했지만, 보정 기법의 결과, 신뢰도 다이어그램, SVHN 그림은 없었다. 중복 그림, Figure 2의 낮은 가독성, 관련 연구를 경시하는 서술도 논문의 완성도를 떨어뜨렸다.출처: §A.4 · p. 52, Weaknesses · p. 53, Additional Comments · p. 54

평가 함수 / 데이터셋 클래스

  • 확률 입력 처리 방식을 맞춘 뒤, ECE 구현은 미세한 수치 차이를 제외하면 norm=‘l1’인 torchmetrics의 MulticlassCalibrationError와 일치했다.기준 함수가 확률을 입력으로 받으므로 비교 시 softmax를 생략했다. 데이터셋 클래스에는 처음에 대칭/비대칭 잡음 선택 기능이 없었으나 이를 수정했다. 비대칭 잡음은 클래스 i를 클래스 (i+1) % NUM CLASSES로 결정적으로 매핑했다.출처: Evaluation function · pp. 55–56, Dataset class · p. 55

C.3.1. The AI Scientist-v2의 아이디어 / 2 관련 연구

  • 해충 탐지 연구 제안은 데이터 품질, 환경 변동성, 모델의 한계를 다루었으나, 데이터셋을 수동으로 다운로드하고 규모를 축소해야 했다.계획된 실험은 데이터 품질, 강건성, 환경 변화, 실패 분석과 완화 방안을 다뤘다. 연구자들은 Kaggle 데이터셋을 수동으로 다운로드하고 십분의 일만 남겼으며, 더 폭넓은 데이터 준비 자동화는 향후 과제로 남겼다. 관련 연구에서는 도메인 적응(Prasad & Agniraj, 2024; Li et al., 2023a)을 논의했으며, Teixeira et al. (2023)과 Hu (2023)은 실제 환경에서의 일반화를 강조했다.출처: §C.3.1 · p. 58, §2 · p. 60

REAL-WORLD CHALLENGES IN PEST DETECTION USING DEEP LEARNING: AN INVESTIGATION INTO FAILURES AND SOLUTIONS / 1 서론

  • 낮은 학습률은 해충 탐지 모델의 일반화 성능을 개선했지만 환경 강건성은 여전히 낮았으며, 다중 데이터셋 학습과 도메인 적응은 연산 비용을 늘린 반면 개선 효과는 일관되지 않았다.원고는 이를 부정적이고 결론을 내리기 어려운 결과로 제시했으며, 주로 환경 변동성과 이미지 잡음을 살펴보았다. 한 주석은 잡음이 있는 이미지를 이용한 도메인 적응 실험이 해충 탐지를 직접 다루는지 의문을 제기했다.출처: REAL-WORLD CHALLENGES IN PEST… · p. 59, §1 · p. 59

3 방법론 / 4 실험 설정

  • ImageNet으로 사전학습한 ResNet-18을 약 2,500장의 해충 이미지 부분집합으로 미세조정하고, Environmental Robustness Score (ERS)로 강건성을 평가했다.실험 설정은 70%/15%/15% 분할, 다섯 가지 학습률, 학습률별 10 에포크, Adam, 배치 크기 32, 테스트 시 밝기·대비·흐림·아핀 변형을 명시했다. ERS는 까다로운 조건에서의 정확도를 정상 조건에서의 정확도로 나눈 값이다. 탐색적 학습에는 EuroSAT, MedMNIST, CIFAR-10을 사용했으나, 주석에서는 후자의 두 데이터셋을 농업 도메인으로 간주하는 데 이의를 제기했다.출처: §3 · p. 60, §4 · p. 60

4 실험 설정

  • 다중 데이터셋 학습 실험은 EuroSAT, MedMNIST, CIFAR-10을 사용해 모델 일반화에 미치는 영향을 살펴보았다.모델들은 유사한 학습 설정을 사용했으며, 정확도, 손실, ERS로 평가했다.출처: §4 · p. 60

5 실험 및 결과 … 보충 자료

ResNet-18 실험에서는 더 낮은 학습률이 유리했으며, 정확도와 환경 강건성 점수(ERS)는 데이터셋에 따라 달랐다. 논의와 결론에서는 하이퍼파라미터 조정만으로 환경 변동성과 도메인 간 차이를 해소할 수 없음을 강조한다.

5 실험 및 결과

  • 학습률 1e−4와 5e−4에서는 더 매끄러운 수렴과 더 안정적인 ERS를 보였으며, Figure 1은 낮은 학습률에서 검증 정확도가 더 높았음을 보여준다.이 실험은 Crop Pest and Disease 데이터셋에서 ResNet-18을 사용했으며, 강건성에 관한 주장은 시험한 조건과 ERS 정의의 범위로 한정된다. 높은 학습률에서는 손실이 불안정하고 ERS가 변동했으나, 본문에 삽입된 주석은 과적합이 더 심했다는 주장에 이의를 제기한다.출처: §5 · p. 60, Figure 1 · p. 61
  • EuroSAT과 CIFAR-10 모델은 높고 안정적인 훈련 및 검증 정확도를 달성한 반면, MedMNIST의 정확도는 변동했다.실험에서는 하나의 모델을 여러 데이터셋으로 공동 훈련하지 않고, 각 데이터셋에서 별도의 모델을 훈련했다. 본문에 삽입된 주석은 MedMNIST의 적응 어려움을 해충 탐지에 직접 일반화하는 데 이의를 제기한다.출처: §5 · p. 61, §6 · p. 62
  • 시험한 환경 조건 증강에서 EuroSAT과 CIFAR-10 모델은 더 높고 안정적인 ERS를 유지한 반면, MedMNIST는 낮고 불안정한 ERS를 보였다.이 비교는 시험 중 적용한 환경 조건 증강에 대한 강건성을 다루며, 모든 실제 환경 조건에서의 강건성을 입증하는 것은 아니다.출처: §5 · pp. 61–62, Figure 3 · p. 62
  • 이 연구는 다중 데이터셋 훈련과 도메인 적응이 연산 요구량을 늘리고 일관되지 않은 성능 향상을 초래할 수 있다고 경고한다.이는 제시된 난점이며, 제공된 결과에서 정량화한 연산량 비교는 아니다.출처: §5 · pp. 61–62

6 논의

  • 하이퍼파라미터 최적화만으로는 실제 환경에서의 강건성을 확보하기에 부족했으며, 데이터셋에 따른 성능 차이는 데이터셋 선택과 도메인 적응의 난점을 드러냈다.논의에서는 MedMNIST의 낮은 성능을 큰 도메인 변화가 학습을 저해하고 과적합을 촉진하며 강건성을 낮출 수 있다는 근거로 해석한다.출처: §6 · p. 62
  • 논의에서는 데이터 품질 문제와 환경 변동성에 대응하기 위해 현실적인 데이터 증강, 강건한 훈련 방법, 도메인별 모델 조정을 제안한다.이 전략들은 필요할 수 있는 개선책으로 제안되었으며, 제공된 실험에서 입증된 해결책은 아니다.출처: §6 · p. 62

7 결론

  • 결론에서는 실제 환경의 변동성에 강한 해충 탐지 시스템 개발을 위해 데이터셋 호환성과 적응 가능한 아키텍처를 우선해야 한다고 강조한다.다중 데이터셋 훈련의 이점은 데이터셋 호환성에 달려 있다고 명시하며, 적응성을 고려해 설계한 아키텍처를 권장한다.출처: §7 · p. 62

A 추가 그림 및 상세 결과 … 환경 노이즈 구현

보충 결과에서 EuroSAT과 CIFAR-10은 안정적으로 학습했으나 MedMNIST의 학습은 불안정했다. 심사자들은 이 결과가 해충 예측과 어떤 관련이 있는지, 실제로 여러 데이터셋을 함께 학습했는지에 의문을 제기했다. 코드 검토에서는 환경 증강과 강건성 점수 계산을 확인했으나, 시도했던 도메인 적응이 최종 선택된 구현에서는 빠졌음을 확인했다.

A 추가 그림 및 상세 결과; 적용됨.

적용됨.

  • 학습은 30에포크, 배치 크기 64로 설정했으며, 검증 손실이 5에포크 연속 개선되지 않으면 조기 종료했다.모델은 PyTorch 1.9.0, ImageNet 사전 학습 ResNet-18, β1 = 0.9와 β2 = 0.999로 설정한 Adam을 사용했다. 본문 내 정정에서는 가중치 감쇠를 인쇄된 1e−4가 아닌 0.01로 명시했다.출처: A ADDITIONAL FIGURES AND DETAILED… · p. 63, applied · p. 64

C.3.2. AI Scientist 팀 검토; 강점

  • 팀 검토에서는 이 연구를 해충 예측 연구로 규정하고 워크숍 적합성을 높이 평가했으며, 학습 및 분포 외 증강의 효과가 데이터셋에 따라 달라진다는 점을 강조했다.검토 요약에서는 학습률 비교와 모의 환경 조건에 기반한 환경 강건성 점수(Environmental Robustness Score)를 설명했다.출처: Strengths · p. 65, §C.3.2 · p. 65

약점

  • 심사자들은 증강 실험만으로 도메인 적응, 해충 예측으로의 전이, 실제 다중 데이터셋 학습을 입증하기에는 부족하다고 판단했다.학습률 분석은 자명한 수준으로 평가되었으며, 보고된 실험에서는 데이터셋마다 별도 모델을 학습했다.출처: Weaknesses · p. 65

점수

  • 전체 평가 - 워크숍은 3/10 (거절)이었으며, 전체 평가 - 학회는 2/10 (강한 거절), 확신도는 4/5였다.타당성은 2 보통, 서술은 1 미흡, 기여도는 1 미흡으로 평가되었다. 검토에서는 결론을 뒷받침할 근거가 부족하다고 판단했다.출처: Scores · p. 65

추가 의견

  • 추가 의견에서는 인용 누락, 낮은 학습률에서의 과적합에 관한 오해의 소지가 있는 결론, 별도 모델 실험을 다중 데이터셋 학습으로 잘못 명명한 점을 지적했다.윤리 강령 위반 가능성은 확인되지 않았다.출처: Additional Comments · p. 65

C.3.3. AI Scientist 팀 코드 검토; 도메인 적응 및 다중 데이터셋 학습

  • 도메인 판별자를 사용한 시도가 실패한 뒤, 최종 선택된 오류 없는 구현에서는 도메인 적응과 다중 데이터셋 공동 학습을 제외했다.실패한 버전은 도메인 판별자 손실을 사용해 세 데이터셋 전체에서 단일 모델을 학습했다.출처: Domain Adaptation and Multi-dataset… · p. 66

환경 노이즈 구현

  • ERS는 까다로운 조건에서의 정확도를 정상 조건에서의 정확도로 나눈 값이다. 코드 검토에서는 이 계산과 테스트 시 환경 증강을 모두 확인했다.교란에는 ColorJitter의 밝기 및 대비 계수 0.5, GaussianBlur의 커널 크기 3, RandomAffine의 최대 15도 회전과 최대 10% 평행 이동을 사용했다.출처: applied · p. 63, Environmental noise implementation · p. 66, Figure 13 · p. 67

C.3.4. 워크숍 심사평

해충 탐지 논문의 심사평은 게재 권고 1건과 거절 권고 2건으로 갈렸다. 심사자들은 연구 동기와 잠재적 기여를 인정했으나, 실험의 정당성, 강건성 측정 방식, 실제 환경에서의 일반화 근거에 의문을 제기했다.

심사자 #1

  • 논문은 ImageNet으로 학습한 ResNet-18을 Crop Pest and Disease 데이터셋에 미세 조정한 실험에서, 낮은 학습률과 EuroSAT 및 CIFAR-10을 이용한 학습이 일반화를 개선한다고 주장한다.실험에서는 데이터 증강으로 실제 환경 조건을 모사하고, 정확도, 손실, Environmental Robustness Score (ERS)로 성능을 측정한다.출처: §C.3.4 · pp. 67–68
  • 심사자는 단 5개 학습률과 10 에포크 동안 학습한 모델에 근거한 실제 환경 일반화 및 강건성 주장에 의문을 제기하며, 실제 배포 환경에서의 평가가 없다고 지적했다.또한 증강 방식과 ERS를 선택한 근거에 의문을 제기하고, 데이터셋마다 클래스 수가 달라 다중 데이터셋 학습 방식이 불명확하다고 보았다. 부족한 실험 세부 정보와 근거가 결론의 설득력을 제한했으며, 게재 반대 판단의 근거가 되었다.출처: §C.3.4 · p. 68

심사자 #2

  • 심사자 #2는 해충 탐지 모델의 약점을 드러내고 완화하는 전략으로서 하이퍼파라미터 튜닝과 다중 데이터셋 학습을 분석한 점을 긍정적으로 평가했다.다만 환경 변동성과 도메인 간 차이가 여전히 남아 있음을 지적하고, 해충 탐지 관련 문헌을 추가로 검토할 것을 권고했다.출처: §C.3.4 · pp. 68–69

심사자 #3

  • 심사자 #3은 ERS가 불균형 데이터셋에서 강건성을 잘못 추정할 수 있으며, 학습·테스트·검증의 세부 정보가 누락되어 잠재적 편향을 평가할 수 없다고 경고했다.또한 학습률과 증강에 관한 가설의 근거가 부족하고, 데이터셋 설명이 불완전하며, ResNet-18 선택이 정당화되지 않았다고 보았다.출처: §C.3.4 · p. 69

심사자 #1 및 #3

  • 심사평은 연구 동기를 높이 평가하면서도 이론적 근거 강화, 그림의 가독성 개선, 참고문헌 오류 수정, 원고 전반에 걸친 증강 기반 평가 전략의 명확한 설명을 요구했다.최신 딥러닝 모델과의 비교, 증강 대신 실제 데이터셋이나 생성 모델을 활용하는 방안이 권고되었다. 또한 ERS 점수 산출에 학습 데이터와 검증 데이터 중 무엇을 사용했는지 명확히 밝히고, 누락된 데이터셋 참고문헌을 보완할 것을 요청했다.출처: §C.3.4 · pp. 68–69

Related papers

Loading 2504.08066v1…