AI 요약 · 영어에서 AI 번역
Reading.help: Supporting EFL Readers with Proactive and On-Demand Explanation of English Grammar and Semantics
Sunghyo Chung, Hyeon Jeon, Sungbok Shin, Md Naimul Hoque
TL;DR
온라인 강좌는 EFL 독자가 읽는 과정에서 필요로 하는 상황에 맞는 지원을 제공하지 못하며, 사전도 오해를 파악하는 데 한계가 있다. 이 논문은 읽기 난도 감지에 어휘·문법·맥락 설명을 결합한 Reading.help를 개발하고 평가한다. 독자들은 주로 복잡한 텍스트를 이해하고 독해 지원을 받는 데 이 도구를 사용했다.
문제
독학하려는 EFL 독자는 온라인 강좌에서 필요할 때 상황에 맞는 지원을 받기 어렵고, 사전으로도 오해의 소지를 파악하는 데 한계가 있다.
출처: §1 · p. 2방법
Reading.help는 읽기 난도 감지에 어휘·문법·맥락 설명을 결합한 도구로, 한국인 EFL 독자 15명과 함께 개선하고 독자 다섯 명과 교육 전문가 두 명을 대상으로 평가했다.
출처: §1 · p. 2결과
독자들은 주로 복잡한 텍스트를 이해하고 독해 지원을 받는 데 Reading.help를 사용했다.
출처: §1 · p. 2시사점과 한계
EFL 읽기 도구는 읽기 속도 향상만으로 성과를 측정하기보다, 학습에 도움이 되는 노력을 유지하고 독립성의 향상을 평가해야 한다.
출처: §8.2 · p. 14상세한 문법 설명은 참가자들에게 과도한 부담을 주었고, 이후 참가자들은 해당 설명 영역을 더 이상 참고하지 않았다.
출처: §8.2 · p. 14
Abstract
from arXiv · showhide
A large portion of texts is written in English, but readers who see English as a Foreign Language (EFL) often struggle to read texts accurately and swiftly. EFL readers seek help from professional teachers and mentors, which is limited and costly. In this paper, we explore how an intelligent reading tool can assist EFL readers. We conducted a case study with EFL readers in South Korea. We at first developed an LLM-based reading tool based on prior literature. We then revised the tool based on the feedback from a study with 15 South Korean EFL readers. The final tool, named Reading.help, helps EFL readers comprehend complex sentences and paragraphs with on-demand and proactive explanations. We finally evaluated the tool with 5 EFL readers and 2 EFL education professionals. Our findings suggest Reading.help could potentially help EFL readers self-learn English when they do not have access to external support.
1 서론
Reading.help는 어려운 부분을 탐지하고 선제적 또는 요청 기반 설명을 제공해 대학 교육을 받은 EFL 독자가 영어를 독립적으로 해석하도록 돕는다. 한국에서 수행한 사례 연구를 바탕으로 도구를 개선하고 독해 지원 효과와 한계를 평가했다.
1 서론
- 영어 읽기는 학업·직업·사회적 맥락 전반에서 중요하지만, 정규 교육은 비용이 높고 접근하기 어려울 수 있다.정규 교육을 받은 학습자도 교실 밖의 고급 어휘나 문화적 참조 표현을 충분히 접하지 못할 수 있다.출처: §1 · p. 2
- 기존 자율 학습 자료는 상황에 맞는 지원이 부족하다. 온라인 강좌는 요청 시 도움을 제공하지 못하고, 사전은 잠재적 오해를 파악하는 데 제한적인 도움만 준다.전략적인 번역 활용은 이해와 학습을 도울 수 있지만, 전문 번역은 번역 의존도를 높이고 어휘나 구문을 직접 살펴보는 노력을 줄일 수 있다.출처: §1 · p. 2
- Reading.help는 영어 텍스트를 독립적으로 해석하려는 대학 교육을 받은 EFL 독자를 위해 어려운 부분 식별 모듈과 설명 모듈을 결합한다.특화된 해석 가능한 신경망 모델 두 개가 어려운 단어와 문장을 탐지하며, 설명은 어휘·문법·전체 맥락을 다룬다.출처: §1 · p. 2
- LLM이 자동으로 식별되거나 독자가 직접 강조 표시한 텍스트를 설명하고, 보조 LLM이 설명을 평가하고 다듬는다.설명 모듈은 독자에게 세부 정보로 부담을 주지 않으면서 핵심 내용을 전달하도록 간결한 문단 요약도 생성한다.출처: §1 · p. 2
- Reading.help가 차원별로 요소 세 개를 추천했을 때 평균 재현율 87%가 보고되었으며, 독자들은 주로 복잡한 텍스트를 이해하는 데 도구를 활용했다.LLM의 자체 검증은 잘못된 의미를 탐지하는 데 사람과 비슷한 성능을 보였지만, 누락된 요소를 비롯한 다른 문제를 식별하는 데는 여전히 한계가 있었다.출처: §1 · p. 2
- 한국인 EFL 독자 15명이 참여한 예비 연구를 바탕으로 도구를 개선한 뒤, EFL 독자 5명과 영어 교육 전문가 2명이 참여한 평가를 진행했다.평가에서는 Reading.help의 효과와 독자들이 어떤 도움을 받았는지 살펴보았다.출처: §1 · p. 2
2 배경 및 관련 연구
Reading.help는 선제적 설명과 요청에 따른 설명으로 어휘, 문법, 독해의 어려움을 해소하며, 기존 읽기 도구의 부족한 EFL 학습 지원을 보완한다. 지능형 읽기·쓰기 관련 연구는 NLP 휴리스틱과 LLM 기반 설명을 결합하는 근거가 된다.
2.1 EFL 읽기의 어려움
- Hirsch 는 유창성, 어휘의 폭, 분야 지식을 독해력에 기여하는 상호의존적 요인으로 제시한다.제한된 어휘력은 앞서 읽은 내용과 현재 읽는 내용을 연결하는 데 지연을 초래하며, 부족한 분야 지식은 독자가 부적절한 심적 모형을 구성하게 할 수 있다.출처: §2.1 · p. 2
- 텍스트의 복잡성 과 읽기 전략 활용의 어려움 은 어휘, 문법, 독해를 통합적으로 지원할 필요성을 뒷받침한다.복잡한 문법, 긴 문장, 맥락 추론의 어려움은 오독이나 읽기 속도 저하로 이어질 수 있다. 제안 도구는 요청에 따른 도움과 선제적 추천을 모두 제공한다.출처: §2.1 · p. 2
2.2 지능형 읽기 도구
- 기존 도구는 Marvista [10]와 CReBot 을 통한 독해 질문, Kori [44]를 통한 차트와 텍스트의 연결, 시선 기반 이해 곤란 감지 를 제공한다.다른 시스템은 훑어읽기(SCIM [16]), 핵심어 강조, 통계표 해석(Statslator)을 지원한다. 안구 운동 연구는 주의 이탈도 예측한다.출처: §2.2 · p. 3
- Reading.help는 선제적 어려움 감지, 요청에 따른 문법·맥락 설명, 독자의 신뢰 향상을 위한 검증으로 영어 학습 도구의 기능을 확장한다.저자들은 기존 읽기 도구에서 영어 구문과 의미 학습에 대한 지원이 부족하다고 지적한다.출처: §2.2 · p. 3
3 설계 요구사항
저자들은 반복적 설계 과정을 채택하고, 먼저 Reading.help-Lite를 개발해 접근법의 강점과 한계를 평가했다. 초기 요구사항은 선제적·요청 기반 설명, 단계별 상세 정보, 숙련도에 따른 지원, 시각적 안내를 포함한다.
DR1 선제적 안내와 요청 기반 안내
- 어려울 수 있는 텍스트에 대해 선제적 안내를 제공하고, 독자가 요청하면 도움을 제공한다.선제적 안내는 간과하기 쉬운 복잡한 부분 이나 독자가 잘못 해석할 수 있는 텍스트 에 주의를 유도할 수 있다.출처: §3 · p. 3
DR2 어휘, 문법, 의미 설명
- 낯선 어휘, 복잡한 문법 구조, 텍스트 구간의 핵심 주제와 주요 요점을 설명한다.이러한 설명은 텍스트 이해를 도와야 한다.출처: §3 · p. 3
DR3 세부 내용 탐색
- 피드백을 계층적으로 구성하고, 먼저 개괄적 요약을 제시한 뒤 독자가 세부 내용을 살펴볼 수 있게 한다.이 구조는 제한된 화면 공간에 지식과 정보를 담을 수 있어야 한다.출처: §3 · p. 3
DR4 사용자 중심의 적응형 지원
- 독자마다 다른 영어 숙련도에 맞춰 피드백을 조정한다.독자들은 정규 교육 수준과 사회적 환경에서 영어를 접한 정도가 다를 수 있다.출처: §3 · p. 3
4 Reading.help-lite
Reading.help-Lite는 어휘·문법·내용 이해에서 어려울 만한 부분을 제안하고 독자가 선택한 텍스트의 설명을 요청할 수 있는 초기 LLM 기반 시제품이다. 최종 도구 설계에 반영할 예비 사용자 연구를 위해 개발되었다.
4.1.1 작업 흐름.
- Reading.help-Lite는 업로드한 텍스트에서 어휘·문법·내용 이해의 어려움을 분석하고, 어려울 것으로 제안한 부분을 색상으로 구분한 상자에 표시한다. 사용자는 상자를 열어 설명을 볼 수 있다.어휘 분석은 낯선 단어와 구를 식별하고, 내용 이해 분석은 지문의 맥락을 고려하며, 문법 분석은 문법적 문제를 다룬다.출처: §4.1.1 · p. 4, Figure 2 · p. 4
4.1.2 사용자에게 제공하는 상세 설명.
- 상세 설명은 한국어 번역을 곁들인 문맥에 맞는 뜻풀이, 지문 수준의 의미와 대안 표현, 구 단위 문법 분석을 제공한다.내용 이해 설명은 핵심 내용을 글머리 기호로 제시하고, 선택한 텍스트가 지문에서 전달하려는 바를 설명한다. 문법 설명은 개별 핵심 단어가 구 안에서 수행하는 기능을 설명한다.출처: §4.1.2 · p. 4, §4.1 · p. 4
4.1.3 추가 기능.
- 독자는 주제별 전문 어휘 강조 표시를 켜거나 끄고, 마우스를 올려 뜻풀이를 확인하며, 도구가 추천하지 않은 텍스트의 어휘·문법·내용 이해 분석을 직접 요청할 수 있다.설명은 독자의 영어 숙련도에 따라 달라진다.출처: §4.1.3 · pp. 4–5
4.2.1 설명 제공용 템플릿.
- GPT-4o의 설명 생성 프롬프트는 영어 교사 역할, 사용자의 영어 숙련도, 선택한 텍스트, 전체 지문, 과제 지침, 지정된 응답 형식을 결합한다.반복적인 프롬프트 설계에서는 역할 부여, 간결한 템플릿, 프롬프트 연쇄를 위한 정확한 키워드, 전역 변수와 과제별 변수를 활용해 예측하기 어렵거나 장황한 응답에 대응한다.출처: §4.2 · p. 5, §4.2.1 · p. 5
4.2.2 추천용 템플릿(Help).
- 별도의 추천 템플릿은 역할, 숙련도, 지문 맥락, 선택한 텍스트, 추천 지침, 엄격히 지정된 출력 형식을 사용해 내용 이해·문법·어휘 관련 추천을 생성한다.이를 통해 어려울 만한 부분을 추천하는 과정과 설명을 생성하는 과정을 분리한다.출처: §4.2.2 · p. 5, §4.2 · p. 5
4.3 구현 세부 사항
- 초기 LLM 기반 시제품은 예비 사용자 연구를 지원하며, 연구 기간에는 AWS에 호스팅된 Next.js 풀스택 웹 애플리케이션으로 실행된다.저자들은 접근성과 분석 능력을 고려해 LLM을 선택했다. Next.js는 백엔드 데이터 관리와 라우팅도 담당한다.출처: §4 · pp. 3–4, §4.3 · p. 5
5 예비 연구
예비 연구에서는 Reading.help-Lite의 효과를 평가하고 개선점을 도출했다. 참가자들은 도구의 도움을 긍정적으로 평가했으나, 신뢰성, 독해 지원 범위, 설명의 접근성, 사용성 측면의 한계를 지적했다.
5.1 연구 세부 사항
- 영어 교육자 3명을 포함한 한국인 학위 소지 EFL 독자 15명이 TOEFL 독해 과제와 면담을 통해 Reading.help-Lite를 평가하고 개선점을 도출했다.약 60분간 진행된 세션에는 약 200–250단어 분량의 지문을 활용한 5분 과제 4개가 포함됐다. 세 문항으로 구성된 숙련도 검사 결과에 따라 LLM이 쉬운 설명을 제공할지 결정했다.출처: §5.1 · pp. 5–6, §5 · p. 5
5.2 결과
- 지문당 평균 어휘 설명 4.2회, 독해 설명 2.1회, 문법 설명 0.9회를 요청해 어휘 지원을 가장 자주 이용했다.참가자들은 ‘help’ 버튼을 1.6회 사용한 반면, 선택한 텍스트에 대한 구체적인 설명은 1.2회 요청했다.출처: Figure 3 · p. 6, §5.2 · p. 6
- 참가자들은 Reading.help-Lite가 자신의 실력 향상에 도움이 된다고 평가했으며, 오류 없는 응답을 기대하지는 않았지만 모두 LLM의 제안이 유익했다고 보고했다.참가자의 9/15는 독해 모듈을, 8/15는 어휘 모듈을 선호했다. 독해 설명은 문장의 의도와 지문 맥락을 바탕으로 복잡한 문장을 해석하는 데 도움이 됐다.출처: §5.2 · p. 6
5.3 교훈
- 참가자들은 응답의 신뢰성과 어려운 단어 탐지 기능에 의문을 제기했고, 직접 선택한 텍스트를 넘어 문서 전체에 대한 안내를 필요로 했으며, 패널 사용과 의미가 설명되지 않은 인터페이스 색상에 어려움을 겪었다.선택 기반 지원은 사용자가 이해하지 못한 부분을 스스로 파악할 수 있다고 전제했으나, 일부는 어디에서 도움을 구해야 할지 확신하지 못했다. 이러한 한계를 바탕으로 도구를 개선했다.출처: §5.3 · p. 6
- 참가자의 12/15는 문법 설명의 도움이 미미했다고 보고했으며, 설명의 장황함은 사용자에게 부담을 주었다. 쉽게 풀어 쓴 응답도 숙련도가 낮은 일부 독자에게는 여전히 어려웠다.TOEFL로 평가한 영어 숙련도가 낮은 사용자 4/15는 응답이 지나치게 장황하고 이해하기 어렵다고 느꼈다. 참가자들은 짧고 간결한 문법 설명을 제안했다.출처: §5.3 · p. 6, §5.2 · p. 6
6 Reading.help: 개선 버전 · 6.1 해석 가능한 CEFR 예측 모델
Reading.help는 해석 가능한 단어·문장 CEFR 예측 모델로 투명성과 난이도 조정 문제를 해결한다. 두 모델 모두 평균 F1과 정확도에서 GPT-4o를 능가하며 추론도 더 빠르다.
6 Reading.help: 개선 버전 · 6.1 해석 가능한 CEFR 예측 모델
- Reading.help는 CEFR 에 기반한 해석 가능한 단어·문장 수준 예측 모델을 도입해, 예비 연구에서 제기된 불투명한 추천과 불명확한 난이도 문제를 해결한다.CEFR는 A1부터 C2까지 여섯 숙달도 수준을 제공해 추천에 표준화된 난이도 기준을 부여한다.출처: §6.1 · pp. 6–7, §6 · p. 6
6.1.1 어휘 복잡도 추정기.
- 어휘 복잡도 추정기는 빈도, 글자 수, 다의성, Qwen3-0.6B [72] 임베딩으로 단어의 CEFR 수준을 예측한다.임베딩은 단어와 품사가 포함된 프롬프트의 최종 은닉 상태를 평균해 얻는다. 특징별 전담 전문가 네트워크의 출력을 입력 의존적 가중치 네트워크에 전달하고, 가중치가 적용된 표현을 합산해 분류한다.출처: §6.1.1 · p. 7
6.1.6 모델 평가.
- 제안한 추정기는 단어 수준 평균 F1에서 65.2% 대 51.8%, 문장 수준 평균 F1에서 75.0% 대 59.6%로 GPT-4o보다 우수하다.모델과 GPT-4o의 전체 정확도는 단어에서 64.8% 대 52.9%, 문장에서 87.4% 대 64.0%였으며, 그룹화 정확도는 각각 71.1% 대 62.3%, 89.7% 대 69.9%였다. GPT-4o는 문장 수준 F1에서 C2에 한해서만 앞섰다. 평가에서는 주석으로 부여된 두 CEFR 레이블 중 어느 쪽을 예측해도 정답으로 인정했다.출처: Table 1 · p. 8, §6.1.6 · p. 8
6.1.2 문장 가독성 추정기.
- 문장 가독성 추정기는 단어 수, 단어당 평균 음절 수, Qwen3 문장 임베딩을 사용하며, 전문가 네트워크 세 개와 동일한 가중치 부여·융합·분류 방식을 적용한다.문장 수준 특징 선택은 선행 연구 [4] [53]에 기반한다.출처: §6.1.2 · p. 8
6.1.3 해석 가능성.
- 동적 게이팅 가중치는 각 CEFR 예측에 어떤 언어적 특징이 기여했는지 설명한다.단어·문장 예측을 활용해 사용자가 선택한 CEFR 임계값으로 추천을 걸러낸다. 사용자는 CEFR 판정에 대한 설명을 요청할 때 수준별 확률과 특징별 기여도 막대그래프를 확인할 수 있다.출처: Figure 4 · p. 7, §6.1.3 · p. 8, Figure 5 · p. 9
6.1.4 모델 학습.
- 두 예측 모델은 PyTorch에서 종단 간 학습하며, Qwen3 임베딩에 LoRA 적응을 적용하고 여러 레이블이 부여된 사례에는 CEFR 레이블별 독립적인 이진 분류를 수행한다.학습에는 BCEWithLogitsLoss, 배치 크기 64, 학습률 2e-4, AdamW [51]를 사용하며, NVIDIA A100 GPU 한 대에서 10 에포크 동안 학습한다.출처: §6.1.4 · p. 8
6.1.5 데이터셋.
- 문장 데이터는 CEFR-SP [4]의 SCoRE와 WikiAuto를 결합하고, 단어 데이터는 CEFR-J, Octanove Vocabulary Profile [17], Oxford 5000 을 결합한다.문장 평가는 CEFR-SP에 미리 정의된 분할을 사용하고, 단어 데이터는 학습/평가용으로 90%/10% 분할한다. 여러 출처에 중복된 단어–품사 항목의 CEFR 수준이 두 단계 이상 차이 나면 해당 항목을 제외한다.출처: §6.1.5 · p. 8
6.1.7 추론 효율성.
- 제안한 모델의 추론 시간은 단어 수준에서 0.05 s 대 0.611 s, 문장 수준에서 0.052 s 대 0.592 s로, GPT-4o보다 각각 약 12×, 11× 빠르다.이 평균값은 배치 크기 1에서 NVIDIA A100 GPU 한 대를 사용한 로컬 추론과, 동일한 클라이언트 기기에서 측정한 GPT-4o의 종단 간 API 왕복 지연 시간을 비교한 결과다.출처: §6.1.7 · p. 8
6.2 자동 요약
Reading.help는 문단별로 대응하는 요약을 자동 생성해 EFL 독자가 핵심 내용을 파악하도록 돕는다. 요약의 상세 수준을 조절할 수 있으며, 각 요약은 원문에 직접 연결된다.
6.2 자동 요약
- 문서를 업로드하면 짧은 요약이 자동으로 표시되어, 독자가 문단을 자세히 읽기 전에 주제문과 핵심 주장을 먼저 파악할 수 있다.이 기능은 글 이해도 향상이라는 DR2에 대응한다.출처: §6.2 · p. 9
- 각 요약은 원문 문단에 연결되어, 훑어읽기와 재검토 중 맥락 전환을 줄이고 국소적 일관성을 유지한다.출처: §6.2 · p. 9
- 독자는 요약 전환 기능으로 간결한 주제문 안내와 상세 정보 중 하나를 선택해 지원 수준을 조절할 수 있다.출처: §6.2 · p. 9
6.3 검증
Reading.help는 두 번째 LLM으로 생성된 설명의 근거성, 관련성, 언어적 정확성을 검증한다. 검증은 명시적인 신뢰 판단 단서를 제공하지만 모든 오류를 없애지는 못한다.
6.3 검증
- 문법 설명 생성에는 LLM을 계속 사용하며, 식별 결과의 해석 가능성을 높이기 위한 CEFR 모델과 함께 신뢰성 확보를 위한 검증 절차를 추가한 설계다.생성 능력 때문에 LLM은 여전히 필요하다.출처: §6.3 · p. 9
- 두 번째 LLM은 생성된 어휘 설명, 독해 주석, 문법 분석이 선택한 텍스트에 근거하는지, 요청한 지원 유형에 부합하는지, 언어적으로 정확하고 모순이 없는지 확인한다.선택한 구간이나 문단을 기준으로 근거성을 확인한다.출처: §6.3 · p. 9
- 검증기는 유효/무효 판정과 간략한 판단 근거를 반환하며, 검증된 항목에는 눈에 보이는 UI 표시가 붙는다.두 LLM을 사용하는 방식은 약간의 지연을 더하고 신뢰 판단 단서를 명시적으로 제공하지만, 모든 오류를 없애지는 못한다.출처: §6.3 · p. 9
6.4 UI 및 사용성 개선
Reading.help의 개편된 인터페이스는 난이도와 요약의 상세도를 조절해 다양한 숙련도 수준을 지원하며, 선제적 안내와 요청 시 설명을 함께 제공한다. 문법 설명도 간결하게 줄이고 두 번째 LLM의 검증 여부를 표시한다.
6.4 UI 및 사용성 개선
- 독자는 추천 CEFR 수준 중 목표 난이도를 선택하고 상세 요약과 간결한 요약을 전환할 수 있다.이러한 조절 기능으로 인터페이스를 다양한 숙련도 수준에 맞출 수 있다.출처: §6.4 · pp. 9–10
- 선택한 구간의 어휘, 문맥 이해, 구 단위 문법에 대한 요청 시 설명 기능을 유지한다.어휘 지원은 정의, 관용 표현, 용법, 한국어 뜻을 포함한다. 이해 지원은 전체 문맥에서 선택한 텍스트의 중심 내용을 분석한다.출처: Figure 6 · p. 10, §6.4 · p. 10
- 인터페이스는 어려울 만한 단어와 문장을 추천하고, 색상 강조로 문법, 어휘, 이해를 구분한다.노란색은 문법, 파란색은 어휘, 보라색은 이해를 나타낸다. 해당 항목을 조작하면 CEFR 수준 표시가 나타나며, 마우스를 올리면 예측 난이도에 가장 크게 기여한 특성을 보여 주는 작은 기여도 차트가 표시된다.출처: §6.4 · p. 10
- 업로드한 문서에는 문단별로 대응하는 짧은 요약이 자동으로 생성되어 왼쪽 고정 사이드바에 표시된다.독자가 요약을 일일이 요청하지 않아도 선제적으로 안내한다.출처: §6.4 · p. 10
- 초록색 아이콘은 두 번째 LLM이 검증한 응답을 나타내며, 마우스를 올리면 검증 근거를 확인할 수 있다.문법 모듈에도 설명을 짧게 유지하도록 지시해 장황함을 줄인다.출처: §6.4 · p. 10
6.5 시스템 구조 및 구현
Reading.help는 웹 인터페이스와 단어·문장별 CEFR 수준을 추정하고 LLM 설명을 생성하는 백엔드로 구성된다. 처리 파이프라인은 숙련도에 따라 읽기 지원 대상을 선별하고, 보조 LLM으로 설명을 검증한다.
6.5 시스템 구조 및 구현
- Reading.help는 웹 인터페이스와 백엔드로 구성되며, 백엔드는 Lexical Complexity Estimator로 단어별 CEFR 수준을 추정하고 Sentence Readability Estimator로 문장별 수준을 추정한다.두 추정 모델은 문서가 업로드될 때 실행된다.출처: §6.5 · p. 10
- FastAPI로 제공되는 PyTorch 기반 추정 모델은 토큰과 문장을 배치 추론하여 지연 시간을 줄이고, 사용자의 목표 CEFR 수준을 넘는 항목만 표시한다.파이프라인은 문서를 문단, 문장, 토큰으로 분할한 뒤 예측 결과를 원문 구조에 맞게 재조합한다. 선별 기준으로는 사용자가 선택한 수준이나 사용 이력에서 추론한 기본 수준을 사용한다.출처: §6.5 · p. 10
- 보조 검증 LLM은 주 LLM이 생성한 후보 설명을 확인하고 타당성 판단과 근거를 반환하며, 인터페이스는 이를 지표와 열람 가능한 근거로 표시한다.검증 모델은 context_paragraph, selected_span, component_type, explanation을 입력받아 valid와 rationale 필드를 담은 JSON 객체를 반환한다. 저자들은 이 검증이 완벽하지 않음을 인정한다.출처: §6.5 · p. 10
7 평가
Reading.help는 어휘 검색과 문장 이해를 지원했으며, 전문가들은 설명 대부분이 타당하다고 평가했다. CEFR 기반 추천에서는 포괄성과 선별성 간 상충 관계가 나타났고, 교육 전문가들은 개인화, 학습 동기, 정확성 검증을 남은 과제로 지적했다.
7.1 EFL 독자 대상 연구
- 한국에서 교육받은 EFL 독자 5명은 먼저 도움 없이 읽으며 어려운 부분을 표시한 뒤, Reading.help로 같은 지문을 다시 읽었다.참가자들은 학부생 이상이었고 영어 관련 전공자가 아니었다. 읽기 자료는 소설 발췌문 2편, Economist 기사 2편, 딥러닝 논문 1편으로 구성했다. 도움 없이 30분간 읽은 뒤, 5분간 사용법을 안내받고 도구를 20분간 사용했으며, 이후 사후 면담에 참여했다.출처: §7.1 · p. 11
7.2 결과
- 참가자 5명은 어려운 텍스트 구간 101곳을 표시했으며, 어휘 모듈을 가장 많이 사용했고 이해 모듈과 문법 모듈이 그 뒤를 이었다.이해 설명은 핵심 용어와 문장 맥락을 제공했고, 문법 설명은 모호한 해석을 명확히 했다. 참가자 2명은 문단 요약 덕분에 글을 더 빠르게 읽고 내용을 따라갈 수 있었다고 응답했다.출처: §7.2 · p. 11
- ≥C1의 평균 F1 40.82%는 ≥B2의 30.38%보다 높았으며, 평균 재현율이 낮아지는 대신(47.97% 대 87.64%) 평균 정밀도가 높아졌다(37.77% 대 18.47%).읽기 자료 5편에서 토큰 기반 Jaccard 유사도가 0.3을 초과하면 추천 구간과 사용자가 표시한 구간이 일치한다고 보았다. ≥B2 기준은 포괄성을, ≥C1 기준은 선별성을 우선했다.출처: Table 3 · p. 12, §7.2 · p. 12
- CEFR 기준 필터링은 과도한 추천을 줄였지만, 추정 수준이 추천 기준 이하인 드문 형태, 관용구, 맥락에 따라 달라지는 의미를 놓쳤다.>B2 기준은 B2로 분류된 신조어나 축약어, B1 관용구, 비전형적 의미로 쓰인 B2 단어를 제외했다. CEFR 수준이 낮아도 혼동을 유발하는 단어에 대응하기 위해 의미를 구분하는 단서가 제안되었다.출처: §7.2 · p. 12
- Reading.help 응답을 평가한 전문가들은 어휘 88%, 이해 93%, 문법 90%가 타당하다고 판단했다.영어 전문가 3명이 사례 300개를 평가했다. 문제가 있다고 표시된 어휘 번역 8개 중 6개는 의미가 같은 한국어 의역이었고, 2개는 완전히 틀렸다. 이해 설명의 오류는 텍스트를 넘어선 추론과 관련되었고, 문법 설명의 오류는 품사를 잘못 판단한 경우가 많았다.출처: §7.2 · pp. 12–13, Table 6 · p. 13
- LLM 자체 검증에서는 어휘 93%, 이해 97%, 문법 96%가 타당하다고 판단했으며, 이해 설명에서 전문가 판단과 가장 높은 일치도를 보였다.정밀도, 재현율, F1은 타당한 응답을 양성 클래스로, 전문가 판단을 정답으로 삼아 산출했다. 오류 진단은 어휘 응답의 한국어 번역 누락을 제외하면 전문가 평가와 대체로 일치했다.출처: Table 6 · p. 13, §7.2 · p. 13, Table 5 · p. 13
7.3 전문가 의견
- 교육 전문가들은 이해도 향상, 선제적 추천, 부담 없이 제한 없이 질문할 수 있다는 점, 영어 숙련도에 맞춘 설명을 높이 평가했다.영어 교육 전문가 2명이 의견을 제공했다. 이들은 텍스트의 세부 내용과 전체 구조를 모두 이해하도록 돕는 지원과 학습자가 스스로 인식하지 못할 수 있는 어려움을 드러내는 추천을 강조했다.출처: §7.3 · p. 13
- 전문가들은 학습 동기에 대한 의존, 개인화 부족, 정확성 검증의 어려움을 남은 한계로 지적했다.이들은 동기가 낮은 사용자를 위한 추가 추천과 시각적 강조, 더 세밀한 숙련도 평가, 더 정교한 맞춤형 설명을 제안했다. 교사들은 생성된 내용을 끊임없이 검증하지 않고도 도구를 사용하기를 원했다.출처: §7.3 · p. 14
8 논의
논의에서는 Reading.help의 사용 양상과 추천 결과가 선제적 지원의 필요성을 뒷받침한다고 해석하면서도, 내용 검증에 관한 우려를 짚는다. 학습에 필요한 노력과 주의 집중을 유지하고, 교사를 대체하기보다 보완하는 간결한 적응형 지원을 제안한다.
8.1 결과의 시사점
- 400단어 분량의 지문당 5회에서 6회의 어휘 검색과 한두 차례의 내용 이해를 위한 도움 요청은 읽기에 상당한 노력이 필요함을 보여주며 선제적 안내의 필요성을 시사한다.독자들은 문법 설명과 문단 요약도 때때로 참고했다.출처: §8.1 · p. 14
- B2 ≥ 설정에서는 재현율 87.64%를 달성했으며, 소수의 항목만 추천했을 때는 정밀도가 약 37.77%였다.저자들은 독자가 모를 수 있는 정보를 더 많이 포착하도록 추천 범위를 넓히는 방식을 선호한다. 사람의 추천과의 일치도와 응답의 사실성은 여전히 검증이 필요한 사안이다.출처: §8.1 · p. 14
8.2 EFL 학습을 위한 적응형 지원 설계
- 적응형 지원은 설명과 피드백을 개인화하되 기본적으로 간결하게 제공하고, 요청이 있을 때만 추가 내용을 보여주어야 한다.축적된 학습자 역량 정보를 바탕으로 어휘·문법·이해 지원을 개인화하면 읽기 속도와 자신감을 높일 수 있다. 참여자들은 상세한 문법 설명에 부담을 느껴 이후에는 이를 참고하지 않았다.출처: §8.2 · p. 14
- 읽기 보조 도구는 학습에 도움이 되는 노력과 시행착오를 유지하고 숙련도가 높아질수록 지원을 줄여야 하며, 읽기 속도뿐 아니라 자립성 향상으로도 성과를 측정해야 한다.저자들은 ‘노력 없이는 성과도 없다’는 원칙 에 따라, 반복해서 접한 용어에는 힌트를 제공하지 않거나 안내를 점진적으로 줄이는 방식을 제안한다.출처: §8.2 · p. 14
8.3 EFL 독자의 학습 참여 전략
- 학습 참여 설계에서는 과제에 부합하는 흥미 유발 단서와 방해 없는 몰입을 비교하고, 주의를 끌기 위해 경쟁하기보다 학습에 주의를 집중시켜야 한다.주의를 끄는 것이 반드시 이해 향상으로 이어지지는 않으므로 흥미 유발 단서는 드물게 제시해야 한다. 방해 없는 환경에서는 인간 튜터처럼 적시에 맞춤형 설명을 제공할 수 있다. 향후 평가에서는 안내 수준 조정, 개입 간격, 검증 문제를 다루면서 두 전략을 비교해야 한다.출처: §8.3 · p. 14
8.4 대체가 아닌 보완: 영어 읽기 교육에서 LLM의 역할
- LLM 보조 도구는 언제든 이용할 수 있는 적응형 지원과 교수 활동 지원으로 교사를 보완하되, 인간의 책임과 격려, 사회적 상호작용, 교사와 학습자의 주도성을 유지해야 한다.구상된 보조 도구는 학습자의 어려움을 감지하고 이해도 확인 문항을 생성·채점할 수 있다. 특히 초급자나 자기효능감이 낮은 학습자에게 동기를 부여하고 상황에 맞게 돌보는 데 교사는 여전히 필수적이다.출처: §8.4 · p. 15
9 결론
Reading.help는 LLM과 해석 가능한 신경망으로 EFL 읽기를 지원한다. 실험에서는 CEFR 기반 추천이 효과적이었으며, LLM의 내용 정확성 검증 능력에는 한계가 나타났다.
9 결론
- Reading.help는 EFL 독자를 효과적으로 지원하도록 예비 연구를 거쳐 Reading.help-Lite를 개선한 도구다.이 도구는 LLM과 해석 가능한 신경망을 사용한다.출처: §9 · p. 15
- CEFR 모델은 EFL 독자가 알지 못하는 텍스트 부분을 효과적으로 추천했다.출처: §9 · p. 15
- LLM은 내용의 오류 여부를 검증하는 데 제한된 능력을 보였다.출처: §9 · p. 15