Scim: Intelligent Skimming Support for Scientific Papers

Raymond Fok; Hita Kambhamettu; Luca Soldaini; Jonathan Bragg; Kyle Lo; Andrew Head; Marti A. Hearst; Daniel S. Weld

Source-linked AI summary

Scim: Intelligent Skimming Support for Scientific Papers

Raymond Fok, Hita Kambhamettu, Luca Soldaini, Jonathan Bragg, Kyle Lo, Andrew Head, Marti A. Hearst, Daniel S. Weld

arXiv:2205.04561v32022년 5월 9일cs.HC

TL;DR

연구자들은 과학 논문을 검색과 읽기 사이에서 훑어볼 때 더 나은 지원이 필요하다. Scim은 자동화된 faceted·균등 분포·설정 가능한 하이라이트를 사용하며, 연구 결과 정보 탐색 시간을 줄이면서 높은 수준의 이해를 지원하는 것으로 나타났다. 특히 내용이 조밀하거나 익숙하지 않은 논문에서 효과적이었다.

문제
연구자들은 과학 논문 훑어보기를 지원하는 intelligent interfaces가 필요하다. 훑어보기는 검색과 읽기 사이에 놓인 과업으로, 문헌이 증가하는 상황에서는 수행하기 어렵다.
방법
Scim은 formative research와 함께 콘텐츠 유형별로 faceted되고, 논문 전반에 분포하며, 전역 및 국소 수준에서 configurable한 자동 하이라이트를 결합한다.
결과
Scim은 과업의 지각된 난이도를 바꾸지 않으면서 정보 탐색 시간을 줄였고, diary-study 참여자들은 조밀한 텍스트와 익숙하지 않은 영역에서 유용하다고 평가했다.
시사점 및 한계
연구 결과는 intelligent highlighting이 과학 문헌을 빠르게, 높은 수준에서 훑어보는 일을 지원할 수 있음을 시사한다.
시사점 및 한계
하이라이트는 하나의 경로만 제공하며, 더 개인화된 제어와 보완적 지원 없이는 훑어보기의 다른 sensemaking 측면을 다루지 못한다.

Abstract

from arXiv · show

Researchers need to keep up with immense literatures, though it is time-consuming and difficult to do so. In this paper, we investigate the role that intelligent interfaces can play in helping researchers skim papers, that is, rapidly reviewing a paper to attain a cursory understanding of its contents. After conducting formative interviews and a design probe, we suggest that skimming aids should aim to thread the needle of highlighting content that is simultaneously diverse, evenly-distributed, and important. We introduce Scim, a novel intelligent skimming interface that reifies this aim, designed to support the skimming process by highlighting salient paper contents to direct a skimmer's focus. Key to the design is that the highlights are faceted by content type, evenly-distributed across a paper, with a density configurable by readers at both the global and local level. We evaluate Scim with an in-lab usability study and deployment study, revealing how skimming aids can support readers throughout the skimming experience and yielding design considerations and tensions for the design of future intelligent skimming tools.

1 서론

Scim은 하이라이트의 중요도, 내용 다양성, 분포를 균형 있게 조정하면서 독자가 하이라이트 밀도를 제어할 수 있도록 하는 과학 논문 스키밍용 지능형 인터페이스다. 형성 연구와 평가를 통해 Scim이 더 빠른 정보 탐색과 실제적인 스키밍을 지원하는 것으로 나타났으며, 향후 어시스턴트를 위한 방향도 제시한다.

동기: Scim은 확장되는 과학 문헌을 빠르게 검토하려는 연구자들의 요구에 대응하며, 논문 검색과 심층 독해 사이에 지능형 스키밍을 위치시킨다.스키밍은 논문 내용을 더 빠르지만 개략적으로 이해하게 하며, 어렵다는 점에도 불구하고 디지털 출판의 확산과 함께 더욱 널리 사용되었다.
형성 연구: 형성 인터뷰, 관찰, 프로토타입 연구를 통해 효과적인 스키밍 하이라이트는 다양하고 중요한 내용을 포괄하면서 논문 전반에 고르게 분포되어야 한다는 점이 밝혀졌다.독자들은 하이라이트의 양과 분포에도 영향력을 행사하기를 원했으며, 이는 구절의 중요도와 바람직한 하이라이트 분포 사이의 긴장을 드러냈다.
Scim 설계: Scim은 목표, 참신성, 방법, 결과를 서로 다른 색상으로 하이라이트하고, 이를 논문 전체에 분포시키며, 독자가 전역 및 국소 수준에서 하이라이트의 양을 제어할 수 있게 한다.이 설계는 중요하고 다양하며 고르게 분포된 내용 사이의 균형을 맞추는 동시에 하이라이트의 양과 분포에 영향을 주고자 하는 독자의 요구를 반영한다.
평가: 실험실 사용성 연구에서 Scim은 표준 문서 리더보다 요청된 정보를 유의하게 더 빠르게 찾도록 했으며, 노력과 정확도는 비슷한 수준이었다.이 연구는 독자가 논문에서 특정 종류의 정보를 검색하는 능력을 조사했다.
평가: 2주간의 다이어리 연구는 실제 사용 환경에서 Scim을 조사하고 향후 개선점을 제안했으며, 여기에는 이후 하이라이트를 위한 배경 강조와 저자의 활자상 강조 통합이 포함된다.이러한 결과는 자동 하이라이트만을 넘어 지능형 스키밍 어시스턴트의 설계 공간을 확장한다.

2 관련 연구

선행 연구는 skimming을 빠르고 목표 지향적인 읽기로 규정하며, 특히 scientific paper에서는 인지적·신체적으로 부담이 크다고 본다. 기존 지원 방식에는 scrolling adaptation, typographical cue, scientific-paper augmentation, summary가 포함되지만, summary는 신뢰성이 낮을 수 있고 전체 paper에 대한 interactive access가 부족하다.

Skimming과 읽기 과정: Skimming은 연구자가 관련 정보에 우선순위를 두고 관련 없는 정보는 건너뛰면서 전반적인 이해를 추구하는 빠르고 목표 지향적인 읽기다.디지털 paper의 증가하는 규모로 효율적인 skimming의 필요성이 커졌다.
Skimming과 읽기 과정: Skimming은 독자가 문장 전반에 걸쳐 mental model을 구축하고 통합해야 하므로 인지적으로 부담이 크며, 안구 운동의 한계로 인해 빠른 시선 배치를 지속하는 것도 신체적으로 부담이 된다.독자는 일반적으로 텍스트에서 목표와 관련된 정보를 식별하는 데에도 부정확하다.
Skimming과 읽기 과정: Scientific-paper skimming은 대체로 성급하고 불완전하며, 독자는 시각적 콘텐츠와 section header에 주의를 기울이는 동시에 document structure, typographical cue, visualization을 활용해 빠르게 이해한다.이러한 macro- 및 microstructure는 빠른 읽기 중 정보 탐색을 돕는다.
Skimming 지원 도구: Reading-support system은 contextual information, linked text와 visualization, interactive document feature를 통해 scrolling, attention allocation, typographical cueing, scientific-paper exploration을 확장해 왔다.Content-aware system은 콘텐츠의 순서를 바꾸거나 크기를 조정하고 heading과 figure를 고정했으며, highlighting system은 주의를 집중시키고 retention을 향상할 수 있다.
Summarization과 Augmented Reading: Summary는 전체 paper를 skimming하는 것보다 짧은 대안을 제공하지만, automated version은 여전히 오류가 많고 hallucination에 취약하며, 단독으로는 신뢰하기 어렵고 전체 paper의 interactive exploration을 지원할 수 없다.Augmented reading interface는 독자의 목표와 관심이 변하더라도 source에 대한 access를 유지한다.

3 설계 목표

학술 독자를 대상으로 한 형성적 인터뷰, 관찰, 프로토타입 평가를 통해 지능형 하이라이트 기반 훑어보기 인터페이스를 위한 일곱 가지 설계 목표를 도출했다. 이 목표들은 기존 관행을 다양하고 정확하며 고르게 분포된 하이라이트로 보완하는 동시에 주의를 분산시키는 요소를 줄이고 사용자 제어와 개인화를 지원하는 데 초점을 둔다.

형성적 연구: 여덟 명의 학술 독자를 대상으로 한 형성적 연구와 반복적인 프로토타입 평가를 통해 지능형 하이라이트 기반 훑어보기 인터페이스의 일곱 가지 설계 목표를 도출했다.독자들이 논문을 훑어보며 자신의 목표, 전략, 어려움을 설명하는 모습을 관찰했으며, 두 번째 저자와의 논의 및 검토를 통해 주제를 검증했다.
설계 목표: 하이라이트는 독자의 기존 훑어보기 관행을 보완하고, 기법 학습, 선행 연구와의 연계, 연구 방향 탐색, 높은 수준의 이해 확보를 포함한 다양한 목표를 지원해야 한다.독자들은 자신의 목표, 논문, 친숙도에 따라 형성된 전략을 사용했으며, 초록, 서론, 기여점, 결과 요약, 결론을 자주 참고했다.
설계 목표: 하이라이트는 기존의 서두와 결말 중심 읽기 전략이 놓칠 수 있는 긴 중간 절의 중요한 내용으로 독자를 유도해야 한다.독자들은 때때로 심층 읽기로 전환했으며, 중요한 내용은 문단 중간에 나타나기도 했다.
설계 목표: 인터페이스는 시각적 방해를 최소화하고, 논문 전체에 충분한 하이라이트를 제공하며, 하이라이트를 서론이나 결론에만 집중시키지 않고 넓게 분포해야 한다.형성적 연구에서는 대략 문단당 하나의 하이라이트를 경험칙으로 제안했으며, 독자를 방해하지 않으면서 주의를 끄는 효과는 하이라이트 기법마다 달랐다.
설계 목표: 다각화된 하이라이트는 높은 정확도를 요구한다. 분류 오류가 독자의 주의를 분산시키고 도구에 대한 신뢰를 낮추기 때문이다.독자들은 결과 부분이 방법으로 표시되는 것처럼 수사적 범주가 자신의 예상과 어긋날 때 이를 알아차렸다.
설계 목표: 독자가 지능형 하이라이트에 익숙해지면서 달라지는 편안함을 고려해, 훑어보기 도구는 사용자 제어, 개인화, 그리고 변화하는 편안함을 지원해야 하며, 이에 따라 종단적 평가가 필요하다.독자들은 하이라이트의 양이나 내용을 수동 또는 적응적으로 조정하기를 원했으며, 시간에 따라 편안함이 변한다는 점에서 종단적 일기 연구가 하나의 동기를 얻었다.

4 SCIM

Scim은 색상으로 구분되고 분산된 하이라이트를 통해 중요한 구절로 주의를 유도함으로써 scientific paper의 skimming을 지원한다. 독자는 전체 수준이나 문단 내부에서 하이라이트 밀도와 콘텐츠 초점을 조정할 수 있으며, 주석과 연결된 구절 목록을 통해 탐색과 맥락 파악을 지원받는다.

하이라이트: Scim은 독자가 그렇지 않으면 지나칠 수 있는 문단 내용까지 확장되는 하이라이트를 통해 핵심 구절로 주의를 유도한다.독자는 평소의 제목, 초록, 부분별 검토 전략과 함께 Scim의 하이라이트를 따라갈 수 있다.
하이라이트: 하이라이트는 독자의 서로 다른 skimming 목표를 지원하도록 네 가지 색상 구분 범주—Objective, Novelty, Method, Result—로 세분화된다.네 가지 facet taxonomy는 coarse-grained abstract-classification schema [14]와 Argumentative Zoning 의 NOV_ADV category를 결합한다.
하이라이트: Scim은 주의를 거의 분산시키지 않는 직사각형 하이라이트를 사용하고, 예측을 후처리해 논문 전체에 하이라이트가 대략 균등하게 분포되도록 한다.일관된 facet 색상과 범례는 학습된 연상을 형성하도록 설계되었으며, 분포는 하이라이트가 없는 구절에 대한 독자의 우려를 해소한다.
컨트롤: Paper-level facet sliders를 사용하면 독자가 하이라이트 밀도를 변경하거나 콘텐츠 유형을 비활성화할 수 있고, paragraph-level controls는 더 많거나 적은 하이라이트에 빠르게 접근하게 한다.Slider를 변경하면 하이라이트, 스크롤바 마커, 하이라이트 수가 갱신되며, 문단 수준 컨트롤은 results section과 같은 긴 구절을 더 면밀히 skimming하도록 지원한다.
탐색: 스크롤바 주석은 어디를 skim할지 보여주고 논문 구조를 암시하며, 동적으로 갱신되는 사이드바는 section별로 하이라이트된 구절을 나열하고 각 구절을 맥락으로 연결해 원래 위치로 돌아가게 한다.구절 목록의 색상 막대는 facet을 나타내며, 구절을 클릭하면 context linking을 통해 논문이 해당 위치로 스크롤된다.

5 구현

Scim은 PDF parsing, facet classification, weak supervision, heuristic highlight selection을 interactive web application으로 결합한다. 문장 classifier는 20편의 NLP 논문에서 annotator-annotator F1 score 0.725에 대해 F1 score 0.533을 달성했다.

Facet classification: classifier는 BERT를 pretrained MiniLM으로 대체하고 최대 512단어 또는 10문장의 context를 사용하여 Cohan et al.’s [14] sequential model을 조정한다.처음에는 manually labeled CSAbstruct dataset [14]으로 fine-tuning되었다.
문서 처리와 분류: Scim은 PDF를 bounding boxes와 metadata를 포함한 문장으로 parsing한 뒤, fine-tuned language model을 사용해 문장을 facet으로 classify한다.MMDA는 tokens, mathematical symbols, section headers, metadata를 추출하며, sentence labels는 이후 prioritization을 위해 section과 paragraph 정보를 유지한다.
Highlight selection과 interface: Scim은 facet predictions와 probabilities를 section-consistency 및 논문 전반에 highlights를 분산시키는 distribution heuristics와 결합해 highlights를 선택한다.interface는 기존 PDF markup도 보존하며, pdf.js 위에 interactive React components로 highlights, sidebars, controls를 구현한다.
Weak supervision: Weak supervision은 heuristic 및 keyword labeling functions를 사용해 3,051편의 논문에서 606,400개의 unlabeled sentences로 training을 확장했다.abstracts와의 sentence similarity를 사용해 negative examples를 추가했으며, 경험적으로 선택한 cosine-similarity threshold 0.25 미만의 문장을 irrelevant로 처리했다.
예비 평가: classifier는 20편의 NLP 논문에서 얻은 test set에 대해 annotator-annotator F1 score 0.725와 비교해 F1 score 0.533을 달성했다.NLP 경험이 있는 annotators 3명이 각 논문에 label을 부여했으며, 최소 2명이 선택한 문장들로 ground truth를 구성했다.

6 연구 1: 실험실 내 사용성 연구

실험실 내 사용성 연구에서 정보 탐색 과제를 사용해 Scim과 표준 문서 리더를 비교했다. Scim은 정답이 highlights에 나타날 때 특히, 정확도나 지각된 난이도를 유의하게 변화시키지 않으면서 답변 시간을 줄였다.

방법: 피험자 내 연구에서 세 가지 과제를 사용해 Scim과 표준 리더를 비교하고, NLP 논문 독자 19명을 대상으로 시간, 정확도, 지각된 난이도를 측정했다.Task 2 질문의 답은 Scim highlights 안에 있었지만 Task 3 질문의 답은 그렇지 않았으며, 인터페이스와 논문 순서는 counterbalanced했다.
결과: 답이 Scim highlights에 나타난 경우, 참가자는 표준 리더 사용 시 127.3s에 비해 93.8s가 걸렸으며, 이는 유의한 차이였다.이 Task 2 차이는 유의했다 (F(1, 54) = 4.84, p < .05).
결과: Scim은 표준 리더와 비교해 질문에 답하는 시간을 전체적으로 117.7s에서 94.3s로 유의하게 줄였다.전체 차이는 유의했다 (F(1, 126) = 4.17, p < .05). Figure 5에도 동일한 전체 비교가 보고되어 있다.
결과: Scim은 표준 리더와 비교해 정확도나 지각된 난이도를 유의하게 변화시키지 않았다.정확도는 Scim에서 0.80, 표준 리더에서 0.76이었다 (p = .64). 지각된 난이도는 Scim에서 2.32였다 (p = .92).

7 연구 2: 종단 다이어리 연구

2주간의 종단 다이어리 연구를 통해 연구자들이 실제 상황에서 자기 주도적으로 논문을 스키밍할 때 Scim을 어떻게 사용하는지, 그 가치와 유용성, 한계 및 향후 도구에 대한 시사점을 조사했다.

7 연구 2: 종단 다이어리 연구: 연구 참가자들은 2주 동안 Scim을 사용하면서 자신의 분야와 관련된 논문을 선택하고 언제 읽을지 결정했다.이 설계는 일반적인 스키밍 동기를 반영하고 새로운 읽기 인터페이스에 익숙해질 수 있도록 하는 것을 목표로 했다.
7 연구 2: 종단 다이어리 연구: 연구에서는 연구자를 위한 intelligent highlight-based skimming aid의 가치, 사용 양상, 유용성 및 한계를 조사했다.또한 향후 intelligent skimming tool이 어떤 기능을 제공해야 하는지도 질문했다.

7.1 연구 설계

이 연구는 Scim을 사용한 2주간의 diary study, exit interview, thematic analysis를 결합했으며, conference paper를 skim한 NLP 연구자들을 대상으로 진행됐다. 참가자들은 먼저 비교를 위해 standard reader를 사용한 뒤, 이어진 9개 세션에서 Scim을 사용했다.

참가자: diary study에는 성별을 균등하게 나눈 12명의 숙련된 research-paper 독자가 참여했으며, 이 중 2명은 석사과정생이고 10명은 PhD 학생이었다. NLP 경험이 있는 지원자를 우선적으로 모집했다.참여자는 대학 연계 메일링 리스트, Slack 채널, 공개 게시물을 통해 모집했으며, 박사과정 학생의 재학 연차는 첫해부터 다섯째 해까지였다.
자료: Scim이 주로 NLP paper에 fine-tuning되었고 preprocessing이 diary study 중 loading time을 줄였기 때문에, 연구에서는 전처리된 NAACL 2022 paper를 사용했다.선정된 proceedings는 참가자들에게 흥미로운 자료로 평가되었으며, 최근의 널리 읽히는 NLP conference에서 나온 것이었다.
Diary 절차: 거의 모든 참가자가 10일 diary protocol을 완료했다. 12명 중 11명은 모든 기록을 마쳤고, 1명은 10회 중 7회를 완료했다.참가자가 뒤처졌을 때 연구자들은 간단한 email reminder를 보냈다.
Diary 절차: 참가자들은 10일 동안 매일 5–10분간 최소 한 편의 paper를 skim했으며, 첫날에는 standard reader를, 다음 9일에는 Scim을 사용했다.참가자들은 각 세션 후 attention, 놓친 content, helpfulness, 개선 가능성에 대한 구조화된 diary reflection을 기록했다.
분석: 연구자들은 diary entry와 exit-interview transcript를 thematic analysis로 분석했다. 한 저자가 theme을 반복적으로 개발했고, 두 번째 저자가 발췌문과 대조해 이를 검증하고 수정안을 제안했다.Exit interview에서는 skimming을 지원하는 Scim의 기능과 개선 기회에 대한 상세한 성찰을 이끌어냈다.

7.2 결과

Scim은 독자가 핵심 내용에 집중하고 논문을 높은 수준에서 이해하며 조밀하거나 익숙하지 않은 자료를 탐색하도록 지원해 skimming을 도왔다. 그러나 highlights에 맥락이 부족하거나 저자가 사용한 시각적 단서와 충돌하는 경우가 있어, 앞뒤로 오가야 하고 예측하기 어려웠다.

Skimming 과정: Scim은 독자가 나머지 내용을 훑어보는 동안 highlights로 주의를 유도해 skimming에 필요한 노력을 줄였으며, 때로는 관련 구절을 두 번째로 읽는 과정을 완화했다.highlight browser는 탐색과 빠른 이해도 지원했으며, 독자는 이를 평균 9.3회 열었다.
상호작용: 독자는 기존 skimming 전략과 함께 highlights를 주로 사용했으며, global 및 local controls를 통해 highlight density를 설정할 수 있었고 browser는 extractive summary를 제공했다.거의 모든 독자가 두 control level을 모두 사용했으며, 대체로 허용 가능한 global density를 설정한 뒤 필요에 따라 local adjustments를 했다.
도입: 일부 독자는 Scim을 신뢰하고 익히는 데 시간이 필요했지만, 유용한 highlight type을 인식하고 도구를 자신의 목표에 맞게 조정하면서 상호작용 방식이 발전했다.한 독자는 side panel을 언제 사용해야 하는지 빠르게 익혔고, 도움이 되는 results highlights에 즉시 집중했다고 보고했다.
유용성: 105개의 diary 응답 중 74개(70.4%)는 Scim의 highlights가 독자의 skimming을 도왔다고 보고했으며, 특히 조밀하거나 텍스트가 많거나 익숙하지 않은 논문에서 효과가 있었다.highlights는 독자가 그렇지 않았다면 지나쳤을 핵심 개념, 주요 아이디어, 결과, 세부사항을 식별하도록 도왔다.
한계: highlights에 충분한 맥락이 없는 경우가 있어, 독자는 highlights와 주변 텍스트 사이를, 심지어 section을 가로질러서도 방해받으며 오가야 했다.독자는 저자가 강조한 텍스트와의 더욱 긴밀한 통합을 원했으며, 완전한 contribution list, mathematical notation, tables, figures를 포괄하는 highlights도 원했다.
향후 방향: 독자는 향후 도구가 abstractive summaries로 조밀한 논문의 이해를 보강하고, abstract 또는 introduction을 관련 highlights에 연결해 탐색을 개선할 것을 제안했다.이러한 확장은 논문의 조밀한 section을 이해하는 데 필요한 노력을 줄이기 위해 제안되었다.

8 논의 · 8.1 훑어보기와 검색하기의 비교 · 8.2 숙련자와 초보자 지원

Scim은 자동 faceted highlighting으로 scientific paper 훑어보기를 보강하며, 실험실 연구에서 보고된 난이도는 바꾸지 않고 과제 완료 시간을 줄였다. 논의에서는 scanning과 skimming을 구분하고 Scim의 대상 독자를 숙련된 훑어보기 사용자로 제한하여 이러한 결과를 해석한다.

8 논의: Scim은 자동 faceted highlighting을 사용해 scientific paper 훑어보기를 보강하며, 연구에서는 독자에 대한 지원을 검토했다.실험실 연구에서는 짧은 정보 탐색 과제를 유의미한 자기보고 과제 난이도 차이 없이 더 빠르게 완료한 것으로 나타났고, 후속 diary study에서는 연구자들의 사용을 관찰했다.
8 논의: Scim은 독자가 자기보고한 과제 난이도를 유의미하게 바꾸지 않으면서 짧은 scientific paper 정보 탐색 과제의 완료 시간을 줄였다.실험실 과제는 훑어보는 동안 속도와 정확도를 측정하도록 설계되었다.
8.1 훑어보기와 검색하기의 비교: 실험실 참가자들이 상위 수준의 이해를 형성하기보다 키워드를 검색하는 경우가 많았기 때문에, 이 연구는 때때로 훑어보기 대신 검색하기를 측정했다.과제 문구는 키워드 기반 검색을 어렵게 하도록 설계되었지만, 참가자들은 “Control+F”와 같은 전략을 사용했다.
8.1 훑어보기와 검색하기의 비교: 훑어보기보다 검색하기를 한 참가자들의 경우, 결과는 Scim이 훑어보기 과정을 지원하는지에 대해 덜 말해줄 수 있다.이들의 행동은 논문을 폭넓게 이해하기보다 정확한 답을 찾는 데 초점을 두었다.
8.2 숙련자와 초보자 지원: Scim은 숙련된 훑어보기 사용자가 훑어보기에서 더 많은 것을 얻도록 설계되었으며, 미숙한 독자의 훑어보기 능력을 개발하도록 설계된 것은 아니다.따라서 교육 지향적 훑어보기 assistant는 Scim과 일부 특성만 공유할 수 있다.
8.2 숙련자와 초보자 지원: 향후 AI 훑어보기 assistant는 두드러진 내용을 식별하고 독자가 이를 찾도록 코칭하는 한편, 다양한 배경의 독자에게 생산적인 학습 경험을 보장할 수 있다.이는 서로 다른 사전 훑어보기 지식을 가진 독자를 지원하는 방법과 관련된 설계 과제를 만든다.

8.3 주의에 대한 위험 · 8.4 하이라이트의 한계

Scim은 의도치 않게 주의에 부담을 주거나 피상적인 읽기를 조장할 수 있으며, 하이라이트는 논문을 읽는 하나의 경로만 제공하고 더 넓은 sensemaking은 다루지 않는다. 따라서 skimming aid는 정확하고 신뢰할 수 있어야 하며, 깊이 있는 읽기를 고려하고, 더 풍부한 제어 기능과 맥락적 affordance의 지원을 받아야 한다.

8.3 주의에 대한 위험: Scim은 인지적 부담을 부과하여 독자의 제한된 주의력을 소진시킬 수 있으며, 특히 하이라이트가 예상치 못한 방식으로 나타날 때 그러하다.Skimming에는 이미 논문의 특이성과 뉘앙스를 이해하기 위해 상당한 주의가 필요하다.
8.3 주의에 대한 위험: 독자가 텍스트에 참여하는 방식에 미치는 영향이 연구되는 동안, skimming aid는 정확하고 신뢰할 수 있어야 한다.이 논문은 이러한 영향을 검토하는 연구와 함께 배포할 것을 촉구한다.
8.3 주의에 대한 위험: Scim은 깊이 있는 읽기를 지원하고 연구 공동체에서 좋은 읽기 관행을 장려하는 도구와 함께 개발되어야 한다.이 권고는 skimming을 지원하면서 깊이 있게 읽는 것의 가치를 보존하는 것을 목표로 한다.
8.4 하이라이트의 한계: 목표 지향적이거나 개인화된 skimming을 위한 정교한 제어 기능이 없다면, 하이라이트는 논문을 읽는 하나의 경로만 제시한다.이 한계는 더 유연한 skimming 지원의 필요성을 제기한다.
8.4 하이라이트의 한계: 하이라이트는 주의를 유도하고 information foraging을 지원하지만, skimming의 다른 sensemaking 측면은 다루지 않는다.하이라이트는 전체 skimming 과정을 포괄적으로 지원하기보다 주의 지원 기능으로 작동한다.
8.4 하이라이트의 한계: 독자의 diary study 피드백은 하이라이트된 구절에 맥락을 추가하면 skimming aid가 더 총체적인 지원을 제공할 수 있음을 시사한다.추가 맥락은 주의 유도 기능을 넘어 하이라이트를 확장하는 한 방향으로 제시된다.

8.5 향후 연구

향후 연구에서는 Scim의 하이라이트 정확도와 PDF 처리를 개선하는 한편, 독자의 불신과 인지적 부담을 해소하기 위해 소셜 주석과 개인화된 선제적 읽기 지원을 탐구해야 한다.

알고리즘 및 처리 개선: 향후 알고리즘은 장문 요약이나 다른 생성 모델을 논문 구조, 저자 단서, 시각적 콘텐츠와 함께 활용해 하이라이트 정확도를 개선할 수 있다.Scim의 유용성은 underlying AI 모델의 정확도에 의해 제한된다.
알고리즘 및 처리 개선: 오류로 인해 각주, 머리말, 표 또는 그림이 문장과 연결되어 분류가 부정확한 문단과 서로 무관해 보이는 하이라이트가 생성되므로, PDF 처리를 개선해야 한다.
신뢰와 소셜 지원: 초기 연구에서 독자들이 Scim 도입을 주저했고 일부는 AI가 생성한 하이라이트보다 동료 연구자가 만든 하이라이트를 선호한 것으로 나타났으므로, 소셜 주석은 더 신뢰받는 하이라이트를 생성할 수 있다.
개인화된 읽기 지원: AI가 통합된 읽기 시스템은 반복적인 상호작용을 통해 학습하고, 독자의 경험, 정보 요구, 읽기 목표에 맞춘 개인화된 선제적 지원을 제공할 수 있다.이 방향은 증강 읽기 인터페이스가 유발하는 바람직하지 않은 인지적 부담을 완화하는 것을 목표로 한다.

9 결론

이 논문은 faceted, evenly distributed, minimally intrusive, configurable highlights를 통해 일곱 가지 설계 목표를 구현한 지능형 훑어보기 인터페이스 Scim을 제시한다. 실험실 연구에서 참가자들은 표준 문서 리더보다 Scim을 사용할 때 정보를 더 빠르게 찾았다.

9 결론: Scim은 faceted, evenly distributed, minimally intrusive, configurable highlights를 통해 과학 논문 훑어보기를 위한 형성 연구의 일곱 가지 목표를 구현한다.
9 결론: 실험실 사용성 연구에서 참가자들은 표준 문서 리더보다 Scim을 사용할 때 논문 속 정보를 더 빠르게 찾았다.