Designing and Evaluating AI Margin Notes in Document Reader Software

Nikhita Joshi; Daniel Vogel

Source-linked AI summary

Designing and Evaluating AI Margin Notes in Document Reader Software

Nikhita Joshi, Daniel Vogel

arXiv:2509.09840v32025년 9월 11일cs.HC

TL;DR

문서 reader는 대개 LLM 기능을 서로 단절된 chat interface에 격리해 통합형 AI commenting을 충분히 탐구하지 않았다. 세 실험을 통해 AI margin note의 통합, text-selection automation, human–AI involvement를 평가한 결과, 통합 note와 manual creation이 선호되었으며 involvement는 comprehension에 미치는 영향이 미미했다.

문제
문서 reader의 LLM 기능은 대개 document text와 단절되어 있어 통합형 AI comment의 설계와 평가가 충분히 탐구되지 않았다.
방법
세 실험에서 integration, text-selection automation, human과 AI involvement의 다양한 정도에 걸쳐 AI margin note를 평가했다.
결과
참가자는 통합형 AI margin note와 manual selection을 선호했으며, AI involvement에 따른 reading comprehension 차이는 미미했다.
시사점 및 한계
문서 reader software는 다양한 user goal과 preference를 지원하도록 여러 AI margin-note variation을 제공해야 한다.
시사점 및 한계
특히 reading comprehension에 관한 결과는 장기간의 지속적 사용이나 더 폭넓은 educational setting에서는 재현되지 않을 수 있다.

Abstract

from arXiv · show

AI capabilities for document reader software are usually presented in separate chat interfaces. We explore integrating AI into document comments, a concept we formalize as AI margin notes. Three design parameters characterize this approach: margin notes are integrated with the text while chat interfaces are not; selecting text for a margin note can be automated through AI or manual; and the generation of a margin note can involve AI to various degrees. Two experiments investigate integration and selection automation, with results showing participants prefer integrated AI margin notes and manual selection. A third experiment explores human and AI involvement through six alternative techniques. Techniques with less AI involvement resulted in more psychological ownership, but faster and less effortful designs were generally preferred. Surprisingly, the degree of AI involvement had no measurable effect on reading comprehension. Our work shows that AI margin notes are desirable and contributes implications for their design.

1 서론

이 논문은 LLM이 지원하는 문서 주석을 텍스트와 통합한 AI margin notes를 소개하고, 세 가지 실험을 통해 통합 방식, 텍스트 선택, 인간–AI 관여를 평가한다. 참가자들은 통합된 margin notes와 수동 선택을 선호했으며, AI 관여도가 높을수록 속도와 수고 측면에서는 개선되었지만 이해도에는 영향을 주지 않으면서 심리적 소유감은 낮아졌다.

1 서론: AI margin notes는 marginalia와 선택한 문서 텍스트에 연결된 digital comments를 비롯한 기존의 통합 필기 관행을 확장한다.독자는 전통적으로 문서와 분리된 곳이나 텍스트에 통합된 공간에 주석을 작성해 왔으며, digital systems는 일반적으로 선택한 텍스트 옆에 comments를 배치한다.
1 서론: 이 논문은 별도의 분리된 chat interface를 통해 제공하는 대신 문서 텍스트에 통합된 LLM-enhanced comments로서 AI margin notes를 탐구한다.LLMs는 이미 요약, 바꿔 쓰기, 익숙하지 않은 개념 설명을 지원하지만, 이러한 기능은 문서 reader의 commenting features에 통합된 적이 없었다.
1 서론: 세 가지 controlled experiments에서 세 가지 design parameters를 검토했다: 문서와의 통합, automated text selection과 manual text selection의 비교, 그리고 note generation에서 human과 AI의 관여 정도다.참가자들은 짧은 논픽션 문서를 읽고, 주로 comments를 통해 LLM과 상호작용했으며, 두 시간 후 comprehension questions에 답했다.
1 서론: AI margin notes는 chat interfaces보다 선호되었고, manual text selection이 선호되었으며, AI 관여는 reading comprehension에 측정 가능한 영향을 주지 않았다.human 관여가 많은 기법일수록 심리적 소유감이 높았고, AI 관여가 많을수록 기법이 더 빠르고 수고가 적으며 전반적으로 선호되었다.
1 서론: 이 연구는 AI margin notes의 개념과 통합, 선택 제어, 심리적 소유감, 속도, 수고, 선호도 사이의 균형을 위한 design guidance를 제시한다.연구 결과는 서로 다른 human–AI 관여 수준이 단 하나의 보편적으로 우수한 기법을 만들기보다는 서로 다른 이유로 가치를 지님을 보여준다.

2 배경 및 관련 연구

선행 연구는 메모 작성이 기억과 학습을 지원하지만 상당한 인지적·시간적 부담도 부과한다는 점을 보여준다. LLM 기반 reading tool은 이해도를 높이고 노력을 줄일 수 있지만, AI margin note는 아직 충분히 탐구되지 않았으며 텍스트에 대한 깊이 있는 관여를 저해하거나 지원할 수 있다.

메모 작성의 이점: 메모 작성은 정보의 외부 저장과 아이디어를 처리·조직하는 과정에서의 encoding 이점을 통해 학습을 지원한다.텍스트를 사전 지식 및 경험과 연결하는 것과 같은 더 깊은 처리는 encoding 기능을 강화한다.
메모 작성의 어려움: 메모 작성은 독자가 읽기와 쓰기를 조정하도록 요구하며, 읽기를 지연시키고 이해를 방해할 수 있는 정신적·시간적 부담을 만든다.이러한 부담은 시간 제한이 없어도 발생할 수 있으며, 긴 reading task에서는 특히 피로를 유발할 수 있다.
LLM 지원 reading: LLM 기반 reading tool은 단순화, 훑어읽기, 질의응답, 요약, 문서 메모 작성에 사용되어 왔으며, 일부 접근법은 이해도를 높이거나 workload를 줄였다 [3] [27] [26].예로는 ChatGPT, Adobe Acrobat, Google Notebook LM, NoteGPT, ChatPDF 가 있다.
LLM 지원 학습: 선행 연구는 학습과 노력 사이의 tradeoff를 시사한다. 독립적 메모 작성과 chatbot 지원 메모 작성은 chatbot에게 질문만 하는 것보다 더 나은 성과를 보였지만, 후자는 더 즐겁고 노력이 적게 든다는 이유로 선호되었다.다른 LLM system은 학습을 개인화하고 학업 성취도, 정신적 노력 또는 동기를 향상할 수 있지만, 학습자가 이에 과도하게 의존할 수 있다.
연구 공백 및 동기: 기존 연구에서는 LLM을 document-reader commenting에 통합하는 방식을 철저히 검토하지 않았으며, 이에 따라 AI margin note가 깊이 있는 처리를 저해하거나 메모 작성 부담을 줄이고 관여를 지원할 수 있는 도구라는 관점에서 연구가 필요하다.기존 prototype mockup은 선택한 텍스트와 미리 정해진 prompt를 사용했으며, 응답은 sticky note 또는 선택한 텍스트 아래에 표시되었다.

3 AI 마진 노트

AI 마진 노트는 문서 텍스트와의 통합, 선택 자동화, 인간과 AI 개입의 균형이라는 세 가지 설계 매개변수로 정의된다. 별도의 chat interface와 비교하면, 통합된 노트는 prompting, 주의 전환, 응답 검색 작업을 줄일 수 있다 [44].

설계 매개변수: AI 마진 노트는 통합, 선택 자동화, 인간과 AI 개입 수준으로 특징지어진다.Comments는 문서 맥락과 단절된 별도 side panel에 배치된 chat tool과 달리, 특정 텍스트에 고정된다.
통합: 통합된 노트는 특정 구절을 참조하고, 읽기와 쓰기 interface 사이를 전환하며, 이전 응답을 검색하는 작업을 줄일 수 있다 [44].Chat interface는 신중하게 작성한 참조나 copy-paste 단계를 요구하고, 전환 비용을 발생시키며, 설명을 chat history 속에 묻을 수 있다.
인간과 AI 개입: AI 마진 노트 텍스트는 전적으로 인간이 작성한 것부터 전적으로 AI가 생성한 것까지 다양할 수 있으며, 중간 기법은 인간과 LLM의 개입을 결합한다.인간의 개입이 클수록 인지적 참여가 증가하고, 읽기 이해를 지원하며, 축어적 노트를 억제하고, 심리적 소유감을 높일 수 있다 [34] [35]. 그러나 과도한 참여는 독자를 좌절시키고 읽기를 단념하게 할 수 있다.
선택 자동화: AI 마진 노트를 위한 선택은 assistant가 자동화하거나 사용자가 수동으로 수행할 수 있으며, 자동화는 노력을 줄이지만 심리적 소유감과 이해를 낮출 가능성이 있다.심리적 소유감은 학습 경험에 대한 통제력을 높여 능동적이고 동기화된 학습을 지원할 수 있다.

4 실험 방법

세 가지 피험자 내 실험을 통해 AI margin note 통합, 선택 자동화, 인간–AI 관여가 이해도, 소요 시간, 소유감, 작업량, 선호도에 미치는 영향을 평가했다. 참가자들은 LLM 기법을 사용해 약 500단어 분량의 문서를 읽고, 이해도 검사를 수행한 뒤 경험과 선호도를 평가했다.

실험 설계: 세 가지 실험에서 서로 다른 참가자를 대상으로 동일한 방법을 사용해 이해도, 소요 시간, 소유감, 작업량, 선호도 측면에서 통합, 선택 자동화, 인간–AI 관여를 조사했다.모든 실험은 Prolific을 통해 진행했으며 동일한 실험 방법을 사용했다.
절차: 참가자들은 먼저 LLM 기법과 상호작용하며 약 500단어 분량의 비문학 문서를 읽은 다음, 객관식 이해도 문항 6개에 답했다.읽기 단계와 검증 단계는 분리했으며, 검증 단계는 2시간 후에 진행하고 60초 제한의 비공개 자료 조건을 적용했다.
절차: 참가자들은 문서마다 margin note 또는 AI 응답을 세 개 작성하고 각 경험을 평가했으며, 모든 기법을 사용해 본 뒤 조건의 순위를 매기고 전반적인 선호도를 제시했다.전반적인 조건 순위는 Condorcet voting method 를 사용해 도출했으며, 실험별 추가 행동 지표를 결과와 함께 제시했다.
실험 설계: 모든 실험은 무작위로 할당된 조건과 Wallace et al. 의 여섯 문서에서 가져온 문서를 사용하는 피험자 내 설계로 진행했다.내적 타당도를 높이기 위해 문서는 어떤 조건에도 할당할 수 있도록 했으며, 참가자들이 기법을 직접 비교할 수 있게 했다.
측정 지표: 읽기 이해도와 소요 시간은 상호작용 로그에서 산출했으며, 소유감, 작업량 및 기타 측정치는 읽기 후 설문지에서 수집했다.이해도는 0–6 척도에서 정답 문항 수로 점수화했으며, 다른 지표는 대체로 0–100 구간 척도를 사용했다.

5 실험 1: 통합

실험 1에서는 전통적인 chat 기반 prompting과 문서에 통합된 AI margin notes를 비교했다. comprehension, duration, ownership, workload, use frequency에서는 조건 간 유의한 차이가 없었지만, 참가자들은 대체로 통합된 notes를 더 쉽게 참조하고 질문할 수 있다는 이유로 선호했다.

실험 1: 통합: 실험에서는 문서 텍스트를 선택하고, 고정된 comment를 연 뒤, LLM에 prompting하는 방식으로 생성한 margin notes와 오른쪽 chat interface를 비교했다.참가자들은 comment를 편집하거나 삭제할 수 있었고, comment를 클릭하면 대응하는 문서 텍스트가 강조되었다.
실험 1: 통합: 참가자들은 채팅보다 AI 여백 주석을 선호했다. AI 여백 주석은 전체 순위에서 첫 번째였으며, 17명(65%)이 이를 첫 번째로 평가한 반면 채팅은 16명(62%)의 평가에서 두 번째였다.Condorcet 전체 순위는 여백 주석이 1, 채팅이 2였으며, 측정된 수행도, 작업량, 심리적 소유감 또는 사용 결과에서는 조건의 유의한 효과가 나타나지 않았다.
실험 1: 통합: 참가자들은 margin notes가 더 쉽고 직관적이라고 평가했다. interface를 전환할 필요가 없고, comment가 문서 텍스트 옆에 삽입되며, 질문과 관련된 텍스트를 선택할 수 있었기 때문이다.참가자 12명(46%)이 자유 응답에서 이러한 장점을 구체적으로 언급했다.
실험 1: 통합: note prompt는 chat prompt보다 선택된 텍스트를 지시하는 지시적 참조를 더 자주 사용했다. note에서는 29개 prompt(37%), chat에서는 17개(22%)였다.chat에는 이전 prompt의 명사를 가리키는 지시적 참조가 포함된 prompt도 10개(13%) 있었지만, note의 선택은 더 직접적인 텍스트 특이성을 제공했다.

6 실험 2: 선택 자동화 … 6.3 결과

실험 2에서는 세 개의 AI margin-note 요약을 생성하기 위해 AI가 선택한 텍스트와 수동으로 선택한 텍스트를 비교했다. 수동 선택은 시간과 노력을 늘렸지만 psychological ownership, 지각된 수행, 선호도, 통제감도 높였으며, reading comprehension에는 차이가 없었다.

6 실험 2: 선택 자동화: 두 조건 모두 텍스트를 chat interface에 복사하거나 자동화된 버튼을 눌러 수행하는 일반적인 document summarization task를 나타냈다.실험에서는 selection automation이 AI margin notes와 특정 텍스트 선택의 연관성에 미치는 영향을 분리해 검증했다.
6.1 참가자: 실험에는 새로운 Prolific 참가자 32명이 참여했으며, 유효하지 않거나 지원되지 않는 reading-comprehension 행동을 보인 참가자 2명을 제외한 30 valid responses를 분석했다.참가자들은 Experiment 1의 inclusion criteria를 충족했으며, 상위 25% comprehension performance에 대한 $5 bonus incentive와 함께 $10를 받았다.
6.2 장치: 자동 기법은 toolbar button을 통해 세 개의 summary comments를 한 번에 생성했으며, 수동 기법에서는 참가자가 텍스트를 선택하고 세 개의 comments를 개별적으로 생성해야 했다.수동 comments는 개별적으로 삭제하거나 재생성할 수도 있었다.
6.3 결과: Reading comprehension에서는 수동 선택 조건과 자동 선택 조건 간에 no significant difference가 나타났다.따라서 분석은 duration, ownership, performance, effort, preference, selection behavior에 초점을 맞췄다.
6.3 결과: 수동 선택은 자동 선택보다 느리고 더 많은 노력이 필요했지만, 참가자들은 이를 더 선호했고 psychological ownership과 지각된 수행을 더 높게 보고했다.수동 선택의 duration은 3.43, 자동 선택은 2.78이었으며, 수동 선택의 psychological ownership은 50.25, 자동 선택은 6.75였고 지각된 수행은 각각 88과 80.5였다.
6.3.3 Task Workload: 수동 선택은 Effort에서만 지각된 workload를 높였으며, Mental Demand, Physical Demand, Temporal Demand, Frustration은 조건 간 차이가 없었다.수동 Effort의 중앙값은 35, 자동 Effort는 14였다.
6.3 결과: 반복 사용에서는 수동 선택이 선호되었다. Frequency of Use의 중앙값은 자동 선택의 55에 비해 79.5였고, 77% ranked manual first.참가자들은 자동 선택을 두 번째로 순위 매기는 경향도 보였으며, 70%가 이를 ranking of 2로 지정했다.
6.3.4 선호도: 수동 선택은 문서 전반에 분포한 더 짧은 선택을 생성한 반면, LLM의 자동 선택은 문서 앞부분에 집중되었다.수동 선택의 중앙값은 62 words, 자동 선택은 83 words였다.

6.4 요약

AI margin note를 위한 수동 텍스트 선택은 더 느리고 더 많은 노력이 필요했지만, 더 높은 심리적 소유감, 더 나은 지각된 수행, 그리고 참가자 선호와 관련되었다. 생성된 note는 항상 요약이었지만, 다른 human–AI 기법도 가능하다.

요약: 수동 텍스트 선택은 더 느리고 더 많은 노력이 필요했지만, 참가자들은 이를 선호했고 더 높은 심리적 소유감과 더 나은 지각된 수행과 관련지었다.이 이점은 선택 위치를 더 많이 통제할 수 있었기 때문일 수 있지만, 자동 선택은 대체로 do…의 시작 부분에 배치되는 경향이 있었다.
요약: Experiment 3에서는 완전한 AI 작성 요약, human–AI 연습, 피드백, 완전한 인간 작성 comment를 아우르는 여섯 가지 기법을 검증했다.기법에는 요약 받기, 빈칸 채우기 연습 완료하기, prompt 작성하기, 연습 문제에 답하기, 피드백 받기, AI 없이 comment 작성하기가 포함되었다.
요약: 생성된 AI margin note는 항상 요약이었지만, margin note에는 다른 방식으로도 인간과 AI가 관여할 수 있다.

7 AI Margin Note 기법

Experiment 3에서는 전적으로 AI가 생성한 텍스트부터 전적으로 사용자가 작성한 텍스트까지 아우르는 여섯 가지 AI margin note 기법을 구현했다. 모든 기법에서 수동으로 텍스트를 선택하고 파란색 “Comment” 버튼을 눌러야 했으며, 노트 생성에 인간과 AI가 기여하는 방식을 달리했다.

기법 연속체: 여섯 가지 기법은 전적으로 AI가 작성한 요약부터 전적으로 사용자가 작성한 코멘트까지 연속체를 이루었으며, 중간 설계에서는 생성, 프롬프트 작성, 답변 또는 피드백을 결합했다.모든 기법은 사용자가 직접 선택한 텍스트와 동일한 파란색 “Comment” 버튼을 사용했다.
기법 연속체: 가장 인간의 개입이 적은 기법은 사용자가 수동으로 선택한 텍스트에 대해 LLM이 생성한 요약을 제시했으며, Experiment 2의 수동 텍스트 선택 기법과 동일했다.요약은 전적으로 AI가 작성했다.
하이브리드 기법: 중간 기법에서는 사용자가 AI가 생성한 요약을 완성하거나, 맞춤형 프롬프트를 작성하거나, 피드백이 제공되는 AI 생성 독해 이해 질문에 답해야 했다.빈칸 채우기 요약에서는 하나 또는 두 개의 드롭다운 빈칸을 사용했으며, 연습 문제에서는 사용자가 답을 제출하고 틀린 부분을 수정해야 했다.
인간 작성 기법: 가장 인간의 개입이 큰 기법에서는 사용자가 LLM의 피드백과 개선 제안을 받으며 코멘트 텍스트를 작성하거나, AI 지원 없이 작성해야 했다.무지원 조건은 기존 코멘트 시스템과 유사한 baseline으로 사용되었다.

8 실험 3: 인간과 AI의 관여

실험 3에서는 인간과 AI의 관여 수준이 서로 다른 AI margin notes 생성 기법 6가지를 비교했다. 참가자들은 psychological ownership이 낮아지더라도 대체로 AI 관여가 많은 기법을 선호했으며, 이해도 차이는 경계적으로만 나타났다.

8 실험 3: 인간과 AI의 관여: 읽기 이해도는 기법 간 유의한 차이가 없었다: summary는 mdn =4, iqr =2.25였고 다른 모든 기법은 mdn =5, iqr =2였다.차이는 경계적이었으며(𝑝= .054) 통계적으로 유의하지 않았다.
8 실험 3: 인간과 AI의 관여: 참가자들은 psychological ownership이 낮고 읽기 이해도 차이도 경계적이었지만, 대체로 AI 관여가 많은 기법을 선호했다.Blank가 전체 순위에서 가장 높았고, 그 뒤를 qestion, summary, prompt, feedback, none이 이었다.
8 실험 3: 인간과 AI의 관여: 가장 빠른 기법은 summary와 blank였으며, 두 기법 모두 다른 모든 기법보다 유의하게 빨랐다.Summary는 mdn =3.96, iqr =2.78이었고, blank는 mdn =4.92, iqr =2.80이었다.
8 실험 3: 인간과 AI의 관여: 인간 관여가 많은 기법일수록 psychological ownership이 높았으며, none과 feedback이 가장 높고 summary가 가장 낮았다.None은 mdn =100, iqr =4.38이었고, feedback은 mdn =97, iqr =9.34였으며, summary는 mdn=23.75, iqr=60.88이었다.
8 실험 3: 인간과 AI의 관여: 인간 관여가 많은 기법일수록 정신적 요구가 컸고, 지각된 수행이 낮았으며, 더 많은 노력이 필요했다.Mental Demand에서는 none과 feedback이 prompt, blank, summary보다 높은 점수를 받았다.

9 논의

논의에서는 통합형 AI margin notes, 수동 텍스트 선택, 균형 잡힌 인간–AI 관여를 권고하고, 선호도, 심리적 소유감, 이해도, 전이, 장기 사용의 함의를 제시한다. 또한 후속 연구를 촉진하는 실험 및 인터페이스의 한계를 지적한다.

통합: 참가자들은 통합형 AI margin notes가 편리한 텍스트 특화 prompting을 지원하고, 주의 전환을 피하며, 이전 응답에 빠르게 접근할 수 있어 이를 선호했다.따라서 저자들은 통합, 지시적 prompting, 인터페이스 전환 감소, prompt와 응답의 지속적 검색을 권고한다.
선택 자동화: 참가자들은 더 많은 시간과 노력이 들더라도 수동 텍스트 선택을 선호했다. 수동 선택이 읽기를 촉진하고, 심리적 소유감을 높이며, 더 짧고 균일하게 분포된 선택을 산출했기 때문이다.저자들은 수동 선택을 권고하되, 자동화가 필요한 경우 자동 배치된 note를 통제할 수 있도록 해야 한다고 제안한다.
인간과 AI의 관여: 참가자들은 선택에는 더 많은 수동 제어를, comment에는 더 많은 AI 관여를 선호했으며, 가장 선호된 기법은 생성된 요약과 빈칸 채우기 연습을 결합했다.이 기법은 중간 정도의 노력이 들고, 심리적 소유감을 중간 정도로 높이며, 참가자가 지각한 수행을 지원하는 것으로 평가되었다.
인간과 AI의 관여: 인지적 요구가 더 큰 기법도 읽기 이해도를 향상시키지 못했다. 이는 인간의 관여와 인지적 참여를 이해도와 연결한 선행 연구와 대조된다.24시간 지연을 적용하고, 배경지식이 더 높은 참가자를 제외하며, 가능한 0-6 ceiling effect를 다룬 추가 검정에서도 유의한 차이는 발견되지 않았다.
설계 함의: 저자들은 인간과 AI의 관여를 균형 있게 조정할 것을 권고한다. 완전히 자동화된 요약은 일정 수준의 인간 책임을 유지하는 기법보다 선호도가 낮았지만, 관여가 낮아져도 이해도를 해치지 않을 수 있기 때문이다.후속 설계에서는 LLM을 prompting하기 위한 digital ink와 sketch를 탐색할 수 있다.
전이와 한계: AI margin notes는 선택한 code나 관련 interface 요소 근처에 맥락 특화 prompt와 응답을 지속적으로 표시함으로써 code editor와 일반적인 software 도움 탐색으로 전이될 수 있다.이 접근법은 과거 사용자 행동에 기반해 자동으로 overlay되는 note도 지원할 수 있지만, 장기적 영향으로는 hallucination에 따른 과도한 의존, note-taking 능력 저하, 교육적 피해가 나타날 수 있다.
전이와 한계: 고정된 note와 응답 수, 한 번에 한 기법만 사용하는 상호작용으로 인해 생태학적 타당도가 제한되었으며, margin note 공간은 내용과 상호작용 라운드를 제약한다.후속 연구에서는 더 유연한 실제 사용과 note를 chat처럼 만들지 않으면서 확장하는 방법을 검토해야 한다.

10 결론

이 논문은 document-reader commenting 기능을 통해 LLM 역량을 문서 텍스트에 통합하는 AI margin notes를 제안한다. 세 차례 실험에서 참가자들은 통합된 AI margin notes와 이를 직접 만드는 방식을 높이 평가했다.

이 논문은 document-reader commenting 기능을 통해 LLM 역량을 문서 텍스트에 통합하는 AI margin notes를 제안한다.
세 차례 실험에서 통합, 선택 자동화, human–AI 관여 측면의 AI margin notes를 평가했다.
참가자들은 통합된 AI margin notes와 이를 직접 만드는 방식을 높이 평가했다.

A 부록

부록에는 Experiment 1–3의 통계 검정 결과와 duration, psychological ownership, mental demand, performance, effort, text similarity에 대한 쌍별 p-value가 제시된다.

Experiment 1, 2, 3의 통계 검정 결과는 각각 Table A.1, Table A.2, Table A.3에 제시된다.
duration, psychological ownership, mental demand, performance, effort, text similarity에 대한 쌍별 비교를 보고한다.
예를 들어, none–blank 비교의 여섯 측정치에 대한 p-value는 각각 .003, < .001, < .001, .005, < .001, < .001이다.