Decomposed Prompting: A Modular Approach for Solving Complex Tasks

1 서론

• 소수의 복잡한 과제 예시만으로는 필요한 추론 단계를 모두 가르치지 못할 수 있으며, few-shot prompting의 문서 검색·통합 능력도 아직 불분명하다.Chain-of-Thought prompting (Wei et al., 2022)은 과제 분해와 단계별 실행을 모두 예시로 보여 주지만, 복잡한 과제의 예시로는 필수 하위 능력을 가르치지 못할 수 있다.출처: §1 · p. 1
• DECOMP은 별도의 프롬프트를 사용하는 분해 모듈로 하위 과제의 순서를 지정하고, 독립적인 프롬프트를 사용하는 전용 처리 모듈에 실행을 위임한다.처리 모듈은 일반적인 프롬프트, 추가 분해, 검색과 같은 기호적 함수를 사용할 수 있다.출처: §1 · pp. 1–2, Figure 1 · p. 2
• 재사용 가능한 하위 과제 처리 모듈은 독립적으로 디버깅할 수 있으며, 시스템의 나머지 부분을 바꾸지 않고 교체할 수 있다.처리 모듈에는 더 폭넓고 풍부한 예시를 제공할 수 있고, 모듈을 더 분해하거나 대규모 검색에 적합한 기호적 구현으로 교체할 수도 있다.출처: §1 · p. 2
• 두 수학 QA 데이터셋에서 CoT를 후처리해 빈번한 형식 오류를 수정하는 것만으로 14-17점의 성능 향상을 얻는다.수학 QA 평가에는 Cobbe et al. (2021)과 Roy & Roth (2015)의 데이터셋을 사용한다.출처: §1 · p. 2
• DECOMP은 더 풍부한 하위 과제 예시로 긴 문맥 QA 성능을 개선하고, 기호 기반 검색을 사용해 세 개의 개방형 도메인 다중 홉 QA 데이터셋에서 CoT를 능가한다.평가에는 긴 문맥 QA 와 개방형 도메인 데이터셋 (Yang et al., 2018; Trivedi et al., 2022)이 포함되며, 검색은 ElasticSearch가 담당한다.출처: §1 · p. 2
• DECOMP은 더 세밀한 분해로 k번째 문자 추출을 가르치고, 더 작은 리스트를 재귀적으로 뒤집어 리스트 길이에 무관한 역순 변환을 구현함으로써 성능이 낮은 모델의 역량을 확장한다.이 실험들은 단어의 k번째 문자를 이어 붙이는 과제와 리스트를 역순으로 바꾸는 과제를 평가한다.출처: §1 · p. 2

다단계 추론을 위한 few-shot 프롬프트

• Chain-of-Thought는 다단계 과제에 중간 추론 단계를 제공한다 (Wei et al., 2022; Chowdhery et al., 2022).이는 LLM이 소수의 예시로 NLP 과제를 학습하게 하는 few-shot 프롬프팅을 확장한 것이다 (Brown et al., 2020).출처: §2 · p. 2
• LLM이나 기호 함수를 조합한 기존 접근법(Jung et al., 2022; Creswell et al., 2023)은 사전 정의된 분해 구조를 갖춘 특화 시스템으로 설명된다.그 밖에 인용된 사례로는 Press et al., 2022; Parisi et al., 2022; Gao et al., 2022; Schick et al., 2023이 있다.출처: §2 · pp. 2–3
• least-to-most prompting (Zhou et al., 2023) 및 successive prompting (Dua et al., 2022)과 달리, Decomposed Prompting은 재귀적·비선형 분해를 지원한다.이전 답변에서 새로운 질문을 생성하고, 하위 질문마다 서로 다른 프롬프트나 기호 시스템을 명시적으로 할당한다. least-to-most와 달리, LLM이 최종적으로 전체 질문에 답해야 할 필요는 없다.출처: §2 · p. 3

다단계 추론을 위한 모듈형 접근법

• Khot et al. (2021)의 Text Modular Networks와 비교할 때, Decomposed Prompting은 분해기와 하위 과제 에이전트 모두에 few-shot LLM을 사용한다.Text Modular Networks는 기존 텍스트 기반 및 기호 기반 에이전트를 위한 다음 질문 생성기를 학습하고, 분해 과정에 최선 우선 탐색을 사용했다. few-shot 방식으로 구성하면 하위 과제에 특화된 지도 학습 데이터가 필요하지 않다.출처: §2 · p. 3

3 분해 프롬프팅

• 분해 담당 LLM이 하위 작업 함수, 하위 질의, 답변으로 구성된 프롬프팅 프로그램을 생성하면, 컨트롤러가 종료 조건을 충족할 때까지 이를 실행한다.컨트롤러는 분해 담당 LLM과 하위 작업 처리기 사이에서 입출력을 전달한다.출처: §3 · p. 3
• 퓨샷 시연 예시로 분해 방법을 가르치며, 하위 작업 처리기로는 프롬프트, 또 다른 프롬프팅 프로그램, 기호적 함수, 학습된 모델을 사용할 수 있다.시연 예시는 하위 작업 함수, 하위 질의, 답변의 순서를 명시한다. 처리기에는 계산기나 특화된 지도학습 모델도 포함할 수 있다.출처: §3 · p. 3

3.1 분해된 프롬프트

• 별도의 split, str pos, merge 프롬프트는 복잡한 작업과 독립적인 예시로 각각 단어 분할, 문자 조회, 이어 붙이기를 학습한다.하위 작업 프롬프트는 단어를 문자로 나누거나 구분자 없이 합치는 등 추가적인 일반화도 학습할 수 있다.출처: §3.1 · p. 4, Figure 2 · p. 4
• foreach와 이전 답변 참조 등의 선택적 제어 구조는 수동 분해에 드는 노력과 잠재적 오류를 줄인다.foreach는 배열의 각 원소에 하위 작업을 적용하고 답변을 배열로 모은다. 실험에서는 Khot et al. (2022)의 합성 연산자 두 개를 사용한다.출처: §3.1 · p. 4, §3.2 · p. 4

3.2 프롬프트 실행과 추론

• 추론은 이전 이력에 조건화된 분해와 하위 작업 실행을 번갈아 수행하며, [EOQ]가 나오면 마지막 답변을 최종 예측으로 삼는다.실험에서는 탐욕 탐색으로 MAP 답변 추론을 근사한다(Dohan et al., 2022).출처: §3.2 · pp. 4–5, Figure 3 · p. 4

3.3 DECOMP의 기능

• 계층적 분해는 어려운 하위 작업을 더 나눈다. 예를 들어 문자열의 k번째 문자를 찾는 작업은 문자를 나열한 뒤 배열 원소를 선택하는 작업으로 분해한다.GPT3 text-davinci-002는 k번째 문자를 직접 식별하는 데 어려움을 보였으며, 이 분해는 범용 split 프롬프트를 재사용한다.출처: §3.3 · p. 5, Figure 4 · p. 5
• 재귀적 자기 호출은 문제를 모델이 정확히 풀 수 있는 더 작은 문제로 축소하여 기본 프롬프팅 방법을 더 긴 입력에 확장한다.표준 프롬프팅과 CoT는 이러한 재귀적 접근을 표현할 수 없다. least-to-most prompting (Zhou et al., 2023)과 달리, DECOMP는 하향식 분해를 반복하고 관련된 이전 답변을 명시적으로 제공한다.출처: §3.3 · p. 5
• 외부 시스템 호출을 통해 DECOMP는 LLM만으로 지식 접근을 처리할 수 없을 때 개방형 도메인 질의응답에 필요한 문서를 검색할 수 있다.검색에는 Elasticsearch 인덱스나 Google 검색을 사용할 수 있다.출처: §3.3 · p. 5

4.1 k번째 글자 이어 붙이기 (계층적 분해)

• k번째 글자 이어 붙이기에서 입력이 길어져도 100%에 가까운 정확도가 유지되며, DECOMP는 CoT와 least-to-most prompting을 능가한다.추론 절차를 동일하게 모두 펼쳐 제시하더라도, 별도 프롬프트가 단일 CoT보다 어려운 하위 작업을 더 효과적으로 가르친다. 평가는 학습에서 보지 못한 글자 위치, 더 긴 입력, 새로운 구분자를 다룬다.출처: §4.1 · p. 6, Figure 7 · p. 7

4.2 리스트 역순 변환 (재귀적 분해)

• 재귀적 DECOMP는 리스트 역순 변환의 길이 일반화를 개선하지만, 기본 CoT는 더 긴 시퀀스에서 실패하고 전체 과정을 펼친 CoT는 지나치게 길고 복잡해진다.davinci-001을 사용하며, 모든 프롬프트는 항목 3–5개로 구성된 예시 세 개를 공유하고 항목 4개, 6개, 8개, 10개로 구성된 시퀀스에서 평가된다. 재귀적 분해는 전체 과정을 펼친 프롬프트와 달리 하위 모듈의 세부 사항을 추상화한다.출처: Figure 8 · p. 7, §4.2 · p. 7

4.3 긴 문맥 질의응답

• DECOMP는 CommaQA-E의 평가 분할과 분해 단위 전반에서 CoT를 능가하며, 세밀한 분해가 큰 단위의 분해보다 성능이 소폭 높다.별도 프롬프트는 문맥에 독립적인 분해를 단일 홉 질의응답과 분리하며, 더 세분화된 질문 유형별 처리기는 유형당 더 많은 예시를 제공한다. 학습에서 보지 못한 관계 조합에서는 해당 관계가 분해 방식의 질의응답 모델에 더 쉽기 때문에 분해 방식의 점수가 소폭 상승하는 반면, CoT의 점수는 하락한다.출처: Figure 10 · p. 8, §4.3 · p. 8

4.4 개방형 도메인 질의응답

• 세 개의 개방형 도메인 질의응답 데이터셋에서 Decomp-Ctxt는 모든 경우에 No-Ctxt를 능가하며, Codex를 사용한 HotpotQA에서만 NoDecomp-Ctxt와 비슷하고 나머지에서는 이를 능가한다.Flan-T5-XXL도 모든 기준 모델을 능가하며 Codex만 사용하는 시스템과 비슷한 점수를 달성한다. 단일 홉 검색은 후속 질문과 최종 질의응답에 사용할 답과 문서를 반환한다. 신뢰할 수 있는 구조화된 출력을 얻으려면 여전히 GPT3 규모의 분해 모델이 필요하다.출처: §4.4 · pp. 8–9, Figure 12 · p. 9

4.5 추가 결과

• 패턴 매칭 대신 GPT3로 CoT의 답을 추출하면 MultiArith에서 17 pt 향상(78 →95)과 함께 GSM8K에서도 성능이 향상된다(36 →50.6).답 추출 전용 처리기는 생성된 추론이 예상한 답 패턴과 일치하지 않을 때 발생하는 오류를 줄인다.출처: §4.5 · p. 9
• 기준 모델 대비 DECOMP의 성능 이득은 전체 집계에서만 나타나는 것이 아니라, 프롬프트 선택과 분해 방식에 걸쳐 일관되게 유지된다.출처: §4.5 · p. 9

5 결론

• Decomposed Prompting은 네 가지 과제와 일반화 설정에서 기존 연구보다 우수한 성능을 보인다.이 접근법은 복잡한 과제를 더 단순한 하위 과제로 구성된 프롬프팅 프로그램으로 분해한다.출처: §5 · p. 9
• 개별 few-shot 프롬프트를 사용하면 분해기와 공유 하위 과제를 각각 독립적으로 최적화하거나 추가로 분해하고, 기호 시스템으로 대체할 수 있다.이러한 모듈식 설계는 소프트웨어 라이브러리에서 영감을 얻었다.출처: §5 · p. 9
• Answer F1은 예측 답과 정답을 토큰 다중집합으로 취급해 정밀도와 재현율을 계산한다(Rajpurkar et al., 2016).평가 지표의 자세한 설명은 HotpotQA(Yang et al., 2018)를 참조한다.출처: §5 · p. 9

A.1 오픈 도메인 QA의 검색 코퍼스

• 각 데이터셋의 학습·개발·테스트 질문에 딸린 문단을 모으면 2WikiMultihopQA는 430,225개, MuSiQue는 139,416개 문단으로 구성된다.원래 독해용으로 구축된 두 데이터셋은 질문당 각각 10개와 20개 문단을 제공한다. 반면 HotpotQA는 fullwiki 설정과 이에 딸린 Wikipedia 코퍼스를 사용한다.출처: §A.1 · p. 13

A.2 오픈 도메인 QA의 하이퍼파라미터 조정

• 데이터셋마다 별도로 분리한 질문 100개를 사용해 그리드 탐색으로 NoDecomp-Ctxt와 Decomp-Ctxt의 검색 문단 수 K를 선택한다.이 별도 질문 집합에서 성능이 가장 높은 K를 선택한다.출처: §A.2 · p. 13
• NoDecomp-Ctxt의 탐색 범위는 GPT3에서 K ∈ {6, 8, 10}, Flan-T5-*에서 K ∈ {2, 4, 6, 8}이다.GPT3는 더 많은 토큰을 수용할 수 있으므로 다른 범위를 사용한다. NoDecomp-Ctxt는 검색을 한 번만 수행한다.출처: §A.2 · p. 13
• Decomp-Ctxt의 탐색 범위는 GPT3와 Flan-T5-* 모델 모두에서 K ∈ {2, 4, 6}이다.K는 매회 검색하는 문단 수다. Decomp-Ctxt는 대개 검색을 여러 번 수행하므로 NoDecomp-Ctxt와 다른 범위를 사용한다.출처: §A.2 · p. 13

• Figure 13은 MuSiQue 데이터셋의 결과를 보여준다.출처: Figure 13 · p. 13
• Figure 14는 HotpotQA 데이터셋의 결과를 보여준다.출처: Figure 14 · p. 13
• Figure 15는 2WikiMultihopQA 데이터셋의 결과를 보여준다.출처: Figure 15 · p. 14

• DecomP 기반 Decomp-Ctxt QA는 검색으로 얻은 성능 향상에 더해 MuSiQue 성능을 추가로 높인다.출처: §A.3.1 · p. 14
• 검색은 No-Ctxt QA 대비 MuSiQue 성능을 크게 높인다.출처: §A.3.1 · p. 14
• 검색의 이점과 Decomp-Ctxt QA의 추가 성능 향상은 평가한 모든 설정에서 나타난다.출처: §A.3.1 · p. 14

A.3.2 HOTPOTQA

• HotpotQA에서는 검색을 도입하면 성능이 크게 향상된다.출처: §A.3.2 · p. 14
• HotpotQA에서 DecomP의 성능 개선 효과는 주로 규모가 작은 모델에서 나타난다.출처: §A.3.2 · p. 14
• Figure 14는 보고된 모든 HotpotQA 결과를 제시한다.출처: §A.3.2 · p. 14

• DecomP는 2WikiMultihopQA에서 NoDecomp-Ctxt보다 상당한 성능 향상을 보인다.출처: §A.3.3 · p. 14
• 검색을 도입하면 2WikiMultihopQA에서 성능이 크게 향상된다.출처: §A.3.3 · p. 14
• Figure 15는 2WikiMultihopQA 데이터셋에서 보고된 모든 결과를 모아 보여준다.출처: §A.3.3 · p. 14

B 수학 QA

• 수학 QA 실험에는 GSM8K Cobbe et al. (2021), MultiArith Roy & Roth (2015), Wei et al. (2022)의 원래 CoT 프롬프트를 사용했다.출처: B MATH QA · p. 14
• 대부분의 CoT 시스템(Wei et al. (2022); Wang et al. (2023))은 ‘answer is’ 뒤의 숫자를 추출하지만, 이 방식은 부정확할 수 있어 언어 모델을 이용한 추출이 더 신뢰할 만한 대안으로 제안된다.Decomposed Prompting은 먼저 CoT 추론을 식별한 뒤, 두 번째 GPT3 기반 하위 모듈로 정답을 추출한다.출처: B MATH QA · p. 14
• DECOMP는 먼저 CoT 추론을 생성한 뒤, 두 번째 GPT3 기반 하위 모듈에 정답 추출을 맡긴다.저자들은 CoT 추론에서 비추출형 정답을 생성하는 경우를 포함해, 복잡한 정답 유형으로 이 접근법을 확장할 것을 제안한다.출처: B MATH QA · pp. 14–15
• CoT 대비 GSM8K에서 14점, MultiArith에서 17점의 성능 향상이 보고되었다.이러한 향상은 CoT 추론과 정답 추출을 분리한 데서 비롯된다.출처: B MATH QA · pp. 14–15, Figure 16 · p. 15

C COMMAQA에서 규모의 영향

• CommAQA에 사용하는 모델이 더 약해지거나 작아져도 DECOMP는 CoT를 능가하지만, 성능은 하락하며 curie에서는 0에 가까워진다.Figure 17은 davinci-001을 더 약한 모델로, curie-001을 더 작은 모델로 구분한다.출처: Figure 17 · p. 15, C EFFECT OF SCALE ON COMMAQA · p. 15
• text-curie-001과 text-davinci-001은 2048토큰 컨텍스트 윈도 때문에 더 짧은 CommAQA 프롬프트가 필요했으며, 평가에는 text-davinci-002도 포함되었다.더 작은 모델의 컨텍스트 윈도에 맞춰 프롬프트를 줄였다.출처: C EFFECT OF SCALE ON COMMAQA · p. 15

D.1 문자 연결의 프롬프트별 결과

• 프롬프트 P1, P2, P3에 걸쳐 결과가 안정적으로 유지된다.출처: §D.1 · p. 15
• 공백 구분자를 사용하는 문자 연결 과제에서 N을 달리하여 평가한다.출처: §D.1 · p. 15
• DECOMP는 평가한 모든 N 값과 세 프롬프트 모두에서 chain-of-thought와 least-to-most prompting보다 우수하다.Figure 18은 프롬프트 P1, P2, P3에 대한 이 비교 결과를 제시한다.출처: §D.1 · p. 15, Figure 18 · p. 16

D.2 COMMAQA의 프롬프트별 결과

• DECOMP는 CommAQA의 각 프롬프트 세트에서 CoT보다 우수한 성능을 보이며, 모든 프롬프트의 결과는 Figure 19에 제시되어 있다.출처: Figure 19 · p. 16, §D.2 · p. 16

문자 이어 붙이기

• 문자 이어 붙이기 답변을 순회하는 대신 GPT3가 생성한 하위 질문을 사용하면, 잘못된 답변 형식에 대한 강건성을 높일 수 있다.다만 생성된 하위 질문은 리스트 원소의 순서를 바꾸거나 원소를 누락 또는 반복할 수 있다.출처: E EFFECT OF DECOMPOSITION SCHEME · pp. 16–17

리스트 뒤집기

• 리스트의 꼬리 부분을 재귀적으로 뒤집어 머리 원소 앞에 이어 붙이는 방식은 GPT3 호출이 O(n)번 필요하지만, 이진 분할은 O(log(n))번 필요하다.이는 리스트를 절반씩 나누던 기존 방식을 대체한다.출처: E EFFECT OF DECOMPOSITION SCHEME · p. 17

E 분해 방식의 영향

• 대안적 분해 방식은 기존 문자 이어 붙이기 점수와 동등한 성능을 내고, 긴 입력에서 리스트 뒤집기 성능을 높이며, 두 과제 모두에서 CoT를 능가한다.성능이 더 높은 리스트 뒤집기 방식은 GPT3 호출이 더 많이 필요하다.출처: Figure 20 · p. 17, E EFFECT OF DECOMPOSITION SCHEME · p. 17

F.1.1 DECOMP

• 오류 분석에서 실패는 하위 작업 실행에서만 발견되었다.보고된 예시에서는 문자 추출과 이어 붙이기가 실패 지점으로 확인된다.출처: §F.1.1 · pp. 17–18
• DECOMP는 k번째 문자 이어 붙이기 작업에서 일관되게 CoT보다 성능이 높고 일반화 능력도 뛰어나다.Figure 22는 정확 일치(EM) 결과를 보고한다.출처: Figure 22 · p. 18
• 벤치마크 비교에서는 k=3과 세미콜론 구분자를 사용한다.이 평가 조건은 공백을 구분자로 사용하는 오류 예시와 다르다.출처: Figure 22 · p. 18, §F.1.1 · p. 18
• 평가에서는 입력 단어 수 N을 바꾸어 입력 길이에 따른 성능을 비교한다.Figure 22는 이러한 변화에서 DECOMP가 더 뛰어난 일반화 능력을 보임을 보고한다.출처: Figure 22 · p. 18
• 문자 추출 하위 작업은 각 문자의 인덱스가 명시된 목록을 받았음에도 “Nancy”에서 요청된 세 번째 문자 “n” 대신 “c”를 반환했다.이로 인해 최종 예측이 “n m b u n”에서 “c m b u n”으로 바뀌었다.출처: §F.1.1 · p. 18
• 이어 붙이기 하위 작업은 “l e o i e” 대신 “leoie”를 반환해 문자는 유지했지만 요청된 공백은 누락했다.하위 작업 프롬프트는 공백을 사용해 이어 붙이도록 명시적으로 지시했다.출처: §F.1.1 · p. 18

F.1.2 롤아웃을 사용한 COT

• CoT 내에서 개별 하위 과제를 효과적으로 가르칠 수 없어, 문자 이어 붙이기에서 CoT는 DECOMP보다 더 자주 오류를 냈다.오류 유형은 DECOMP에서 관찰된 것과 유사했다.출처: §F.1.2 · p. 18
• “Sheila”에서 CoT는 3번째 위치의 문자를 “e”로 올바르게 나열하고도 해당 위치에서 “i”를 잘못 추출했다.예측한 연결 결과는 정답인 “e c r a u”가 아니라 “i c r a u”였다.출처: §F.1.2 · p. 18
• “Benitez”에서 CoT는 3번째 위치의 문자를 “n”으로 올바르게 나열하고도 해당 위치에서 “i”를 잘못 추출했다.예측한 연결 결과는 정답인 “o i k t n”이 아니라 “o l k t i”였다.출처: §F.1.2 · p. 18

F.2 COMMAQA

• CommaQA의 오류는 주로 단일 홉 하위 질문에 잘못 답하는 데서 발생한다.출처: §F.2 · p. 19
• CoT는 QA 하위 작업을 전문화된 프롬프트에 위임할 수 없어 같은 유형의 오류를 더 자주 범한다.출처: §F.2 · p. 19
• 제시된 실패 사례에서는 Haldron의 영화 목록에서 Polytetrafluoromethane을 누락하고, Hydrallium과 Pompasole 대신 Pompasole만 반환한다.출처: §F.2 · p. 19

G.1.3 CoT

• CoT 프롬프트는 문자 추출과 이어 붙이기 과정을 서술하며, 공통 프레임워크는 GPT3의 사고 연쇄 생성과 정규식 기반 답변 추출을 분리한다.모듈 이름을 생략하면 기본적으로 사고 연쇄를 추출기에 전달한다.출처: G TASK PROMPTS · p. 19, §G.1.3 · p. 22

G 과제 프롬프트

• 기본 select 연산자는 Khot et al.이 정의한 연산자에 따라 이전 답변의 인덱스 참조를 해당 답변으로 치환한다.연산자를 지정하지 않으면 select를 사용한 것으로 간주한다.출처: G TASK PROMPTS · p. 19
• foreach 연산자는 리스트의 각 원소에 질문을 적용하고 답변을 모으며, foreach merge는 여기에 결과 평탄화와 중복 제거를 추가한다.구현상 이름은 각각 project values와 project values flat unique다.출처: G TASK PROMPTS · p. 19

G.1 문자 이어 붙이기

• 문자 이어 붙이기 부록은 실험에 사용한 프롬프트 하나를 보여 주며, 전체 프롬프트 모음은 보충 자료로 제공한다.출처: §G.1 · p. 19

G.1.1 분해 프롬프팅

• 분해 방식의 문자 이어 붙이기는 입력을 단어로 나누고 각 단어에서 지정한 위치의 문자나 마지막 문자를 추출한 뒤, 요청한 구분자로 문자들을 합친다.str position 모듈 자체도 단어를 인덱스가 붙은 문자로 나누고 arr position을 호출해 요청한 문자를 가져올 수 있다.출처: §G.1.1 · p. 20

G.1.4 rollout을 사용하는 Least-to-most

• Least-to-most rollout은 더 짧은 접두 구간의 답변을 재사용하고, 다음 단어에서 추출한 문자를 덧붙인 뒤 답변 추출을 호출한다.예시의 후속 단계는 기존 출력 “b x”에 Simon의 네 번째 문자 “o”를 결합해 “b x o”를 만든다.출처: §G.1.4 · pp. 23–24

G.1.5 대안 분해 스키마(각 하위 질문 생성)

• 대안 분해 스키마는 각 단어에 대해 별도의 문자 추출 질문을 명시적으로 생성한 뒤 답변들을 합친다.마지막 문자 예시에서는 Augusta, Ada, King을 각각 질의한 뒤 답변을 이어 붙여 “a a g”를 만든다.출처: §G.1.5 · p. 24

G.2.1 분할 뒤집기

• 분할 뒤집기는 시퀀스를 재귀적으로 이등분하고 각 절반을 뒤집은 뒤, 뒤집은 뒤쪽 절반을 뒤집은 앞쪽 절반 앞에 이어 붙여 Algorithm 1을 구현한다.항목이 네 개 미만인 시퀀스는 바로 뒤집는다. 알고리즘 설명에는 n개 항목에 O(log n)번의 LM 호출이 필요하다고 명시되어 있다.출처: §G.2.1 · pp. 25–26
• 모듈식 뒤집기 프롬프트는 중간 답변 참조로 연결된 이름 있는 하위 과제 호출에 추출, 번호 제거, 뒤집기, 이어 붙이기를 위임한다.먼저 번호가 붙은 시퀀스의 두 절반을 추출하고, 뒤집기 전에 번호를 제거한다.출처: §G.2.1 · pp. 25–26
• 사고 연쇄 뒤집기 프롬프트는 위치별로 항목을 나열하고, 해당 위치를 역순으로 다시 나열한 뒤 뒤집힌 시퀀스를 출력한다.네 항목 예시는 첫 번째부터 네 번째까지 진행한 뒤, 네 번째부터 첫 번째까지 진행한다.출처: §G.2.1 · p. 27
• 펼쳐 쓴 분해 프롬프트는 분할, 번호 제거, 각 절반 뒤집기, 이어 붙이기를 하나의 추론 과정으로 서술한다.홀수 길이 시퀀스의 예시에서는 앞쪽 절반의 길이를 내림한다.출처: §G.2.1 · p. 27
• 꼬리 기반 뒤집기 변형은 첫 원소를 추출하고 나머지 시퀀스를 뒤집은 뒤, 뒤집힌 꼬리 끝에 첫 원소를 덧붙인다.이 프롬프트도 추출한 항목을 뒤집기와 이어 붙이기 하위 과제에 전달하기 전에 번호를 제거한다.출처: §G.2.1 · p. 28

G.3 긴 문서 QA

• 긴 문서 QA 부록은 CommaQA 실험에 사용한 프롬프트 하나를 제시하며, 전체 프롬프트 모음은 보충 자료로 제공한다.출처: §G.3 · p. 29

G.3.1 분해 프롬프팅: 거친 단위

• 거친 단위의 분해 프롬프팅은 선택과 QA 투영을 연결하고 중간 결과를 평탄화한 뒤 중복을 제거해, 인물·영화·상에 관한 다중 홉 질문에 답한다.한 예시는 Modiparity 수상자 Bioperatology를 선택하고, 그가 감독한 영화 Pestok과 Vitrilateral을 찾은 뒤 두 영화의 수상 내역인 Gutney와 Antipositive를 반환한다.출처: §G.3.1 · pp. 29, 31
• 거친 단위의 프롬프트 예시는 Sclerocybin이 각본을 쓴 영화와 1935년생 인물을 묻는 직접 질문에 리스트로 답한다.각 답변은 Noenometer와 Tayenne, Sclerocybin과 Zayage다.출처: §G.3.1 · p. 31

G.3.2 분해 프롬프팅: 세밀한 단위

• 세밀한 분해는 이전 답변에 대한 선택과 평탄화·중복 제거 투영을 사용해 simp qa, pos qa, aw qa 호출을 연결한다.예시에서는 출생 연도로 인물을 선택하고, 이들이 제작하거나 각본을 쓴 영화를 찾은 뒤 해당 영화의 수상 내역을 찾는다. 참조 #1과 #2는 이전 답변을 가리키며, [EOQ]는 완료를 표시한다.출처: §G.3.2 · pp. 31–32
• 상을 출발점으로 삼는 분해는 수상 영화에서 배우로, 또는 수상 인물에서 그가 감독한 영화로 이동한 뒤 수상 내역을 찾는다.Erowid 예시는 Aniconder와 Trifogation을, Modiparity 예시는 Gutney와 Antipositive를 반환한다.출처: §G.3.2 · p. 32
• aw qa 예시는 영화와 인물의 수상 내역을 찾고, 지정한 상의 수상자를 식별한다.Zalate는 Hallowcock을, Wetherality는 Aniconder를 수상하며, Modiparity 수상자는 Bioperatology다.출처: §G.3.2 · pp. 33–34
• pos qa 예시는 지정한 인물이 제작하거나 감독한 영화와 지정한 영화에 출연한 배우를 찾는다.Teeplemole의 제작 영화 질의는 Featsaw와 Zalate를, Bioperatology의 감독 영화 질의는 Pestok과 Vitrilateral을 반환한다. Dewbar의 출연 배우 질의는 Wetherality를 반환한다.출처: §G.3.2 · pp. 34–35
• simp qa 예시는 출생 연도나 출신 국가로 인물을 선택하고 개봉 연도로 영화를 선택한다.국가 질의는 Gastrat의 출신 국가를 Stridery로 식별하며, 개봉 연도 질의는 1984년에 해당하는 Dewbar와 Nilitude를 반환한다.출처: §G.3.2 · pp. 31, 37
• 세밀하게 분해한 프롬프트는 출생 연도, 출신 국가, 영화 개봉 연도에 관한 직접 질문에 리스트로 답하는 예시를 보여 준다.예시는 Kapod의 출생 연도, Legault 출신 인물, Nohit의 개봉 연도를 반환한다.출처: §G.3.2 · pp. 37–38

G.3.3 CoT

• CoT 프롬프트는 출생 연도에서 제작자, 영화, 상으로 이어지는 연쇄를 보여 주며 Zorgion, Chowwurst, Hallowcock을 반환한다.예시에서는 QS 아래에 추론을, A 아래에 답변을 제시하고 [EOQ]로 종료한다.출처: §G.3.3 · p. 38
• 다른 CoT 예시는 Erowid 수상 영화에서 출연 배우를 찾고 배우들의 수상 내역을 추적해 Aniconder와 Trifogation을 반환한다.추론은 Dewbar와 Caudacite를 식별한 뒤 Wetherality, Lougeri`ere, Gigabut을 식별한다.출처: §G.3.3 · p. 39
• 추가 CoT 예시는 수상 경력이 있는 감독을 거치거나 출생 연도로 선택한 각본가를 거쳐 영화의 수상 내역을 찾는다.감독 예시는 Gutney와 Antipositive를, 각본가 예시는 Brownbeard, Goosehead, Handt를 반환한다.출처: §G.3.3 · pp. 39–40

G.4 작은 컨텍스트 윈도용 짧은 프롬프트

• 짧은 qa(small) 예시는 수상 내역, 제작, 출연, 출신 국가에 관한 단일 관계 질문에 답한다.영화의 수상 내역이나 특정 상과 관련된 영화를 찾는 예시가 포함되며, 답변은 리스트 형식이다.출처: §G.4 · pp. 40–41
• 짧은 변형에는 aw qa(small), pos qa(small), simp qa(small)이 있다.제시된 aw 예시는 수상 영화를 찾고, pos 예시는 특정 인물이 제작하거나 출연한 영화를 찾는다.출처: §G.4 · pp. 41–43
• 짧은 컨텍스트의 사실 QA 예시는 구조화된 영화 관계와 서술형 인물 정보를 직접 질문과 결합하고, 조건에 맞는 개체 리스트를 반환한다.예시는 1910년생이거나 Piperfish 출신인 인물을 묻는다.출처: §G.4 · p. 43
• 짧은 컨텍스트의 사고 연쇄 예시는 인물의 출생 연도를 그가 제작한 영화와 해당 영화의 수상 내역으로 연결한 뒤 답변 리스트를 반환한다.예시는 Muntaril과 Teeplemole을 1910년생으로 식별하고 Zorgion, Chowwurst, Hallowcock을 반환한다.출처: §G.4 · p. 44

G.5 수학 QA

• 수학 QA는 결정론적으로 cot를 호출해 사고 연쇄 추론을 생성한 뒤, gpt ans를 호출해 답변을 추출한다.추출 예시는 3 + 2 = 5가 포함된 추론을 답변 5만으로 변환한다.출처: §G.5 · pp. 44–45

G.6 개방형 도메인 QA

• 모든 검색 기반 접근법에서 검색할 문단 수를 조정하는 데 개발 세트 질문 100개를 사용한다.부록에는 무작위로 추출한 질문 20개 중 5개의 프롬프트가 포함되어 있다.출처: §G.6 · p. 46
• 개방형 도메인 다중 홉 QA는 retrieve odqa 하위 질문을 연결한 뒤, 수집한 문서 제목과 원래 질문을 multihop titleqa에 전달한다.한 예시는 먼저 David Hicks를 식별한 뒤 그가 준군사 훈련을 받은 곳을 물어 최종 답변으로 아프가니스탄을 얻는다.출처: §G.6 · p. 46
• 나이 비교 예시는 각 인물의 생년월일을 개별적으로 검색한 뒤, multihop titleqa로 Jeremy Horn이 Renato Sobral보다 나이가 많다고 판단한다.이는 개체 의존적인 검색 연쇄가 아니라, 별도의 검색 하위 질문들이 최종 비교에 입력되는 방식을 보여 준다.출처: §G.6 · pp. 46–47
• 검색 기반 예시는 먼저 후보 제목을 검색하고 singlehop titleqa를 호출해 제목과 답변을 반환한 뒤 [EOQ]로 종료한다.David Hicks의 훈련 예시는 구조화된 응답에 후보 제목을 유지하면서 아프가니스탄을 반환한다.출처: §G.6 · p. 48
• 단일 홉 제목 QA 예시는 위키백과 제목이 붙은 컨텍스트를 개별 사실 질문 및 짧은 답변 리스트와 짝지어 제시한다.별도 예시들은 Guantanamo: My Journey를 출간한 호주인 수감자를 David Hicks로 식별하고, 그가 훈련받은 국가를 아프가니스탄으로 제시한다.출처: §G.6 · p. 49
• 직접 다중 홉 제목 QA 예시는 Guantanamo: My Journey를 출간한 호주인 수감자를 식별하는 질문과 그가 훈련받은 국가를 묻는 질문을 결합한다.결합된 질문에는 아프가니스탄이라는 짧은 답변이 주어진다.출처: §G.6 · p. 51
• 비교 예시는 Jeremy Horn과 Renato Sobral 중 누가 더 나이가 많은지 묻고 Jeremy Horn을 직접 답변으로 제시한다.별도의 단일 홉 예시는 혼의 생년월일을 August 25, 1975로, 소브랄의 생년월일을 September 7, 1975로 제시한다.출처: §G.6 · pp. 50–51
• 앨범 예시는 개별 단일 홉 질문과 결합된 다중 홉 질문에 Walls and Bridges로 답한다.결합된 질문은 Nobody Loves You를 Apple Records 및 Lennon이 Yoko Ono와 별거한 18개월의 기간과 연결한다.출처: §G.6 · pp. 51–52
• 사고 연쇄 예시는 David Hicks나 Rihanna를 명시적으로 식별한 뒤, 관련된 훈련 장소나 수상 내역 질문에 답한다.예시는 Hicks에 대해서는 아프가니스탄, Rihanna에 대해서는 2012년 American Music Awards에서 1개 수상으로 결론짓는다.출처: §G.6 · p. 52
• 서술형 QA 예시는 결론에 해당하는 답변에 앞서 근거 사실을 제시하며, Jeremy Horn과 Renato Sobral의 생년월일 비교가 그 예다.예시는 Jeremy Horn이 더 나이가 많다고 결론짓는다.출처: §G.6 · pp. 52–53
• 2wikimultihopqa 분해 프롬프트는 retrieve odqa 하위 질문을 내고 검색된 제목을 수집한 뒤, 원래 질문을 multihop titleqa에 보낸다.한 예시는 두 영화감독과 각 감독의 국적을 검색한 뒤 국적이 서로 다르다고 답한다.출처: §G.6 · p. 53
• 시간 비교 분해는 각 영화의 감독과 사망일을 검색한 뒤, 감독이 더 늦게 사망한 영화로 Twenty Plus Two를 선택한다.검색된 사망일은 조지프 M. 뉴먼이 January 23, 2006, 프레드 드 코르도바가 September 15, 2001이다.출처: §G.6 · pp. 53–54
• 순차적 관계 질문은 중간 답변을 다음 검색에 사용해 Krishna Shah에서 Rudra Shah를 거쳐 손자인 Prithvipati Shah까지 추적한다.이후 누적된 제목과 원래의 손자 질문을 multihop titleqa에 전달한다.출처: §G.6 · p. 54
• retrieve odqa 하위 모듈은 먼저 제목을 검색한 뒤 singlehop titleqa를 호출하고, 제목과 추출한 답변을 함께 반환한다.Coolie No. 1의 경우 검색에서 제목 두 개를 반환하고 답변 단계에서 David Dhawan을 식별한다.출처: §G.6 · pp. 54–55
• singlehop titleqa 예시는 위키백과 제목이 붙은 컨텍스트를 감독의 신원, 국적, 사망일에 관한 짧은 답변 리스트와 짝지어 제시한다.예시에서는 감독을 묻는 질문에 데이비드 다완, 그의 국적에 인도, 조지프 M. 뉴먼의 사망일에 January 23, 2006으로 답한다.출처: §G.6 · pp. 57–58
• 친족 관계 예시는 동일한 중간 인물을 매개로 자녀에 관한 단일 홉 질문을 손자에 관한 다중 홉 답변으로 연결한다.Krishna Shah의 자녀는 Rudra Shah이며, 그의 자녀는 Prithvipati Shah다. 손자를 묻는 직접 답변 예시와 사고 연쇄 예시는 모두 Prithvipati Shah를 반환한다.출처: §G.6 · pp. 58, 59, 61
• 2WikiMultihopQA 예시는 직접 답변 리스트와, 중간 개체 및 사실을 식별한 뒤 결론에 도달하는 사고 연쇄 답변을 대비한다.국적 예시는 David Dhawan과 Karl Freund를 식별하고 각각 인도와 독일에 연결한 뒤 국적이 다르다고 결론짓는다.출처: §G.6 · pp. 58–60
• 시간 비교 예시는 감독의 사망이 더 늦은 영화로 Twenty Plus Two를, 출생이 더 이른 인물로 Martin Hodge를 선택한다.감독 비교는 조지프 M. 뉴먼의 사망일 January 23, 2006과 프레드 드 코르도바의 사망일 September 15, 2001을 명시적으로 대조한다.출처: §G.6 · pp. 59–60
• 분해 프롬프트는 retrieve odqa 호출을 연결한 뒤 누적된 위키백과 제목과 원래 질문을 multihop titleqa에 전달한다.CIMI-FM 예시는 퀘벡시를 검색한 뒤 그곳의 첫 대규모 겨울 축제 개최 시점을 검색하고, 1894년을 반환한 뒤 EOQ로 종료한다.출처: §G.6 · p. 61
• 2단계 검색은 먼저 고용 기관을 식별한 뒤 해당 기관의 설립 시점을 물을 수 있다.Neville A. Stanton 예시는 사우샘프턴 대학교를 검색하고 설립 연도를 1862년으로 검색한 뒤, 수집한 제목을 최종 다중 홉 질의응답에 전달한다.출처: §G.6 · p. 62
• 3단계 검색 예시는 가수에서 출생지, 카운티로 이어지는 연쇄를 따라간 뒤 원래 질문에 답한다.Smoke in tha City 예시는 MC Eiht에서 콤프턴을 거쳐 로스앤젤레스 카운티로 이어지며, 마지막이 최종 답변이 된다.출처: §G.6 · pp. 62–63
• ISO 예시는 먼저 ISO 21500 표준을 제정하는 기관을 국제표준화기구로 식별한 뒤, 본부 소재지를 물어 제네바로 답한다.본부 소재지 질문은 이전 답변에서 반환한 기관을 명시적으로 지칭한다.출처: §G.6 · pp. 63–64
• 검색과 QA를 결합한 예시는 제목과 답변 리스트를 반환하고, 독립적인 singlehop 예시는 위키백과 제목이 붙은 컨텍스트와 답변 리스트를 제공한다.결합 형식은 [EOQ]로 끝난다.출처: §G.6 · pp. 63, 65, 66
• 개방형 도메인 QA 예시는 후보 문서 제목을 검색한 뒤 해당 제목과 질문을 singlehop titleqa 모듈에 전달한다.캘리포니아 국경 예시처럼 검색 후보에 무관한 제목이 포함될 수 있다.출처: §G.6 · p. 64
• 연속된 질문으로 Finding Dory를 캘리포니아에, 캘리포니아를 멕시코에 연결한 뒤 국경 길이의 답변으로 1,989 mi를 제시한다.각 질문은 검색을 개별적으로 호출한다.출처: §G.6 · p. 64
• 직접 답변형 multihop titleqa 예시는 중간 추론을 보여 주지 않고 복합 질문과 답변을 짝지어 제시한다.예시에서는 ISO 본부 소재지에 제네바, Neville A. Stanton의 고용 기관 설립 연도에 1862년, Smoke in tha City 가수의 출생지가 속한 카운티에 로스앤젤레스 카운티로 답한다.출처: §G.6 · pp. 67–68
• 사고 연쇄 예시는 CIMI−FM을 퀘벡시와 명시적으로 연결한 뒤, 그곳의 첫 대규모 겨울 축제가 1894년에 열렸다고 식별한다.응답은 두 중간 사실을 모두 제시한 뒤 최종 답변을 반복한다.출처: §G.6 · p. 68
• ISO 21500 예시는 표준 제정 기관을 국제표준화기구로 식별하고 본부 소재지를 제네바로 제시한다.출처: §G.6 · p. 68
• Finding Dory 예시는 먼저 영화의 배경을 캘리포니아로 식별한 뒤, 그 주와 국경을 접한 국가를 멕시코로 식별한다.출처: §G.6 · p. 69
• Finding Dory의 배경에서 출발하는 질문에 대한 답변으로 미국–멕시코 국경 길이 1,989 mi를 제시한다.질문은 영화의 배경인 주와 국경을 접한 국가가 미국과 공유하는 국경의 길이를 묻는다.출처: §G.6 · p. 69
• Neville A. Stanton의 고용 기관으로 식별된 사우샘프턴 대학교의 설립 연도로 1862년을 제시한다.출처: §G.6 · p. 69
• Smoke in tha City 예시는 가수를 MC Eiht로, 그의 출생지를 콤프턴으로 식별한 뒤 해당 카운티를 찾는다.출처: §G.6 · p. 69
• 가수의 출생지 예시는 콤프턴이 속한 카운티를 로스앤젤레스 카운티로 답한다.출처: §G.6 · p. 69