Designing an Auditable LLM-Supported Workflow for Qualitative Thematic Analysis

• LLMは、構造化されていない大量のテキストデータを分析する可能性を広げており、質的研究への応用も増えている。出典：§1 · p. 1
• テーマ分析では、文脈に即した解釈、反復的なコーディング、テーマの形成、データ・コード・テーマ間の明示的なつながりが求められる。出典：§1 · p. 1
• 既存のLLMを用いたアプローチは、モデルの能力を重視する一方で、質的手法をどのように計算手順へと置き換えるかについての説明が限られている。出典：§1 · pp. 1–2
• 本稿は、分析操作を記録し、出力を経験的な資料に結びつける、監査可能なワークフローの概念実証を提示する。出典：§1 · p. 2
• このワークフローは、LLMによる解釈的推論と決定論的な計算処理を分離し、デンマーク語のインタビュー逐語録を用いて、専門家が作成したテーマ分析と比較評価される。出典：§1 · p. 2
• 本稿の貢献は、5つの設計原則、監査可能なワークフローの構成、構造的比較と専門家評価を組み合わせた評価枠組みである。出典：§1 · p. 2

• 既存のLLM支援型TA研究では、計算アーキテクチャ、分析上の表現、ワークフロー設計に関する判断についての記述が限られている。出典：§2 · p. 2
• 十分に明確化されていない判断には、分析単位の表現、文脈の管理、中間生成物間の連結、分析過程の追跡可能性の維持が含まれる。出典：§2 · p. 2
• 既存の解決策の多くは、独自仕様のクラウド型モデルとAPI基盤に依存しており、データガバナンスや機微な質的データの取り扱いに課題をもたらす。出典：§2 · p. 2
• 関連研究は、追跡可能性、透明性、データガバナンスを保ちながら、TAの方法論的原則を組み込むワークフロー・アーキテクチャの必要性を示している。出典：§2 · p. 2

• テーマ分析では、意味のあるパターンを反復的に解釈してテーマを構築する。その表現は分析の焦点と認識論的立場によって異なる。出典：§3 · pp. 2–3
• 帰納的・潜在的なTAでは、あらかじめ定めた計算規則ではなく、背後にある意味のパターンからコードとテーマを導き出す。出典：§3 · p. 3
• ワークフローは二つの段階から成る。まずインタビューのセグメントにコードを付与し、次にコード間で共有される意味から、より広範なテーマを構築する。出典：§3 · p. 3
• TAの質の基準は、分析プロセス、分析的構成概念の表現、分析上の関係の追跡可能性、分析的に妥当な出力に整理される。出典：§3 · p. 3
• プロセス、表現、追跡可能性は計算的設計の指針となり、分析的に妥当な出力は評価基準となる。出典：§3 · p. 3

動機

• LLMは意味のパターンを特定し整理できるが、計算論的設計では、確率的推論に対応しつつTAの方法論的特性を保持しなければならない。出典：§4 · p. 3

原則1：解釈に必要な文脈を保持する

• 分析単位は、解釈に十分な局所的文脈を保つ一方、モデルのコンテキストウィンドウ内で安定した推論を支えられるだけの小ささでなければならない。出典：§4.1 · p. 3

原則2：追跡可能性を維持する

• コード、テーマ、根拠説明、記述を相互に結びつけ、テーマから元データに至る分析の全経路を再構成できるようにしなければならない。出典：§4.2 · p. 3

原則3：分析概念と推論を明示的に表現する

• コードとテーマには明確なラベルと記述を付し、モデルの推論に暗黙のまま委ねず、経験的資料に根ざした検証可能な根拠を示すべきである。出典：§4.3 · pp. 3–4

原則4：LLMの推論を制約する

• LLMの出力は決定論的手続きではなく確率的手続きから生じるため、文脈に応じた判断を要する分析課題に推論を限定すべきである。出典：§4.4 · p. 4

原則5：プライバシーを保護する導入を可能にする

• プライバシーを保護して導入するには、機微なデータを外部サービスにさらさないよう、オープンウェイト言語モデルを用いてローカルで推論する必要がある。出典：§4.5 · p. 4

データソース

• データセットは、1950年代から1970年代のデンマークにおける家族生活と社会変化を扱ったFREIプロジェクトに由来する。インタビューには、解釈的分析を要する、豊かで文脈に依存した語りが含まれる。出典：§5 · p. 4

データセットの分割

• 文字起こしの品質が低いインタビューを1件除外した結果、99件の逐語録が残り、94件を開発用、5件をテスト用に割り当てた。モデル開発と評価を分離するため、インタビュー単位で分割した。出典：§5 · p. 4

分割単位

• インタビューの逐語録を、連続する質問と回答のペア2組から成る分析単位に分割した。この単位設定により、文脈を踏まえた解釈と、入力が長すぎることやコードが不安定または重複することのリスクとのバランスを取る。出典：§5 · pp. 4–5

ワークフローの構成

• ワークフローでは、解釈的コーディングとテーマ構築をLLMに担わせ、プログラムによる手続きでデータ、コード、テーマ間のつながりを確保する。この役割分担は、計算上の役割をテーマ分析の方法論的要件に対応させるものである。出典：§6 · p. 5

監査可能性

• 生成されたコードとテーマは元データに明示的に結び付けられ、分析上および手続き上の各段階が体系的に表現される。この分離により、計算上の追跡可能性と再現性が確保される。出典：§6 · p. 5

第1段階：テキストからコードへ

• 第1段階では、領域固有のプロンプト、事前定義されたスキーマ、制約付きの出力生成を用いて、セグメント単位のコードと明示的な根拠を生成する。この設計は、セグメントとコード間の多対多の関係に対応する。出典：§6.1 · p. 5, §6 · p. 5

第2段階：コードからテーマへ

• 第2段階では、複数のコードを反復的にテーマへ割り当て、未割り当てコードの累積数が20に達すると主題マップを更新する。各更新では12個のコードを無作為に抽出し、先行するテーマを後続の割り当ての指針とする。出典：§6.2 · pp. 5–6
• 第2段階の出力には、テーマ、記述、コード割り当ての根拠、および追跡可能な構造化データフレーム内に保持された未割り当てコードが含まれる。テーマごとのコードを逆引きする対応表により、割り当てとその分析的推論を記録する。出典：§6.2 · p. 6

設計上の示唆

• この概念実証は、文脈への感応性、データの追跡可能性、コードとテーマの一貫した表現を維持しつつ、ローカル環境での実行とプロンプトの変更による領域適応を可能にする。このワークフローは、解釈的タスクに比較的小規模なオープンウェイトモデルを用い、データを管理された環境内に保持する。出典：§6 · p. 5, §6.2 · p. 6

評価枠組み

• 帰納的テーマ分析では複数の妥当な解釈が認められるため、正確度、意味的類似度、一致度の指標だけでは、単独の品質評価尺度として不十分である。そのため、この枠組みでは構造比較と独立した専門家評価を組み合わせる。出典：§7 · pp. 6–7
• この枠組みでは、計算によるテーマ分析を、構造的特徴と生成された出力の分析的品質から評価する。構造分析ではコードとテーマの構成を調べ、品質評価では意味の明確さとテーマ分析の基準への適合性を検討する。出典：§7 · p. 7

注釈付きデータセット

• 経験豊富な研究者3名が、同じ方法論的手順を用いて独立に注釈を作成した。1名がテストセット全体に注釈を付け、残る2名がより小規模な部分集合を独立にコーディングした。出典：§7.1 · p. 7
• 評価データセットAにはテストセット全体のテーマ分析が含まれ、評価データセットBは複数の注釈者によるコード単位の比較に用いられる。データセットAは291セグメントを含み、コーディングとテーマ生成の両方を対象とする。データセットBはPhase 1を対象とした、より小規模な部分集合である。出典：§7.1 · p. 7

専門家評価

• 専門家評価では、無作為化して評価者に出所を知らせない出力を用い、5件法リッカート尺度でコードの網羅性と分析的正当化の質を評価した。コードの網羅性は抜粋の意味を捉えているかを指し、正当化の質は分析的推論の明瞭さと妥当性を指す。出典：§7.2 · p. 8

含意

• この評価枠組みは、今後の質的分析手法の計算論的な操作化にも適用できるものとして提示されている。その適用範囲は、本ワークフローの応用事例にとどまらない。出典：§7.2 · p. 8

限界

• データセットが比較的小規模であり、有意差検定よりも主に記述統計に依拠しているため、本分析は探索的である。枠組みはより大規模なデータセットにも拡張できるが、知見は確定的な結論ではなく、示唆的なものとして解釈すべきである。出典：§7.2 · p. 8

評価方法

• 評価では、人手による分析との構造比較に加え、コードの意味的妥当性と分析的根拠の質について独立した専門家評価を行う。2つの評価要素により、コードとテーマへの編成を特徴づけたうえで、コードと分析的根拠が分析上意味のあるものであり、データに根ざしているかを評価する。出典：§8 · p. 8

コード単位の構造

• このワークフローがセグメントあたりに生成するコード数はおおむね人手による注釈と同程度だが、全体では人手の注釈者よりやや少ないコードを生成する傾向がある。ただし、ある評価データセットでは、ワークフローはセグメントあたり平均2.33コードを生成し、人手の注釈者の1.85を上回った。この場合は、より包括的なコーディングとなっている。出典：§8.1 · p. 9
• LLMが生成する固有のコードラベル数は人手の注釈者より少ないが、その差は比較的小さく、コードの多様性はおおむね同程度であることが示唆される。LLMは過去のコーディング判断を記憶せずに各セグメントを独立して処理するため、この結果は注目に値する。考えられる説明の一つとして、領域固有のプロンプト設計が挙げられている。出典：§8.1 · p. 9

テーマ構造

• このワークフローは、人手による分析よりもテーマ数が少なく、各テーマの規模がかなり大きいため、より圧縮されたテーマ構造を生み出す。この違いは、テーマあたりのコード数の平均値、中央値、最大値に現れている。出典：§8.1 · p. 10
• コードはLLMが生成した比較的少数の広範なテーマに集中する一方、人手による分析では、コードがより多くの中規模テーマに比較的均等に分布する。著者らは、この集中はテーマの早期統合を反映している可能性があると指摘するが、その関係は体系的には評価されていない。出典：§8.1 · p. 10

専門家評価

• 専門家評価では、コード単位の出力は人手による注釈と同程度と判断された一方、分析的根拠は一貫してこのワークフローのほうが高く評価された。LLMの分析的根拠の平均スコアは3.80で、人手の注釈者は2.73である。また、5つのインタビューセグメントのうち4つでLLMのスコアが高かった。出典：§8.2 · pp. 11–12

貢献

• 5つの設計原則が実装を導く。すなわち、文脈の保持、追跡可能性、推論の明示化、推論の制約、プライバシーを保護するローカル展開である。これらの原則は、Thematic Analysisの方法論的要件を計算論的設計基準へと置き換える。出典：§9 · p. 12

ワークフロー

• 解釈的なLLM推論がコード、テーマ、分析上の正当化を生成し、決定論的な手続きがそれらを構造化・検証し、原資料との関係を保持する。監査可能性は、言語モデルの透明性だけでなく、ワークフローのアーキテクチャによって実現される。出典：§9 · p. 12

評価

• コーディング段階では、ワークフローの出力は専門家評価による網羅性が人間の注釈者とおおむね同等であり、分析上の正当化は平均評価がより高かった。この評価は、本手法の実現可能性と解釈可能性を予備的に裏づける。出典：§9 · pp. 12–13
• ワークフローは人間による分析よりもテーマ数が少なく、範囲が大幅に広いテーマを生成した。このことは、Phase 2の逐次処理が早期のテーマ統合を促すことを示唆する。これは、計算論的ワークフローの設計が、得られる分析構造を積極的に形づくることを示している。出典：§9 · p. 13

限界

• 評価には限られた標本、1つの小規模なオープンウェイトモデル、1つの人間との比較しか用いられず、生成されたテーマの質に対する独立評価もなかったため、結果は慎重に解釈する必要がある。今後の評価では、より多様なデータセット、モデル、注釈者、専門家評価者を用いるべきである。出典：§9 · p. 13