AI 摘要 · 由英文经 AI 翻译
BALMS: Benchmarking Agentic LLMs for Longitudinal Mental Health Sensing
Yu Yvonne Wu, Arvind Pillai, Yuliang Chen, Yuwei Zhang, Sudarshan Regmi, Tess Z. Griffin, Michael V. Heinz, Lisa A. Marsch, Nicholas C. Jacobson, Andrew Campbell
TL;DR
LLM 智能体能否可靠地根据长期感知数据预测心理健康状况，目前尚不明确。BALMS 在三个数据集上评测三种智能体范式的健康评分预测能力及其解释的证据支撑程度。除非采用能力更强的基座模型或紧凑且语义明确的特征，否则零样本预测仍具挑战；思维链提示则能提升经推理调优的基座模型的表现。
问题
纵向感知历史对上下文容量、数值推理和跨数据集迁移构成挑战，智能体如何据此可靠地预测心理健康状况仍不明确。
出处：§1 · p. 2方法
结果
除非采用能力更强的基座模型或紧凑且语义明确的特征，否则零样本预测仍具挑战；思维链提示能提升经推理调优的基座模型的表现。
出处：§1 · p. 2启示与局限
研究结果表明，纵向心理健康智能体的设计应优先关注选择性记忆、数值锚定和数据模式感知推理。
出处：§6 · p. 9BALMS 评测的是基于现有数据集的回顾性预测，而非真实世界中的交互或干预场景。
出处：Limitations · p. 9
Abstract
from arXiv · showhide
Mental health assessment relies on episodic self-report scales, which convert subjective states such as stress into numerical scores but provide only sparse snapshots of wellbeing. Wearable devices offer longitudinal behavioral and physiological signals for continuous, low-burden monitoring. Recent LLM-driven personal-health agents enable natural language queries over wearable signals, but mainly handle short-term, retrieval-based lookups (e.g., highest step count over a week). They do not evaluate whether agents can reason over long-term signals to predict wellbeing scores paired with evidence-grounded rationales. To address this gap, we introduce BALMS, the first systematic benchmark of LLM-based agentic systems for longitudinal mental health sensing. BALMS spans 3 real-world longitudinal datasets, 2 task families (closed-form wellbeing-score prediction and rationale generation auto-graded by an LLM-as-Judge), 3 agentic paradigms evaluated across 5 open- and closed-source LLM backbones. We find that zero-shot agents rarely outperform a simple mean baseline, except with stronger backbones or compact, semantically meaningful features. Chain-of-thought prompting improves reasoning-oriented backbones, but does not guarantee temporal grounding or numerical correctness. Together with more analysis on efficiency and temporal scaling, BALMS highlights the need for longitudinal mental health agents that selectively retrieve history, ground temporal evidence, and reason over interpretable behavioral features.
1 引言
BALMS 基于三个数据集，评测智能体能否从纵向感知历史中生成幸福感数值评分及有证据支撑的解释。结果表明，选择性记忆和语义明确的特征比原始传感器数据流或更长的上下文窗口更重要。
1 引言
- 间歇性评估只能提供稀疏的心理状态快照，且给患者和服务提供者带来负担；可穿戴设备和移动设备被动采集的信号则能捕捉幸福感的长期变化。Substance Abuse and Mental Health Services Administration, 2025 强调了评估带来的负担。设备可持续采集数周至数年的行为与生理信号 。出处：§1 · p. 1
- 现有可穿戴设备智能体评测侧重短时间窗口内的数值查询或定性分析，而非通过纵向心理状态推断给出幸福感预测及配套解释。短时间窗口查询的实例包括 Choube et al., 2025; Heydari et al., 2025; Merrill et al., 2026; Wu et al., 2026。早期临床智能体基准仍以文本为中心 (Schmidgall et al., 2025; Arora et al., 2025)。出处：§1 · p. 2
- 纵向感知给智能体带来多重挑战：上下文溢出、时序数值推理不可靠，以及传感器、特征格式和观测时长方面的数据集差异。数值推理的不可靠性和数据集异质性增加了纵向预测与迁移的难度 (Pillai et al., 2025; Spathis and Kawsar, 2024; Luo et al., 2025)。检索、外部记忆和可执行工具有助于筛选相关历史、将计算交由工具执行，并提供可审查的解释 (Yao et al., 2022; Wang et al., 2023; Lewis et al., 2021)。出处：§1 · pp. 1–2
- BALMS 基于三个来自真实场景的智能手机与可穿戴设备数据集，要求智能体根据长期被动感知历史，给出可验证的幸福感数值评分及有证据支撑的解释。该基准将纵向心理健康感知形式化为一项智能体任务。出处：§1 · p. 2
- 在标准化评测框架下，基于提示、工具和记忆的三种智能体范式在五种开源与闭源 LLM 骨干模型上接受评测。这一统一评测系统地比较了不同骨干模型上的智能体设计。出处：§1 · p. 2
- 智能体零样本预测仍具挑战，但更强的骨干模型以及紧凑、语义明确的特征可带来例外。思维链提示显著改善了经推理优化的骨干模型的表现。相比原始传感器数据流或更长的上下文窗口，智能体从选择性记忆和语义明确的特征中获益显著更多。出处：§1 · p. 2
2 面向纵向心理健康感知的 LLM 智能体基准评测
BALMS 在三个真实世界数据集、两类任务、三种智能体范式和五种 LLM 基座模型上，对纵向心理健康感知进行基准评测。其目标是在临床就诊间隔期实现低负担监测，评估评分与自我报告的一致性，以及解释能否由感知数据核验，而非诊断能力。
2.3 LLM 系统基准评测
- 在 3 个数据集和 5 种 LLM 基座模型上，针对两类任务评测 3 种智能体范式：基于提示的推理、基于工具的分析和基于记忆的检索。各范式向 LLM 提供纵向感知数据的方式不同；评分预测采用 MAE，解释生成采用 LLM-as-a-Judge 评分准则。出处：Figure 3 · p. 3, §2 · p. 3
2 面向纵向心理健康感知的 LLM 智能体基准评测
- BALMS 旨在临床就诊间隔期实现连续、低负担的监测，而非诊断，要求评分与自我报告一致，且解释可由感知时间窗内的数据核验。因此，该基准同时评估心理健康评分预测，以及对纵向被动感知数据的循证解读。出处：§2 · p. 3
2.1 数据集
- 3 个数据集将被动感知与自我报告配对：DiversityOne 测量每日情绪，PMData 测量每日压力，GLOBEM 测量 PHQ-4 焦虑分量表得分。DiversityOne (Busso et al., 2025) 使用智能手机感知，对来自 8 个国家的 782 名学生进行为期 28 天的跟踪；PMData 使用 Fitbit 信号和每日 1–5 分健康状态量表，对 16 名参与者进行为期 5 个月的跟踪。GLOBEM 连续四年开展研究，每个研究时间窗为 10 周，汇集了 497 名大学生的智能手机和 Fitbit 感知数据，以及每周 PHQ-4 自我报告。出处：§2.1 · p. 3
2.2 任务类别
- T1 根据目标日的历史感知数据预测整数型心理健康评分；T2 要求生成引用传感器数值和跨日模式的解释。T1 遵循 Health-LLM 的零样本设置 (Kim et al., 2024)，将预测与文本生成分离，并保留各数据集的原始量表。T2 使用 LLM-as-a-Judge 评分准则，评估对变化轨迹的判断是否有据可依，涵盖趋势、周周期和恢复情况。出处：§2.2 · p. 4
2.3.1 基于提示的推理系统
- Health-LLM (Kim et al., 2024) 在单个固定上下文提示中提供每日传感器数组、人口统计信息和任务指令，不使用检索、工具或分析规划。BALMS 直接采用其提示模板，仅调整回溯窗口和底层基座模型；要求输出整数型目标标签。出处：§2.3.1 · p. 4
2.3.2 基于工具的智能体
- PHIA 针对预加载的感知数据 DataFrame 运行可执行的 Python 代码，迭代地将结果反馈给 LLM，直至生成最终答案。其 ReAct 循环 (Yao et al., 2022) 生成推理轨迹，并从预定义工具空间中选择动作，支持日期筛选和 groupby 聚合等操作。出处：§2.3.2 · p. 4
2.3.3 基于记忆与检索的智能体
- 基于记忆的智能体检索相似的历史日期，或通过改造后的 RAPTOR 树 (Sarthi et al., 2024) 将日内记录与每日摘要相结合。日级 RAG 使用 sentence-transformer (Reimers and Gurevych, 2019) 对每日信号进行向量编码，按余弦相似度检索 top-k 个日期，并将这些日期的数据随查询一并提供。树式检索同时搜索日内叶节点和 LLM 生成的每日摘要，使检索证据能够混合不同时间粒度。出处：§2.3.3 · p. 5
3 实验设置
BALMS 评估五种 LLM 骨干模型，以平均绝对误差衡量幸福感评分预测表现，并由 LLM 评审评估推理依据的质量。各系统采用相同的目标日期划分和传感数据窗口。
3.1 LLM 骨干模型
- 评估涵盖三种开源指令微调骨干模型、一种开源推理蒸馏骨干模型和一种闭源骨干模型。指令微调模型包括 Qwen2.5-7B/14B-Instruct (Yang et al., 2025) 和 Mistral-7B-Instruct-v0.3 (Jiang et al., 2023)。其余模型为 DeepSeek-R1-Distill-Qwen-14B (DeepSeek-AI, 2025) 和 Claude-Haiku-4.5 。出处：§3.1 · p. 5
3.2 基准评估指标
- 预测性能采用平均绝对误差（MAE）衡量，推理依据则由 Llama-3.3-70B-Instruct 评审，考察其证据支撑、时间语义及与预测评分的一致性。MAE 比较整数预测值与各数据集原有 Likert 量表上的金标准标签，并在留出的目标日期上取平均。评审模型接收传感数据窗口、自评金标准分数、智能体预测值及推理依据。出处：§3.2 · p. 5
- 时间推理评估改编自 TemporalBench (Cai et al., 2024)，考察时间对齐、切片、差异判断、时滞、结构及跨通道交互。这些维度涵盖将时间条件映射到字段、比较时间片段、量化变化、延迟效应、识别峰值或变化点，以及通道间的联合效应。操作被标记为正确、错误或未调用；报告指标包括调用率、条件准确率及已调用且正确的覆盖率，不因省略不必要的操作而扣分。出处：§3.2 · pp. 5–6
- 通用质量评估改编自 PHIA 专家评分准则 ，考察忠实性、证据支撑、领域知识、安全性、清晰度和整体质量。各维度均采用 1–5 分 Likert 量表评分。忠实性检验预测能否从推理中合乎逻辑地得出；证据支撑检验所引用的事实能否通过输入窗口中的数据核实。出处：§3.2 · p. 6
3.3 实现细节
- 各系统采用相同的目标日期划分和输入窗口，本地部署的开源骨干模型与通过 API 调用的 Claude-Haiku-4.5 使用一致的提示格式和解码设置。开源模型通过 vLLM 在四张 A6000 GPU 上运行；Health-LLM 和 PHIA 遵循官方实现，最多执行 10 次 ReAct 迭代。Chunk RAG 遵循 LangChain 官方实现，RAPTOR 则基于日内记录和每日摘要构建两层记忆树。出处：§3.3 · p. 6
4 结果与讨论
零样本心理健康水平预测很少优于均值基线，推理质量则高度依赖骨干模型。更长的历史、更丰富的传感器输入和更大的模型并不总能提升性能：检索、可解释特征和兼容的工具模式才是关键。
4.2 推理与解释分析
- 只有 Claude-Haiku-4.5 同时弥合了解释质量和时序证据支撑方面的差距；开源指令微调骨干模型虽能生成流畅的解释，却难以完成时序推理。指令微调骨干模型对对齐（C1）和结构（C5）的调用率接近零，反映出其在历史窗口切分和跨通道相关性跟踪上的不足。出处：Figure 4 · p. 7, §4.2 · p. 7
4.1 零样本心理健康水平预测
- Claude-Haiku-4.5 搭配 Health-LLM 在 DiversityOne 上的 MAE 为 0.42，优于均值基线的 0.58，但零样本智能体总体上很少超过均值预测器。基线不使用传感器输入，直接以训练集标签的均值作预测；更强的骨干模型或紧凑且语义明确的特征可带来例外。出处：§4.1 · pp. 6–7
- 更大的骨干模型能提升 HealthLLM 和 RAG 的表现，但 PHIA 更依赖工具模式兼容性，而非单纯的语言能力。PHIA 在 PMData 的 Fitbit 式聚合数据上表现出色，却在 DiversityOne 和 GLOBEM 的原始移动端数据流上失效，因为这类数据使生成的代码容易出错。建议的方向是将能力更强的骨干模型与结构化传感器表示或原始信号相结合，而非仅依赖零样本提示。出处：§4.1 · p. 7
4.2 推理与解释分析
- CoT 提示带来的最大 MAE 降幅为 41.4%，主要受益者是经过推理调优的 DeepSeek 和 Claude 骨干模型。大多数配置均有改善，但更大的骨干模型并不能保证时序证据支撑或数值正确性。出处：§4.2 · p. 7
4.3 长时域扩展
- 延长历史后，RAG 在 PMData 和 GLOBEM 上的 MAE 分别降低 ∼29% 和 ∼9%；HealthLLM 的表现反而下降，PHIA 则仍对模式敏感。实验使用 Qwen2.5-14B-Instruct，并固定目标日。新增文本记录可能稀释 HealthLLM 的目标日证据；PHIA 预加载的 DataFrame 使其在 PMData 上表现稳定，但在 GLOBEM 上仍较弱且波动更大。出处：Figure 5 · p. 8, §4.3 · p. 8
4.4 效率与敏感性分析
- 仅来自智能手表的紧凑特征往往能匹敌甚至超过完整多模态输入，而 Health-LLM 和 RAG 避免了 PHIA 高成本的迭代代码执行。GLOBEM 上移除移动端数据流后的结果表明，语义丰富的行为特征比原始高频信号更有利。CoT 尤其会放大 PHIA 的延迟开销，因为它需要反复生成、运行和调试代码。出处：Table 4 · p. 8, §4.4 · p. 8, Figure 6 · p. 8
5 相关工作
现有医疗和移动端智能体基准评估工具使用、规划与交互能力，但未涵盖纵向心理健康感知的核心挑战。
5 相关工作
- 现有基准未涵盖对数周至数年的可穿戴设备历史数据进行推理、以数值时序模式为预测依据，以及评估解释是否支撑具体的身心健康评估结果。出处：§5 · p. 9
- MedAgentBench 在基于 FHIR 的交互式电子健康记录环境中评估医疗智能体 (Jiang et al., 2025)。出处：§5 · p. 9
- 移动端智能体基准评估智能体能否通过图形界面操控智能手机应用 (Deng et al., 2024)。出处：§5 · p. 9
6 结论
BALMS 对用于纵向心理健康感知的 LLM 智能体进行基准评测，发现零样本预测可具竞争力，但可靠表现依赖于获取纵向证据并以此为依据。研究结果表明，选择性记忆、数值锚定和数据模式感知推理是关键设计需求。
局限性
BALMS 基于回顾性数据评估代表性的单智能体设计，尚未测试真实世界中的交互或干预场景。其基于 LLM-as-Judge 的推理依据评估不能替代临床专家评估或受试者评估。
局限性
- BALMS 涵盖基于提示、工具和记忆的单智能体系统，但不包括多智能体协作、规划器–执行器架构，以及动态结合工具、记忆与反思的智能体。因此，该基准涵盖的是代表性的智能体范式，而非所有可能的智能体设计。出处：Limitations · p. 9
- 基于现有数据集的回顾性预测尚未检验智能体在真实世界交互与干预场景中的表现。未来工作应评估前瞻性部署，并研究真实世界心理健康支持场景中的安全性、校准和个性化。出处：Limitations · p. 9
- 基于 LLM-as-Judge 的推理依据评估支持大规模比较时序证据支撑、数值正确性和解释质量，但不能替代临床专家评估或受试者评估。未来工作应纳入临床医生和用户的评估。出处：Limitations · p. 9
伦理声明
BALMS 所评测的系统旨在辅助临床决策，而非自主诊断。伦理声明强调了滥用风险、研究数据的去标识化处理，以及向不同人群推广的局限。
潜在滥用
- 所评测的系统应辅助临床决策，而非替代专业诊疗，因为自主开展且未经校准的心理健康画像评估可能让人误以为自身无碍，或引发不必要的临床焦虑。作者明确反对将这些系统用作自主诊断工具，替代专业诊疗。出处：Ethics Statement · p. 9
人群代表性
- 未经主动校准和本地对齐，不应将零样本模型权重推广应用于各类临床场景。传感数据模式因人口特征、文化和社会经济群体而异；所评测的模型可能继承或放大学生或特定地区人群中的数据稀疏模式与行为偏差。出处：Ethics Statement · p. 9
数据隐私
- BALMS 对此前已收集且完全去标识化的 DiversityOne、PMData 和 GLOBEM 研究队列数据进行二次分析。研究未访问、存储或处理任何受保护的健康身份标识信息。作者表示，由于使用的是匿名化研究数据，按照标准机构指南，本研究不属于涉及人类受试者的研究，无需 IRB 审查。出处：Ethics Statement · p. 9
A 数据处理细节 … F5. 原始数据流上忽略数据模式的聚合。
PHIA 在 PMData 上看似有竞争力，实则源于预测的模式坍缩，而非基于可穿戴设备数据的推断。执行轨迹分析表明，这一行为与空输出、执行状态丢失、臆造阈值、强制完成及不匹配数据模式的聚合有关。
A 数据处理细节
- 默认的零样本幸福感评分预测使用按日聚合的多变量传感信号；DiversityOne 的回溯窗口为 7 天，PMData 和 GLOBEM 为 14 天，显式改变窗口长度的分析除外。评估使用蒙古国的 DiversityOne 队列预测情绪（1,355 个样本），使用 PMData 全部 16 名参与者的数据预测压力（1–5 级 Likert 量表；1,448 个样本），并使用 GLOBEM 的 INS-W_1 队列预测 PHQ-4 焦虑评分（0–3；1,640 个样本）。GLOBEM 评估仅覆盖一个连续 10 周的研究周期，且仅考察焦虑分量表，跨周期的数据不连续问题留待后续研究。出处：A Data Processing Details · p. 12
- PHIA 接收用户的完整历史记录，迭代上限为 10 次；Chunk RAG 和 RAPTOR 则检索三个历史候选项。基于提示的基线原样使用 Health-LLM 模板；Chunk RAG 使用 sentence-transformer 编码历史各日的数据，并将检索到的日期数据与查询日数据结合。RAPTOR 构建两层树，以日内数据为叶节点、以 LLM 生成的每日摘要为上层节点，两类节点在相同的检索预算内竞争。出处：A Data Processing Details · p. 12
B PHIA 失败分析
- PHIA 未能从更强的骨干模型中获益，仅在 PMData 上具有竞争力。失败分析使用 Qwen2.5-14B-Instruct，随机种子为 0；结论在 Mistral-7B、Qwen2.5-7B 和 DeepSeek-R1-Distill-Qwen-14B 上一致。出处：B PHIA Failure Analysis · p. 12
B.1 预测坍缩为单一标签
- 在 PMData 上，PHIA 的 MAE 为 0.57，均值预测器为 0.48；在 GLOBEM 上，两者分别为 1.52 和 0.80。这些结果反映的是 PHIA 的模式坍缩，而非基于传感数据的预测。PHIA 在 PMData 上主要预测标签 3，在 GLOBEM 上主要预测标签 2；在 DiversityOne 上，几乎每个窗口都生成无法解析的答案。出处：§B.1 · p. 12, Table 7 · p. 13
B.2 失败类型
- 静默执行失败伴随着空观测结果：GLOBEM 每个窗口为 2.0 次，PMData 为 0.7 次；执行状态丢失进一步削弱了数值证据的可靠性。缺少 print() 调用或表达式被截断会导致无输出，但智能体仍引用未生成的数值；GLOBEM 的 82 个追踪窗口中记录了 168 次此类事件。动作块之间的变量丢失会触发 NameError，促使智能体进行更长的重试，而重试往往再次出现静默执行失败。出处：§B.2 · pp. 12–13
F3. 强制完成并生成幻觉理由。
- 追踪的 PMData 窗口中，10 个有 8 个以强制完成结束，且理由引用了执行过程中从未计算过的数值证据。当步数预算耗尽却仍无可解析答案时，评测框架会要求输出最终标签；由此生成的理由会引用缺乏依据的变化量、阈值或趋势。出处：F3. Force-finish with hallucinated… · p. 13
- 臆造阈值将几乎所有用户置于硬编码决策边界的同一侧，从而导致模式坍缩。GLOBEM 上的例子包括 steps > 20000 和 sleep_minutes > 1680，两者均非根据用户的历史分布得出。出处：F3. Force-finish with hallucinated… · p. 13
F5. 原始数据流上忽略数据模式的聚合。
- 忽略数据模式的聚合使 DiversityOne 成为表现最差的情形：即使代码成功执行，也可能从日内传感数据行生成语义错误的摘要。DiversityOne 每天约有 18 个时长为 30 分钟的时段；若不先按日重新索引就直接求均值或求和，会混淆时段级与日级汇总，而 PMData 的数据行已预先聚合。空输出和状态丢失使结果缺乏可核验证据，迫使智能体转向臆造的启发式规则，或在预算耗尽时被迫完成。出处：F5. Schema-blind aggregation on raw… · pp. 13–14
B.3 示例执行轨迹 · B.4 启示
示例执行轨迹表明，可解析的预测可能掩盖理由中未实际计算的数值，或基于硬编码阈值的决策。不同骨干模型出现相似故障，说明问题指向模型–沙箱交互约定，也促使研究转向直接呈现历史信息的记忆式方法。
B.3 示例执行轨迹
- 尽管理由中的变化量未经计算，预测也基本由先验驱动，PMData 轨迹仍凭借一个可解析的整数，在总体 MAE 统计中被计为成功。四次被截断的执行尝试均未产生输出；强制结束却仍返回了 4，并对活动、睡眠效率和情绪作出无依据的断言。出处：§B.3 · p. 14
- 在 GLOBEM 轨迹中，total_steps 未定义及 filtered_df 相关错误迫使智能体重建状态，最终返回了 3。智能体将 step_threshold = 20000 和 sleep_minute_threshold = 1680 硬编码。出处：§B.3 · p. 14
- GLOBEM 上 86% 的模式坍塌源于反复使用硬编码阈值决策，恢复得到的汇总值仅用于在两个固定分支之间作选择。示例轨迹最终成功执行，但预测仍完全由阈值决定。出处：§B.3 · p. 14
B.4 启示
- Qwen2.5-14B、Mistral-7B 和 DeepSeek-R1-Distill-Qwen-14B 均出现相同的故障模式，这与更强的骨干模型未能改善 PHIA 的 MAE 一致。出处：§B.4 · p. 14
- 识别出的瓶颈在于模型–沙箱交互约定，即打印输出规范、状态持久化和阈值推导，而非语言推理能力。出处：§B.4 · p. 14
- 基于记忆的范式将相关历史信息直接呈现给 LLM，避开了这些故障所涉及的静默执行环节。出处：§B.4 · p. 14
C 延迟分析
延迟分析测量回溯窗口增大时的平均单样本延迟，并在不同骨干模型和数据集上比较采用与不采用思维链的提示方式。
延迟与回溯窗口的关系
- 回溯延迟分析评估了历史窗口增大时，Qwen2.5-14B-Instruct 在 PMData 和 GLOBEM 上的延迟表现。Figure 7 配合正文中的回溯分析。出处：C Latency Analysis · p. 14
各骨干模型的延迟子图
- Qwen2.5-7B-Instruct 的各子图展示了三个数据集上的平均单样本延迟，比较采用与不采用思维链的提示方式。Qwen2.5-14B-Instruct 的对应结果见正文 Figure 6。出处：Figure 8 · p. 15, C Latency Analysis · p. 15
- Mistral-7B-Instruct-v0.3 的各子图展示了三个数据集上的平均单样本延迟，比较采用与不采用思维链的提示方式。Figure 9 涵盖各个智能体系统。出处：Figure 9 · p. 15, C Latency Analysis · p. 15
- DeepSeek-R1-Distill-Qwen-14B 的各子图展示了三个数据集上的平均单样本延迟，比较采用与不采用思维链的提示方式。Figure 10 涵盖各个智能体系统。出处：Figure 10 · p. 15, C Latency Analysis · p. 15
D 提示词模板
附录提供预测和 ReAct 提示词示例，以及用于评估预测理由的两层评分标准。同一时间窗的案例研究表明，仅看预测误差无法体现证据依据和推理质量的差异。
D 提示词模板
- ReAct 示例交替进行思考、代码操作和观察，检查纵向数据并计算每日汇总值，直至给出最终答案或达到迭代上限。示例检查了 14 天的数据，每天分为四个时段，记录缺失值，并考察睡眠、屏幕使用、移动行为和社交活动。出处：D Prompt Templates · p. 16
- Health-LLM 模板根据可穿戴设备信号和自报背景信息预测压力；推理版本要求给出分数及逐步论证。压力评分范围为 0 至 5，回溯输入包括步数、热量消耗、静息心率、睡眠和情绪。示例依据稳定的心率、不规律的睡眠和情绪，将压力评为 3。出处：D Prompt Templates · pp. 16–17
- 评判模型依据标准输入时间窗、真实标签、预测标签和两层评分标准，评估每条预测理由。所有骨干模型均统一由 Llama-3.3-70B-Instruct 评判，采用贪心解码以保证可复现性，并通过 vLLM 部署，使用 8 位量化和 2 路张量并行。出处：D Prompt Templates · p. 17
- 第 1 层检查时间对齐、切片、差异判断、滞后、结构和交互，对已运用的维度判定正误，未运用的维度不扣分。正确运用记为 1，错误运用记为 0，未运用记为 null。这些维度涵盖时间映射、片段比较、变化、滞后效应、整体模式和多变量联合推理。出处：D Prompt Templates · p. 17
- 第 2 层评估忠实性、证据支撑、领域知识、安全性、清晰度和总体质量，区分预测是否有逻辑支持与是否符合真实值。各维度采用 1–5 分 Likert 量表，以 Overall 为主要评分。证据支撑评分会对虚构特征、数值错误和日期归属错误扣分；评分理由必须引用推理依据原文或输入数值。出处：D Prompt Templates · p. 17
- 基准汇总分别报告第 1 层的条件准确率和运用率，以宏平均条件准确率为主要指标，并对第 2 层的非 null 评分取平均。条件准确率为 #correct ÷ #invoked，未运用任何维度时无定义；运用率为 #invoked ÷ N。出处：D Prompt Templates · p. 18
D.1 推理案例研究：同一时间窗，两种骨干模型
- Qwen 的预测误差为 3 分，Claude 为 2 分，但这掩盖了预测理由的质量差异：两者均高估焦虑程度，但只有 Claude 的理由通过了两层评估。两者使用的同一 GLOBEM 时间窗中，真实 PHQ-4 焦虑评分为 0。Claude 得出中等焦虑的结论，与其观察一致；Qwen 得出更高焦虑程度的结论，却缺乏证据支持。出处：§D.1 · p. 19
- Qwen 的四项数值断言中有两项存在日期归属错误；Claude 的每项数值断言均有据可查，还识别出跨时间窗趋势，并整合了四个信号通道。Qwen 错误归属的数值实际出现在该时间窗的其他日期。Claude 识别出位置熵下降，并联合分析睡眠、活动、屏幕使用和移动行为；Qwen 则选择性引用了一项与数据相矛盾的变化，并孤立罗列各项特征。出处：§D.1 · p. 19, Table 8 · p. 20