AI 摘要 · 由英文经 AI 翻译
Generative Interfaces for Language Models
Jiaqi Chen, Yanzhe Zhang, Yutong Zhang, Yijia Shao, Diyi Yang
TL;DR
对话式界面仍是静态、线性的,而生成式界面通过生成任务专属 UI,构建自适应、以目标为导向的交互。论文将结构化表示和迭代优化与系统评估相结合,发现其优于对话式方案,尤其适用于结构化、信息密集型任务。
问题
对话式 UI 仍然静态且线性,论文探讨 LLM 如何支持适应用户需求的自适应、目标导向交互。
出处:§1 · p. 1方法
论文提出生成式界面,通过结构化表示和迭代优化动态生成任务专属 UI,并配套系统评估框架。
出处:§1 · pp. 1–2结果
生成式界面在多种查询类型和交互模式下均优于对话式方案,尤其适用于结构化、信息密集型任务。
出处:§1 · pp. 2–3, §6 · p. 9启示与局限
该系统仅支持 HTML/JavaScript 前端,不包含后端逻辑,因此生成界面的复杂度受到限制。
出处:Limitations · p. 9
Abstract
from arXiv · showhide
Large language models (LLMs) are increasingly seen as assistants, copilots, and consultants, capable of supporting a wide range of tasks through natural conversation. However, most systems remain constrained by a linear request-response format that often makes interactions inefficient in multi-turn, information-dense, and exploratory tasks. To address these limitations, we propose Generative Interfaces for Language Models, a paradigm in which LLMs respond to user queries by proactively generating user interfaces (UIs) that enable more adaptive and interactive engagement. Our framework leverages structured interface-specific representations and iterative refinements to translate user queries into task-specific UIs. For systematic evaluation, we introduce a multidimensional assessment framework that compares generative interfaces with traditional chat-based ones across diverse tasks, interaction patterns, and query types, capturing functional, interactive, and emotional aspects of user experience. Results show that generative interfaces consistently outperform conversational ones, with up to a 72% improvement in human preference. These findings clarify when and why users favor generative interfaces, paving the way for future advancements in human-AI interaction. Data and code are available at https://github.com/SALT-NLP/GenUI.
1 引言
对话式 UI 仍然静态、线性;生成式界面则动态创建特定任务所需的界面,支持灵活且以目标为导向的交互。本文介绍了这类界面的基础设施与评估方法,并报告了它们在多种查询类型和交互模式下相较于对话式方案的优势。
1 引言
- 对话式 UI 仍然静态且线性,难以支持用户多样化的学习、探索和交互方式。出处:§1 · p. 1
- 生成式界面会根据用户目标和交互需求,动态创建相应的界面结构,而非返回静态文本。例如,交互式神经网络动画,或带有实时反馈的钢琴练习工具。出处:§1 · p. 1
- 该框架将结构化的界面专用表示与迭代优化相结合,并系统比较生成式界面和对话式界面。评估框架考察功能性、交互性和情感感知。出处:§1 · p. 2
- 生成式界面在多种查询类型和交互模式下均表现出优势,尤其适用于结构化、信息密集的领域。评估还指出,视觉组织、交互性和较低的认知负荷是用户偏好这类界面的原因。出处:§1 · pp. 2–3
2 面向 LMs 的生成式界面
系统将用户查询转化为结构化表示,以指导界面生成;随后通过针对查询的评估和迭代优化来改进候选 UI。其设计涵盖交互流程与组件级行为建模、多步生成流程,以及自适应的奖励驱动优化。
2.1 特定于界面的结构化表示
- 结构化表示将交互流程建模为用户轨迹,并将有限状态机建模为组件行为和 UI 逻辑。交互流程是由视图或子目标及其转换构成的有向图;每个组件 FSM 都规定了组件对用户事件的响应状态变化。出处:§2.1 · p. 3
2.2 生成流程
- 生成流程将查询依次转化为需求规格、结构化表示和可执行的 HTML/CSS/JS 代码。该流程还将可复用 UI 组件以及检索到的示例或数据源作为代码合成的上下文。出处:§2.2 · p. 3
2.3 UI 迭代优化
- 迭代优化过程使用 LLM 构建针对每个用户查询定制的奖励函数,并生成带有相应权重和验证规则的细粒度评估指标,用于为候选方案打分。出处:§2.3 · p. 3
- 优化过程基于得分最高的候选方案及其评估结果重新生成界面,直至得分达到 90 或完成五轮迭代。这一反馈循环旨在解决结构、语义或视觉设计方面的问题。出处:§2.3 · p. 4, Figure 2 · p. 4
3 评估框架
评估框架结合了多样化的查询集、多维度的用户感知评估指标,以及对界面输出进行的成对人类判断。该框架通过广泛覆盖提示词并由受训标注者开展评估,从功能、交互和情感维度考察界面。
3 评估框架
- 评估框架结合了多样化的用户查询集、多维指标和综合性用户研究。出处:§3 · p. 4
3.1 用户查询
- UIX包含100个查询,覆盖十个领域、简洁和详细两类提示词,以及对话式和任务导向型查询。提示词由Claude 3.7生成,旨在覆盖不同的具体程度和复杂度。出处:§3.1 · p. 4
3.2 评估指标
- 评估指标从功能、交互和情感感知出发,涵盖七个维度:查询一致性、任务效率、易用性、易学性、信息清晰度、美感和满意度。对于每个查询,标注者会从七个维度比较两个界面,并评定总体偏好。出处:§3.2 · pp. 4–5
3.3 人类评估
- 每个评估样本由三名标注者通过成对选择进行判断,并以多数票确定结果;标注者间一致性为中等(Fleiss’ Kappa 0.525)。研究共纳入428名标注者,他们均为美国英语母语者,并且经常使用AI聊天机器人。出处:§3.3 · p. 5
4 实验结果
总体而言,GenUI 优于对话式界面,但优势因任务和领域而异。消融实验表明,结构化表示、迭代优化和自适应奖励均有帮助;用户评论和真实用户查询也进一步揭示了用户偏好。
4.1 主要结果与发现
- GenUI 相较于 ConvUI(Claude 3.7)的胜率为 84.0%;情感吸引力和交互功能是其主要优势来源。比较涵盖功能、交互和情感三个维度。出处:§4.1 · p. 5, Table 1 · p. 6
- 用户对 GenUI 的偏好在数据分析与可视化任务中最强(93.8%),其次是商业战略与运营(87.5%);在高级 AI/ML 应用中,偏好率为 50.0%。用户也更青睐 GenUI 用于交互式任务(80.0%)和详细查询(80.0%);简洁查询的偏好度为 73.0%。出处:§4.1 · p. 6
4.2 消融实验
- 完整框架相较于直接指令式 UI 生成,胜率高出 58.0%;与自然语言表示相比,结构化表示将总体胜率从 13% 提高到 17%。相较于单次生成,迭代优化使总体胜率提高 +14.0%;移除自适应奖励则使总体胜率下降 17.0%。出处:§4.2 · pp. 6–7
4.3 人类偏好分析
- 在提及认知负荷与直觉的用户中,78.5% 更偏好 GenUI;评论认为,其模块化布局和视觉层级让内容呈现更有条理。在一些较简单的场景中,用户更偏好 ConvUI,因为额外工具可能带来不必要的认知负荷。出处:§4.3 · p. 8
4.4 真实用户查询评估
- 在 76 名参与者撰写的 380 条查询中,GenUI 相较于 ConvUI 的胜率为 50.8%,平局率为 8.2%,败率为 41.1%。30.3% 的参与者强烈偏好 GenUI,相比之下,强烈偏好 ConvUI 的参与者占 18.4%。出处:§4.4 · p. 8
5 相关工作
早期自适应界面通常依赖预定义状态,而较新的 LLM 系统能够根据提示生成界面元素。本文的不同之处在于,它针对多样化查询生成完整界面,并通过交互流程和有限状态机对界面行为建模。
上下文感知与自适应界面
- 早期自适应系统采用预定义状态,面临可扩展性、可预测性和用户控制方面的挑战;LLM 则推动了提示驱动的界面生成。此前基于 LLM 的工作通常将文本与预先设计的 UI 结合,或聚焦于更狭窄的场景,例如澄清需求、编辑图表或修改固定组件。出处:§5 · pp. 8–9
既有 LLM 界面
- 不同于使用预先设计的 UI 或修改固定组件的系统,该框架能够针对多样化的用户查询生成定制的完整界面。相关工作还指出,用户无需提供 UI 规范。出处:§5 · p. 9
自动 UI 生成
- 既有 UI 生成方法涵盖基于视觉的逆向工程、神经合成,以及根据自然语言描述、截图和草图生成 UI 的 LLM 方法。一些方法利用 LLM 迭代反馈或中间表示来控制代码生成。出处:§5 · p. 9
中间表示
- 该框架通过交互流程和有限状态机,对用户操作的响应以及界面的演变进行建模。相关方法还包括基于图的表示、UI 语法和由数据模式驱动的规范。出处:§5 · p. 9
6 结论
本文提出 Generative Interfaces:由 LLM 主动生成自适应、可交互的界面,以支持复杂的用户目标。研究显示,与对话式方法相比,该范式具有优势,尤其适用于结构化且信息密集的任务;同时指出,在某些情境下,对话形式仍具竞争力。
局限性
系统支持的前端范围、迭代优化的延迟,以及对每个查询都生成界面的做法,限制了其适用性。
局限性
- 不含后端逻辑的 HTML/JavaScript 前端限制了生成界面的复杂度。更复杂的任务可能需要超越交互流程和有限状态机的表示方式。出处:Limitations · p. 9
- 迭代优化可能带来最长可达数分钟的延迟,在实时场景中或许并不理想。论文指出,模型效率和基础设施的进步有望缓解这一延迟。出处:Limitations · p. 9
- 系统会为所有查询生成界面,包括那些并不需要交互的查询。作者建议,可以通过分类器判断何时需要交互,并有选择地调用该系统。出处:Limitations · p. 9
伦理考量
论文指出,生成式界面可能带来伦理风险,需要提高透明度并加强监督,才能确保界面易用且可信。其提示集涵盖多个实用领域,并按提示详略程度和交互类型进行区分。
伦理考量
- 生成式界面可能造成无障碍使用障碍,通过带有偏见的框架影响决策,并增加用户对可能包含错误信息的输出的信任。论文呼吁提高透明度并加强监督,以确保界面易用且可信。出处:Ethical Considerations · pp. 9–10
提示集
- 提示集涵盖十个实用领域,并根据详略程度以及查询属于一般型还是交互型,将其划分为四个象限。示例包括简洁的一般学习查询,以及详尽的交互式网站构建请求。出处:A Prompt Suite · p. 12
B LLM 评估
本节介绍基于 LLM 的界面评估,并对比自然语言描述与结构化表示。结构化方法将任务层面的交互流程与组件层面的行为分开处理。
B LLM 评估
- 将 LLM 评分与人工成对标注进行比较,二者一致率为 69.0%,但长度偏差可能使 GenUI 更占优势。Claude 3.7 接收 UI 代码和截图,并针对各评估维度给出 0–100 分。出处:B LLM Evaluation · p. 13
C 表示方式:自然语言与结构化表示
- 自然语言表示描述 UI 需求,但不限定界面状态及其转换。它通过描述性字段表达目标、显著特征、技术要求和用户偏好。出处:C Representation: Natural language vs.… · p. 13
D 自适应奖励函数
自适应奖励函数会针对每个查询调整评估指标,补充示例则展示生成界面及其迭代改进。本节还介绍了问卷材料,以及筛选人工标注的流程。
D 自适应奖励函数
- 针对查询定制的奖励标准能够捕捉通用静态奖励容易遗漏的意图,量子物理可视化中的自适应版本与静态版本体现了这一点。自适应标准会检查交互式模型是否呈现波粒二象性等现象;静态版本则生成缺乏连贯性的粒子簇,且未能恰当展示干涉现象。出处:D Adaptive Reward Function · pp. 15–16
E 补充示例
- Figure 7 显示,GenUI 的布局提升了用户感知到的清晰度、可信度和专业性。本节还展示了 Business Strategy & Operations 对比,以及经过改进、以提升易用性和清晰度的持续集成仪表板。出处:E Supplementary Examples · p. 16
F 人类评估问卷界面
- 论文在 Figures 8, 9, and 10 中展示了标注界面,并指出这三幅图就是标注界面的呈现位置。出处:F Human Evaluation Questionnaire… · p. 16
G 人工标注筛选
- 陷阱题、一致性检查和人工复核会剔除注意力不集中或前后矛盾的标注,以及被判定为草率作答的低一致性回答。作者报告称,经过筛选后保留的标注均注意力集中且内部一致。出处:G Human Annotation Filtering · pp. 16–17
H 真实用户查询评估
真实用户评估收集参与者向聊天机器人提交的查询,并请他们比较针对这些查询生成的界面与对话式界面。一项补充示例显示,参与者认为 GenUI 的布局更清晰、可信且专业。
H 真实用户查询评估
- 参与者提交了五条聊天机器人查询,随后比较针对各自查询生成的成对界面,并报告总体偏好。查询未经后处理,Gemini-2.5-flash 用于生成这两类界面。出处:H Real-User Query Evaluation · p. 17
- Figure 6 展示了持续集成界面的连续迭代:逐步减少杂乱内容、增加入门引导,并使性能与流程反馈更加清晰。出处:Figure 6 · p. 18
- 据报告,GenUI 的布局提升了用户感知到的清晰度、可信度和专业性。出处:Figure 7 · p. 18
Related papers
Cited by
- When Interfaces Speak: Data-Aware Generative UI Harness for Active Interaction2026
- EvoGenUI-Bench: Evaluating LLMs as Multi-Turn Generative UI Assistants2026
- Maru: Information Architecture as a Shared Language for Generating Aligned and Persistent User Interfaces2026
- Beyond NL2Code: A Structured Survey of Multimodal Code Intelligence2026
- Macaron-A2UI: A Model for Generative UI in Personal Agents2026