车载LLM助手在多步骤处理中的中间反馈效果研究 "What Are You Doing?": Effects of Intermediate Feedback from Agentic LLM In-Car Assistants During Multi-Step Processing
研究车载AI助手在多步骤任务中提供中间反馈对用户体验、信任和认知负荷的影响
前置知识
人机交互基础
人机交互是研究人与计算机系统之间交互方式的学科，关注如何设计系统以更好地满足用户需求。在本文中，核心概念包括延迟感知（用户对系统响应时间的主观感受）、反馈设计（系统如何向用户传达状态和进展信息）、以及用户体验评估（通过标准化量表衡量用户对系统的满意度和可用性）。
理解人机交互基础是把握本文研究设计和结果的前提，特别是理解为什么反馈时机对用户体验至关重要
LLM代理
LLM代理是基于大语言模型的智能系统，能够自主执行多步骤任务，包括分解用户请求、调用多个工具、并在扩展处理期间综合结果。与传统的单轮问答系统不同，LLM代理可以执行复杂的、多步骤的任务，如搜索和比较航班选项、分析文档和生成综合报告。
本文研究的核心对象就是LLM代理在车载环境中的反馈设计，理解LLM代理的工作机制是理解研究问题的基础
认知负荷理论
认知负荷理论关注人类工作记忆的有限容量，以及任务对认知资源的需求。在驾驶情境中，认知负荷尤为重要，因为驾驶本身需要大量注意力资源。本文使用NASA-TLX量表测量任务负载，包括心理需求、时间需求和挫折感三个维度。
本文的一个关键发现是中间反馈反而降低了认知负荷，这与认知负荷理论的预期相符，说明信息分块可以减少认知负担
信任理论
信任在人机交互中是决定用户是否采用和依赖系统的关键因素。Hoff和Bashir将自动化信任分为三层：性格信任（个人对自动化的总体倾向）、情境信任（特定情境中的信任）和学习信任（基于先前经验的信任）。本文使用S-TIAS量表测量信任，包括信心、可靠性和可信度三个维度。
信任是本文研究的核心变量之一，理解信任理论有助于理解为什么中间反馈能够建立和维持用户信任
驾驶情境中的注意力分配
驾驶是一项需要注意力资源的双重任务情境。当用户在驾驶时与AI助手交互，助手成为次要任务，驾驶是主要任务。研究显示，即使轻量级活动也会损害驾驶性能：免提对话会缩小功能视野，语音交互会施加中等认知负荷。驾驶员分心是事故的主要安全因素。
本文的实验设计包括驾驶和静止两种情境，理解驾驶情境中的注意力分配机制有助于解释为什么反馈设计在驾驶中尤为重要
研究动机
当前部署的面向用户的智能代理系统在反馈实践上存在巨大差异，缺乏统一的设计指导原则。以Cursor为例，该系统在16个月内达到100万用户，但在完成前几乎保持静默，仅在需要时提供细节；Manus AI提供详细的逐步叙述；Perplexity预览步骤但不提供中间结果。这种从最小到最大透明度的多样性反映了不同隐含的用户需求假设。随着这些系统的普及，关于系统应在长时间操作期间如何向用户传达进展的基本问题仍然没有明确答案。在驾驶等注意力关键的双重任务情境中，设计不当的反馈会造成危险的注意力分散或认知过载，而沟通不足会导致'模糊沉默'，使用户对系统进展不确定，从而破坏信任和感知响应性。现有的HCI研究建立了经过充分测试的反馈设计原则，但智能代理系统扩展的处理时间和自主操作带来了新的考虑因素：延迟是固有的而非意外的，多步骤处理期间产生的信息量远超典型的单轮交互，接地通信需要感知和理解的证据，而信任通常决定系统是否被采用和依赖。
本文的目标是本研究旨在通过受控的混合方法用户研究（N=45），系统地调查基于LLM的智能车载助手的反馈时机和详细程度。具体目标包括：（1）确定反馈时机如何影响用户对等待时间的感知、整体体验、信任和认知负荷；（2）研究任务复杂性和驾驶需求如何影响反馈偏好；（3）探索系统反馈的详细程度应如何随时间适应，以及如何根据情境上下文进行调整，以在保持用户知情、最小化分心和建立信任之间达到最佳平衡。研究聚焦于三个关键维度：反馈时机（在任务执行期间提供更新还是仅在完成时提供结果）、交互上下文（AI助手是主要任务还是伴随驾驶的次要任务）、以及自适应详细程度（反馈细节如何随情境需求和长期使用而演变。
与已有工作不同的是，本研究的独特切入角度在于将智能代理系统的反馈设计研究扩展到车载环境这一注意力关键的双重任务情境。与现有工作主要关注短时间、反应性交互不同，本研究专门考察长时间运行的、智能车载助手自主执行多步骤任务的反馈设计。研究不仅关注延迟缓解，还关注信息分块、接地通信和信任建立的综合效应。通过采用2×2×2因子设计（反馈时机×任务时长×交互情境），研究能够系统地分离不同因素的影响，并通过混合方法（定量实验和定性访谈）深入理解用户偏好和适应机制。此外，研究特别关注从信任建立到效率优化的动态演变过程，这是现有研究较少涉及的维度。
核心方法
本研究采用混合方法设计，在受控汽车模拟环境中进行用户研究（N=45）。研究包括定量实验和定性访谈两部分。定量实验采用2×2×2因子设计，系统地操纵反馈时机（无中间反馈 vs 计划与结果反馈）、任务时长（中等26秒 vs 高45秒）和交互情境（静止 vs 驾驶）。参与者与模拟车载语音助手交互，完成八个实验任务，每个任务代表一种条件组合。定量测量包括感知速度、任务负载、用户体验和信任四个依赖变量。定性访谈在实验后进行，通过三个开放式问题探索用户对反馈适应性的偏好。研究设计确保了实验控制和可重复性，同时通过混合方法提供了对反馈效果的深入理解。
本研究的核心创新点在于系统地研究中间反馈在智能代理系统中的效果，特别是在车载这一注意力关键的双重任务环境中。与现有工作主要关注延迟缓解不同，本研究将反馈时机与信息分块、接地通信和信任建立相结合。研究的关键洞察是：中间反馈不仅缓解了等待感，还通过将大量信息分解为更小、渐进的步骤来降低认知负荷，这与认知负荷理论的预期一致。此外，研究揭示了信任建立的动态过程：用户最初偏好透明、详细的反馈以建立信任，然后随着系统证明可靠而逐步减少详细程度，但对于新颖、模糊或高风险任务则立即恢复透明度。这种自适应方法平衡了透明度和效率，是现有研究较少探索的维度。
方法步骤详情
研究方法包括以下步骤：（1）实验装置准备：使用固定位置全框架汽车模型，包括语音用户界面（外部扬声器）、图形用户界面（平板电脑）和车道保持驾驶模拟；（2）LLM模拟系统开发：基于先前开发的智能车载助手，在ProtoPie中创建研究原型，确保所有条件严格可比；（3）实验设计：采用2×2×2因子设计，每个参与者完成8个任务，任务顺序经过分层平衡和随机化；（4）数据收集：感知速度在每个任务后测量，任务负载和用户体验在每两个任务块后测量，信任在每个反馈系统完成后测量；（5）数据分析：使用重复测量方差分析和计划配对t检验进行定量分析，使用主题分析进行定性分析；（6）访谈分析：两个研究者独立编码20%随机子集，开发共享代码簿，然后对剩余转录本进行编码，最终提炼出五个主题。
技术新颖性
本研究的技术新颖性体现在多个方面。首先，研究将智能代理系统的反馈设计研究扩展到车载环境，这是现有工作较少涉及的注意力关键双重任务情境。其次，研究采用2×2×2因子设计，系统地分离反馈时机、任务时长和交互情境的影响，这提供了对反馈效果的更精细理解。第三，研究揭示了中间反馈降低认知负荷的机制，这与认知负荷理论的预期一致，但与直觉相反——更多的交互点反而降低了任务负载。第四，研究通过混合方法深入探索了用户偏好和适应机制，揭示了信任建立的动态过程。最后，研究提供了从信任建立到效率优化的自适应反馈策略，这是现有研究较少探索的维度。
实验结果
研究的核心发现表明，中间反馈在所有测量指标上都显著优于最终反馈。在感知速度方面，中间反馈有大效应（d_z = 1.01，p < .001，95% CI [0.90, 1.54]），说明用户感觉系统响应更快。在用户体验方面，中间反馈有中等效应（d_z = 0.54，p = .002，95% CI [0.06, 0.24]），包括吸引力（d_z = 0.38）、可靠性（d_z = 0.47）和风险处理（d_z = 0.60）三个子维度的改善。在信任方面，中间反馈有小效应（d_z = 0.38，p = .042，95% CI [0.01, 0.60]），特别是在可靠性（d_z = 0.41）和可信度（d_z = 0.34）子维度上。最令人惊讶的发现是，中间反馈降低了任务负载（d_z = -0.26，p = .034，95% CI [-8.54, -0.35]），尽管有多个交互点，这主要由挫折感子维度驱动（d_z = -0.26）。此外，任务时长对感知速度有显著影响（d_z = -0.52，p = .001），但中间反馈缓冲了长任务对感知速度的负面影响。交互情境（静止 vs 驾驶）没有产生一致的主要或交互效应。定性访谈揭示了五个主题：长期适应应以信任为门控、实时外部情境适应、实时内部适应、用户主动控制、以及渐进分块减轻认知负荷。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 感知速度 | 7点Likert量表 | PR反馈显著高于NI反馈 | NI反馈（最终响应） | 大效应（d_z = 1.01，p < .001） |
| 用户体验 | UEQ+ KPI（吸引力、可靠性、风险处理） | PR反馈改善所有三个子维度 | NI反馈 | 中等效应（d_z = 0.54，p = .002） |
| 信任 | S-TIAS（信心、可靠性、可信度） | PR反馈提高信任评分 | NI反馈 | 小效应（d_z = 0.38，p = .042） |
| 任务负载 | NASA-RTLX（心理需求、时间需求、挫折感） | PR反馈降低任务负载 | NI反馈 | 小效应（d_z = -0.26，p = .034） |
局限与改进
本研究存在以下局限性。首先，参与者来自单一汽车公司（45人，29男16女，年龄18-64岁），虽然招募跨越多个部门以确保人口统计多样性和对LLM及语音助手的不同熟悉程度，但结果的可推广性需要谨慎对待。其次，驾驶情境使用标准化车道保持任务模拟，虽然提供了跨参与者的一致认知负荷增加，但无法完全捕捉真实世界驾驶的变异性，如动态交通或环境干扰。此外，该操纵本质上将感知车辆状态与任务需求混淆——研究者假设观察到的效应主要由并发任务的注意力需求驱动，而非感知车辆运动，但未来比较手动驾驶与感知自动驾驶的工作可以实证分离这些因素。第三，中间反馈以固定5秒间隔提供，以隔离反馈时机的效应，自适应或情境感知反馈策略超出本受控实验的范围。第四，研究捕捉了对反馈时机和详细程度的即时反应，纵向适应和情境适应仅通过定性访谈中的自我报告评估，而非来自扩展真实世界部署的行为数据。最后，反馈总是同时通过语音和视觉通道提供，未探索不同的模态组合或额外模态（如触觉提示）。
独立分析的弱点
本研究存在几个值得改进的弱点。首先，样本局限于单一汽车公司的员工，可能不代表更广泛的用户群体——未来研究应包括不同人口统计背景、不同驾驶经验和不同技术熟悉程度的参与者。其次，驾驶模拟使用鼠标点击进行车道保持，无法完全模拟真实驾驶的物理和认知需求——未来工作应使用更真实的驾驶模拟器或实际道路测试。第三，中间反馈以固定5秒间隔提供，未考虑任务复杂性和用户状态的动态变化——未来研究应探索自适应反馈时机算法。第四，反馈总是同时通过语音和视觉通道提供，未分离不同模态的贡献——未来工作应探索单模态和多模态反馈的相对效果。第五，研究缺乏纵向数据，无法评估反馈偏好如何随时间演变——未来研究应进行长期部署研究，跟踪用户反馈适应的动态过程。
未来方向
作者提出的未来研究方向包括：（1）探索中间反馈的时间阈值，确定智能代理系统应从维持用户注意力过渡到后台处理的时间点；（2）研究内容丰富的更新与简单进度提示的相对效果，特别是在信任已建立的情况下；（3）探索自适应详细程度的算法，基于任务新颖性、风险和用户信心调整反馈；（4）研究不同模态组合（如仅视觉中间反馈、触觉提示）的效果；（5）将研究扩展到其他主要任务系统（如客户服务机器人）和双重任务情境（如烹饪时的智能家居助手）。基于研究成果可延伸的方向包括：（1）开发基于学习信任的自适应反馈系统，使用行为信号（接受、中断、纠正、拒绝、覆盖率）作为可靠性的代理指标；（2）研究中间反馈对人类监督的影响，特别是在安全关键领域；（3）探索如何在保持接地通信的同时提高效率，例如通过学习的线索关联；（4）将研究扩展到'深度代理'系统（如OpenAI的Deep Research），这些系统的处理时间跨越数分钟到半小时。
复现评估
本研究具有良好的可复现性。作者提供了ProtoPie实现的屏幕视频作为补充材料，包括不同任务的视觉和听觉反馈。研究使用确定性交互序列，确保所有条件严格可比。实验设计详细记录在论文中，包括独立变量和依赖变量的定义、任务设计、测量时机和数据分析方法。定性研究的最终代码簿和主题结构也包含在补充材料中。然而，复现研究需要考虑以下因素：（1）需要汽车模拟环境和ProtoPie软件；（2）驾驶模拟使用鼠标输入，需要相应的硬件设置；（3）研究涉及人类参与者，需要伦理审查；（4）LLM模拟系统使用固定响应，不是动态生成的，这可能限制生态效度。总体而言，研究设计清晰、材料可用，为复现提供了良好基础。
论文图表
图5展示了任务顺序和测量时间：每个参与者在分层平衡和随机化的顺序下完成所有8个任务。依赖变量在不同时间点测量：感知速度在每个任务后测量，UEQ+（用户体验）和NASA RTLX（任务负载）在每两个任务块后测量，S-TIAS（信任）在每个反馈系统完成后测量。
这张图展示了数据收集的时间安排，帮助读者理解测量的时机和设计逻辑
表3展示了参与者的人口统计分布（N=45）。性别分布：男性64%，女性36%。年龄分布：18-24岁16%，25-34岁44%，35-44岁22%，45-54岁13%，55-64岁4%。LLM熟悉程度：完全不熟悉4%，有点熟悉24%，熟悉24%，非常熟悉29%，极其熟悉18%。语音助手熟悉程度：完全不熟悉0%，有点熟悉20%，熟悉40%，非常熟悉38%，极其熟悉2%。车载语音助手熟悉程度：完全不熟悉36%，有点熟悉29%，熟悉20%，非常熟悉11%，极其熟悉4%。
表3展示了样本的代表性，帮助读者评估结果的可推广性