← 返回 2026-10-23

谁来主导?模型能力与任务条件化的人机协作 Who Takes the Lead? Model Ability and Task-Conditioned Collaboration with Humans

Weien Li, Haochen Liu, Zeyu Li, Rui Song, Zixuan Dong, Ye Yuan 📅 2026-10-19 👍 7 2026-11-09 18:30
LLM智能体 人机交互 人机协作 控制分配 智能体评估

模型独立能力越强,越会按人类的位置优势选择性交出操作权

前置知识

控制分配

在人与智能体共享目标的任务中,每一步由谁执行动作是一个分配问题:智能体可以自己行动、指挥人类行动,或把决策权完全交给人。混合主动交互、可调自主性与共享自主性等研究领域都关注控制权如何在人与自主系统之间动态转移。本文中模型每回合从 MOVE_SELF(d)、GUIDE_HUMAN(d)、DEFER_TO_HUMAN 三种动作中选择,正是控制分配的离散化建模。

本文的研究对象就是智能体发起的控制分配,理解这个概念才能看懂实验环境设计与所有行为指标。

适当依赖

在 AI 辅助决策研究中,人类对 AI 建议的依赖率本身无法刻画协作质量:高依赖率可能来自对准确建议的恰当使用,也可能来自对错误建议的过度依赖。同理,智能体对人类的参与率也存在双重歧义——频繁求助可能是把工作交给更有优势的伙伴,也可能是自身能力不足只能外包。

这是论文的立论基础:单看人类参与率无法区分选择性协作与能力不足的外包,必须引入单独能力基线。

位置比较优势 Δ

论文定义 $Δ = d_{A_0} - d_{H_0}$,即开局时智能体与人类头像到共享目标的最短路径距离之差。$Δ>0$ 表示人类路线更短(人类占优),$Δ<0$ 表示智能体路线更短,$Δ=0$ 表示两者相等。实验通过初始位置把 $Δ_0$ 精确设为 $-2$、$0$、$+2$,且这些真值从不出现在模型提示词中,模型只能从迷宫拓扑自行推断。

Δ 是实验中唯一的受控自变量,所有协作行为指标都按它分层报告,是解读结果的关键。

完美迷宫与 BFS 最短路径

论文用随机深度优先搜索加递归回溯在网格上生成完美迷宫:它是覆盖所有格点的生成树,任意两点之间恰有一条简单路径,因此最短路径唯一。广度优先搜索(BFS)在无权图上逐层扩展,可精确算出每格到目标的距离,用于放置目标、采样起点和评估模型每一步是否沿最短路前进。

迷宫生成与精确距离采样保证了人类优势 Δ 可以被几何精确控制,是整个实验设计的数学基石。

双向聚类自助法

自助法通过有放回重采样估计统计量的不确定性。本文同时按参与者(4 人)和迷宫种子(10 个)两个维度聚类重采样 1000 次,得到 95% 百分位置信区间,以处理同一参与者、同一迷宫产生的多次观测之间不独立的问题。

论文所有 co-play 指标的置信区间都由此方法给出;作者强调仅 4 名参与者,结果只是描述性比较而非总体估计。

研究动机

随着语言模型智能体能力增强,它们越来越能在无人协助下完成任务,但『人类参与率』这一常见协作指标存在根本性歧义。同样是 50% 的求助率,可能表示智能体精准地把工作交给了更有优势的伙伴,也可能表示它自己搞不定只好外包;两个聚合参与率完全相同的智能体,可能遵循截然不同的策略。论文借用『适当依赖』研究的洞察指出:就像人对 AI 建议的高接受率既可能是恰当使用也可能是过度依赖,智能体侧的低参与率既可能是胜任的自立,也可能是没能利用占优的伙伴。要区分这两种情况需要两个聚合率给不出的东西:一是智能体单独能完成任务的测量基线,二是人类边际价值被按构造精确控制的任务。而现有 learning to defer、ReHAC、求助框架等工作多研究『人何时依赖 AI』或在复杂任务中学习干预时机,智能体侧『何时该让人参与』的评估缺少可控范式。

本文的目标是论文要回答一个核心研究问题:智能体的独立任务能力与其『何时、如何』让人类参与协作之间是什么关系?具体分三步实现。第一,先单独测量每个模型的任务能力作为基线:用单人、全图可观测的迷宫回合确定哪些模型能可靠完成任务(GPT 5.6 Sol、Command A+、Qwen 3.8 27B 达到近天花板),哪些不能(Command R 仅完成 22%)。第二,构造一个共享控制迷宫环境,让人类的边际价值只通过初始位置的几何设置被控制($Δ_0 ∈ \{-2, 0, +2\}$),而迷宫拓扑、团队目标与交互协议在三种条件下完全不变,oracle 距离从不出现在提示词里。第三,在人机共同游戏(co-play)中测量模型的首步控制分配是否随人类优势条件系统性变化,从而把『选择性、任务条件化的协作』与『能力不足导致的外包』干净地区分开。

与已有工作不同的是,独特之处在于把『人类的比较优势』变成实验中受控的自变量,而非自然涌现、不可知的属性。已有范式各有局限:learning to defer 在预测时刻学习一次性路由策略,不涉及序贯任务中反复发生的分配;appropriate reliance 研究的是人如何依赖 AI,视角在人这一侧;ReHAC 与求助框架学习何时请求干预,但人类优势难以按构造操纵。本文只需要两个可测量量就能回答『参与是否响应优势』:单独能力基线加上通过纯几何操纵的优势差 $Δ = d_{A_0} - d_{H_0}$——起点采样保证初始路径长度精确等于请求值 $(5,7)$、$(5,5)$、$(7,5)$,其余一切固定。此外动作空间把『带方向推荐的指导』与『完全让权』分开,能区分把人当执行者与让出方向权威这两种不同性质的参与。作者也诚实定位:四个模型只支持描述性分组比较,不主张连续标度关系。

核心方法

论文构造了一个共享控制迷宫:一个模型控制的头像与一个人控制的头像共享『用最少团队回合数到达同一目标』的团队目标,任一头像到达即结束回合,每回合只有一人移动。模型每回合从三种动作中选择:MOVE_SELF(d) 自己朝方向 d 走一步;GUIDE_HUMAN(d) 把这步分配给人类并附带方向推荐,人类可遵循或无视;DEFER_TO_HUMAN 把移动完全交给人类不给建议。信息不对称是关键设计:模型收到完整迷宫拓扑(邻接表形式)、目标位置和两个头像位置,而人类只看以自己为中心的局部视野。人类的位置优势由初始位置控制:$Δ = d_{A_0} - d_{H_0}$ 被精确设为 $-2$(AI 路线短)、$0$(等距)、$+2$(人路线短),迷宫、目标、协议、提示词全部不变。评估分两步:先跑单人全图的单独基线确立能力分组,再跑人机 co-play 检验首步分配是否条件化。

核心创新有三点。第一,把『单独能力』作为必须先测量的基线,而不是孤立解读协作行为——同一个参与率在强模型上是选择性分配的证据,在弱模型上可能是无能为力的外包,作者用这个基线把四个模型分成近天花板组(GPT 5.6 Sol、Command A+、Qwen 3.8 27B,方向最优性 $\ge 0.97$)与弱模型(Command R,MDO 0.53)。第二,用纯几何手段操纵人类优势:起点从距离恰好为 r 与 r+δ 的格点集合均匀采样,使 $Δ$ 精确可控;oracle 距离与 $Δ$ 真值从不出现在提示词中,模型必须从邻接表自行推断,于是『行为是否追踪优势』成为真正的行为学检验而非复读提示词。第三,把 GUIDE_HUMAN(d) 与 DEFER_TO_HUMAN 分开,区分『把人当执行工具但保留方向决策』与『彻底让权』——结果四个模型初始决策的让权率全部为 0,参与几乎全部通过指导实现。

方法步骤详情

实验分三阶段。第一阶段迷宫生成:在 5×5 网格上用随机深度优先搜索加递归回溯生成完美迷宫,目标放在迷宫直径端点以拉长路径;用 BFS 算出每格到目标的距离 $d_G(v,g)$,从距离恰为 r 与 r+δ 的格点集合均匀采样双头像起点,使初始路径长度精确匹配请求值,不满足时按种子递增最多重试 200 个布局。第二阶段单独基线:每模型跑 50 个匹配种子迷宫(路径长 5、10 回合上限),记录完成回合 C,计算 S@7、S@10($C \le k$ 的回合比例)、效率 $E=d_{ai}/C$ 与方向最优性 MDO(方向使 BFS 距离减 1 的比例)。第三阶段 co-play:4 名作者各完成 120 局共 480 局,按模型×参与者×10 个固定种子×$\Delta_0 \in \{-2,0,+2\}$ 交叉,每格 40 局;主要结果变量为首个控制分配决策,计算 ISR、IGR、IDR 与汇总指标 $ZSR$、$NFSR=[ISR(-2)+ISR(0)]/2$、$HFU=1-ISR(+2)$、$SSC=NFSR-ISR(+2)$,用 1000 次双向聚类自助给出 95% 置信区间。

技术新颖性

与 learning to defer 相比,本文的分配是序贯且循环的:每个团队回合都可重新决定谁来移动,而非训练期学出的一次性路由策略;且完全不训练任何策略,纯粹评测现成大模型的零样本行为,研究的是能力与行为的关系而非优化分配器。与 appropriate reliance 文献相比,视角从『人依赖 AI』翻转到『AI 依赖人』,并把依赖率的双重歧义(过度依赖 vs 恰当使用)移植到智能体侧(外包 vs 选择性协作)。与 ReHAC、求助框架相比,本文不学习干预机制,而是实验性地控制优势来源(几何位置),使『行为是否追踪优势』可以被干净测量。指标设计上,$SSC = NFSR - ISR(+2)$ 这类差分指标比聚合参与率更贴近『选择性』这一构念;分组报告(强/弱模型)而非回归拟合,也避免了对 4 个模型样本的过度解读。方法论(单独基线 + 受控优势 + 条件化分配指标)可平移到任何能按构造操纵伙伴优势的共享任务。

Overview of the shared-control maze environment
Figure 1: Overview of the shared-control maze environment

实验结果

单独基线:GPT 5.6 Sol 四项指标全 1.00,Qwen 3.8 27B 为 0.98/0.98/0.97/0.98,Command A+ 0.96/1.00/0.96/0.97,三者近天花板;Command R 仅完成 22%,MDO 0.53。co-play 首步:强组在 $\Delta_0 \le 0$ 时几乎全自走(ISR:Qwen/GPT=1.000,A+=0.950/0.975),人类占优($\Delta_0=+2$)时约八成首步交给人类——IGR 为 0.825、0.825、0.775,SSC 为 0.825、0.825、0.738。Command R:ISR 为 0.700/0.450/0.575(SSC=0.000),全程无论谁近都维持约 35–40% 自走、60–65% 指导(图 3),强模型则随之大量转向指导。团队完成率:Qwen 与 GPT 全部 100%,Command A+ 为 97.5%/100%/87.5%,Command R 仅 17.5%/22.5%/45.0%(人占优时最佳)。所有模型从未初始 DEFER(让权率 0),参与几乎全靠指导。

Task-specific capability on solo 5×5 mazes, with N = 50 matched seeds per model
Table 1: Task-specific capability on solo 5×5 mazes, with N = 50 matched seeds per model
Initial control allocation
Table 2: Initial control allocation
Initial self-action by assigned route advantage
Figure 2: Initial self-action by assigned route advantage
Action allocation by current relative route advantage
Figure 3: Action allocation by current relative route advantage
查看结构化数据
任务指标本文基线提升
单独迷宫导航(能力基线,50 个匹配种子) S@10(10 回合内完成率) GPT 5.6 Sol 1.00;Command A+ 1.00;Qwen 3.8 27B 0.98 Command R 0.22 近天花板组高出弱模型 76–78 个百分点,确立能力分组
单独迷宫导航(能力基线) MDO 方向最优性 GPT 5.6 Sol 1.00;Qwen 3.8 27B 0.98;Command A+ 0.97 Command R 0.53 提出方向中沿最短路前进的比例近乎翻倍
人机 co-play 首步分配(人类路线更短,Δ0=+2) IGR 初始指导率 Qwen 3.8 27B 0.825;GPT 5.6 Sol 0.825;Command A+ 0.775 Command R 0.425 强模型在人占优时把约八成首步交给人类,弱模型无此反应
co-play 分配选择性 SSC = NFSR − ISR(+2) Qwen 0.825;GPT 5.6 Sol 0.825;Command A+ 0.738 Command R 0.000(ZSB 为 −0.050,低于 0.5 参考线) 强模型呈强条件选择性,弱模型选择性为零
co-play 团队完成率(Δ0=+2) 10 回合内团队完成比例 Qwen 100%;GPT 5.6 Sol 100%;Command A+ 87.5% Command R 45.0%(自身在 −2/0 条件下仅 17.5%/22.5%) 强模型全面领先;Command R 相对自身在人占优时最佳

局限与改进

作者明确承认:只评估了 4 个模型,只能做描述性分组比较,不能推出能力与协作之间的连续标度关系或因果结论(原文明确称之为 association);人类参与者仅 4 名且都是论文作者,与普通用户群体差异大,双向聚类自助的置信区间偏宽,所有对比都是描述性的;环境只有单一迷宫与单一交互协议。我的补充观察:$Δ$ 只有 $±2$ 两个非零档位且只代表位置优势,人类的知识、感知、动作能力等其他优势来源完全未覆盖;模型如何从邻接表推断 $Δ$ 是黑箱,无法排除数步数之类的捷径策略;Command R 的分配行为与其低导航能力(MDO 0.53)混杂,作者自己也要求联合解读;指令只要求最少团队回合数,没有显式的参与成本或奖励结构,无法研究代价-收益权衡;全程分析按当前优势分层是描述性的,当前优势本身受先前动作影响,不能做因果推断;人类遵循还是无视推荐的具体比例只放在附录,正文未见其对人机表现差异的作用分析。

独立分析的弱点

第一,4 名参与者都是论文作者,属于专家且可能对实验假设有预期,存在实验者期望效应风险,未来应引入众包参与者并按空间导航能力分层。第二,缺少策略对照基线:『永远自走』『永远指导』『每次选距目标更近的头像』等启发式可以把模型行为定位在策略空间中,并给出 oracle 上限(例如按当前距离贪心选择可达最优),论文没有报告,SSC=0.825 距离理想分配器有多远无从判断。第三,对『模型如何在上下文中计算 $Δ$』没有任何机制分析:可用探针研究中间表征,或构造扰动迷宫(邻接表打乱顺序、加入迷惑性长路)检验模型是真规划还是简单计数。第四,优势的动态变化未被研究:co-play 中人类走错会改变当前 $d_A - d_H$,强模型按初始 $Δ_0$ 还是当前优势决策值得区分,图 3 按当前状态分层已暗示后者但无因果识别。第五,$Δ$ 档位只有 $±2$ 与 0,无法刻画选择性的强度随优势差增大的变化曲线;建议扫描更大与不对称的 $Δ$ 值。

未来方向

作者提出的方向:把能力条件化分析扩展到人类优势来自其他来源的设定,包括合作游戏环境、日常工作任务与协作编程——只要伙伴优势能按构造操纵,『单独基线 + 受控优势 + 条件化分配指标』这套方法可以平移;扩大模型样本、参与者人群、任务域与协作协议,以确立该关系的普适性与方向性。我的延伸:其一,把 learning to defer 推广到序贯设定,学习多步 deferral 策略并与零样本前沿模型对比,检验训练能否把 Command R 这类弱模型的选择性补齐;其二,做机制可解释性分析,弄清模型从邻接表计算 $Δ$ 的内部回路;其三,研究人类不遵循推荐甚至对抗行为下的鲁棒分配(论文中人类可 override,但正文未分析其影响);其四,把 SSC 类条件化分配指标纳入智能体基准套件,作为社交协作能力的标准度量;其五,用几十个开源模型拟合能力-选择性连续趋势,把本文的四点描述性观察升级为可检验的标度律。

复现评估

复现要素比较齐全但论文未提及代码开源。附录 A 给出完整系统提示词、每回合用户消息与交互历史抽取流程;附录 B 给出模型访问、许可、推理设置与算力细节;附录 C 给出全部指标定义(表 4)与逐模型的置信区间、解析重试诊断(表 5–10)。迷宫生成是固定种子的确定性流程(不满足距离要求时按种子递增最多重试 200 次),环境本身只是 5×5 网格加 BFS 与邻接表文本,工程量很小,单独基线部分最容易复刻。主要门槛有二:需要 GPT 5.6 Sol、Command A+、Command R、Qwen 3.8 27B 四个模型的 API 访问(部分涉及商业许可);co-play 需要 4 名人类参与者各完成 120 局、共 480 局的实时交互实验,人力成本可观,且必须复刻相同的局部视野界面与回合协议才能保证可比性。论文自己指出 4 人样本只能支持描述性结论,复现时建议扩大参与者规模以获得更窄的置信区间。综合复现难度:中等。

相似论文推荐