我没做那些微小决策：测量、诱导并暴露人机协作中目标级AI贡献 "I didn't Make the Micro Decisions": Measuring, Inducing, and Exposing Goal-Level AI Contributions in Collaboration
COTRACE目标级归因框架，量化并暴露人机协作中AI对目标塑造的贡献
前置知识
贡献归因（Contribution Attribution）
在人机协作中确定人类与AI各自对成果的贡献比例。传统方法聚焦最终产物（文本水印、文体分析、逐轮作者追踪），属结果导向。
本文核心是把归因从结果层提升到过程层，理解这点才能把握COTRACE为何区别于水印与逐轮追踪。
LLM-as-judge
用大模型充当评估者，对输出或数据间关系做判断。本文用它判定动作与需求间是否存在直接、隐式或无连接关系。
COTRACE流水线的关键阶段依赖LLM-as-judge做影响标注，了解其原理与局限才能评估方法可靠性。
目标-需求表示（Outcome-Requirement Tuple）
把协作目标形式化为 $g=(o,R)$：期望结果 $o$ 加可验证需求集合 $R$，并按特异性分层为父目标与子目标。
这是COTRACE可计算归因的基本单元，把产物与对话轨迹关联起来，是理解整套方法的形式化基础。
智能体协作框架（CoGym/Agent vs Chat）
自主智能体可在工具调用与发消息间自决；聊天式则强制每轮先发消息再调用工具。本文对比AGENTIC与CHAT两种设定。
第4节诱导目标塑造的受控仿真基于CoGym，两种交互设定是核心自变量，决定结论可推广性。
研究动机
现有归因方法（文本水印、文体分析、逐轮作者追踪如Liang et al. 2024、Kumarage et al. 2023）都是结果导向，只能检测最终产物里的AI痕迹。但当LLM能力增强，它不仅执行指令，还会主动提议方向、细化约束、引入结构、做出用户未考虑的设计决策。考虑两个极端：一个学生和LLM对话20轮、每个字都自己打，但中心论点与段落重组都是AI提的；另一学生对话100轮下达每个目标，AI只是打字员。两例AI应获得完全不同归因，但今天无论评分教师、审稿人还是学生本人都无法区分。作者在638条真实日志上发现模型目标塑造贡献虽仅占11-26%，但在引入底层具体需求时贡献显著更大，而这类影响对用户几乎不可见。
本文的目标是本文目标是构建目标级（goal-level）自动化归因框架COTRACE，能同时刻画人类与AI在整个协作过程中对目标塑造的直接贡献与间接影响。具体实现三个互补用途：第一，作为评估套件，测量真实人机日志中协作式目标塑造的规律与跨任务差异；第二，作为设计工具，通过受控仿真验证交互设计与提示策略能否在推理时放大或抑制模型的目标塑造行为；第三，作为反思工具，借助COTRACE-viewer把贡献动态暴露给用户，提升其对AI依赖的自我觉察、意图性并改进提示实践。
与已有工作不同的是，本文独特切入点在于把归因的分析单元从最终产物（artifact）转移到演进中的目标结构本身。它把每个目标形式化为 $g=(o,R)$，即期望结果 $o$ 加可验证需求集合 $R=\{r_1,\dots,r_k\}$，并把对话拆解为原子动作，区分直接贡献（显式创建或修改需求）与间接影响（一方动作提供上下文促使另一方提出新需求）。这种间接影响正是既有方法完全忽略、用户又最难自行察觉的AI贡献形式，是本文相较逐轮作者追踪的关键理论增量，也是后续测量、诱导、暴露三研究的共同支点。
核心方法
直觉上COTRACE像协作过程的会计：不只看最终成品谁写的字，而是把整段对话拆解，追踪每个需求是谁创建、谁执行、谁暗中引导出来。技术上它有两条设计原则：第一，把分析单元定义为目标=结果+需求元组 $g=(o,R)$，并按特异性分层为父目标与子目标，链接到具体需求；第二，建模目标塑造是先前动作累积的结果，区分直接贡献与潜在间接影响。它用LLM-as-judge把该思想自动化为四阶段流水线（Appendix B Figure 4），最终产出说话者×角色的贡献矩阵，人工验证准确率超90%。
核心创新是同时建模直接贡献与间接影响两类机制。间接影响捕捉AI埋种子的常见现实场景——提一个澄清性问题、给一个类比、暴露一个错误，随后用户基于这些上下文形成具体需求。这与逐轮作者追踪本质不同：后者只能事后按字面归属，而COTRACE用影响分数 $I(a\rightarrow r)$ 量化动作 $a$ 对需求 $r$ 的因果性引导。角色级贡献公式 $M(p,\rho,r)=\sum_{a\in A_p}\mathbf{1}[\text{role}(a)=\rho]\,I(a\rightarrow r)$ 再把影响聚合到目标层级，得到可解释的说话者×角色矩阵。
方法步骤详情
四阶段流水线：第一步结果与动作抽取，对话按轮分块，LLM识别期望结果并把每条消息分解为原子动作，赋角色SHAPER（提议目标/想法/需求）、EXECUTOR（执行或产出）、OTHER；第二步需求抽取，对每个结果抽取需求并链接到起源与贡献动作，经CREATE/REVISE/DELETE追踪，形成版本化历史；第三步影响标注，候选动作-需求对先经embedding相似度过滤，再由LLM-as-judge判为DIRECT CONNECTION、IMPLICIT CONNECTION或NO CONNECTION，得到 $I(a\rightarrow r)$；第四步用上述公式把影响聚合成说话者×角色贡献矩阵。参与者在用户研究中对框架与自身感知的对齐评分平均超4/5。
技术新颖性
技术新颖性有三：一是提出目标-需求作为可计算、可分层的归因单元，把产物与对话轨迹显式关联；二是引入间接影响建模，定性归纳出11类可复现的间接塑造交互模式，归为四大类（意图欠定、制品触发细化、问题触发修订、交互式引导）；三是把同一框架同时用作评估、设计与反思工具，形成测量-诱导-暴露的完整闭环。它通过LLM-as-judge与embedding过滤兼顾可扩展性，配套开源COTRACE-viewer做交互式可视化，使隐式协作动态首次对人可读。
实验结果
三项核心发现。测量：在638条ShareChat日志上，人类承担75-89%的SHAPER质量、LLM承担96-99%的EXECUTOR质量；但随目标特异性下移（父目标→子目标→需求），LLM塑造贡献升至11-26%。技术型封闭任务（编程、数据分析）中LLM需求生成更活跃，数据分析中甚至反超用户；编程177、写作293、规划76、数据分析92条。诱导：欠定化使助手需求贡献从30.65%升至69.64%(+39.0pp)，交互引导升至51.47%(+20.8pp)，均p<.05；CHAT-COGYM(42.9%)显著高于AGENTIC-COGYM(24.5%)(p<.001)。但需求生成数与归一化质量几乎零相关(Pearson=-0.002, Spearman=-0.011)。暴露：10名被试研究中，看完分析后自评执行贡献Δ=-1.8、LLM执行贡献Δ=+0.5，感知偏移近2个5分制点位。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 需求生成贡献率（推理时干预） | 助手贡献占比 | 69.64%(欠定化) / 51.47%(交互引导) | 30.65%(Base条件) | +39.0pp / +20.8pp，p<.05 |
| 交互设定对比 | 助手直接贡献需求占比 | 42.9%(CHAT-COGYM) | 24.5%(AGENTIC-COGYM) | +18.4pp，p<.001 |
| 需求满足率 | 满足率 | 助手创建75.1% / 用户创建62.7% | 排除同轮执行后约61.5% | 差距主要来自同轮执行(35.3%) |
| 目标塑造与质量相关性 | Pearson / Spearman | -0.002 / -0.011 | 无对照基线 | 近乎零相关，说明单纯放大塑造不提升质量 |
| 框架准确率 | 人工验证准确率 / 参与者对齐 | >90% / >4(满分5) | 无对照基线 | 双重验证支持可靠性 |
局限与改进
作者自陈四点局限：一是需访问交互轨迹，不能仅凭最终产物检测AI贡献，适用于有日志与用户同意的反思、课堂、评审场景；二是COTRACE的贡献分数是分析估计而非责任、质量或可接受性的真值，高分不必然意味好坏，最终判断仍归人；三是用户研究样本仅10人且都是熟练AI用户、熟悉任务，未必推广到新手或陌生领域；四是被试修订判断可能部分源于对界面数字分数的锚定，尽管质性回答显示他们也依赖链接的目标、需求与理由。补充观察：流水线高度依赖LLM-as-judge与embedding过滤，不同裁判模型可能给出不同结果，作者在Appendix B.3做了敏感性分析但正文未给出跨模型方差数字；间接影响的11类模式由单一作者从有限样本归纳，标注者间一致性未充分报告。
独立分析的弱点
一，对裁判LLM的依赖是系统性风险：影响标注质量受模型与prompt影响，不同裁判模型结果差异未充分量化，可改进方向是引入多裁判集成与一致性校验、对争议对回退人工标注。二，贡献分数缺乏绝对基准真值校准：作者承认是分析估计，可在带人工标注因果链的合成数据集上做绝对校准而非仅相对趋势。三，用户研究规模与生态效度有限：10人、旅行规划单一任务、被试自我选择，应扩展到编程与写作等真实作业并增大样本。四，诱导目标塑造不提升质量的结论可能受仿真用户质量限制，CHAT-CoGym更长交互未必反映真实用户，应做真人对照。此外COTRACE仅处理文本对话，未覆盖多模态与复杂代码执行的多步agent轨迹。
未来方向
作者明确方向：训练或干预方法应更直接地把协作行为与下游任务成功对齐（因单纯放大目标塑造不足以改善质量）；系统设计在标定AI主动性中起重要作用，可作为可调旋钮；目标级归因工具可推广到教育、创意等第三方评审场景。基于成果可延伸：一是把间接影响的11类模式做成可学习的prompt设计库，自动推荐何时该让AI塑造；二是把COTRACE接入实时协作系统做过程级透明度提醒；三是扩展到多智能体与多轮工具调用轨迹；四是探索用影响分数反馈训练更知情同意的协作型LLM；五是在教育场景做纵向研究，看长期暴露目标分析能否改善学生的提示实践与AI素养。
复现评估
复现性较好。代码已开源（https://github.com/rladmstn1714/CoTrace），COTRACE-viewer交互工具也已开源。数据上，真实日志用公开的ShareChat(638条)与CoGym-Real，仿真用CoGym框架，第三方评审用StudyChat。提示与流水线细节置于Appendix B/E。验证有人工准确率(>90%)与参与者对齐(>4/5)双重支持。算力需求中等：主要成本在LLM-as-judge调用与CoGym仿真(288+轮次运行用Claude 4.5 Sonnet与Gemini 3.1 Pro)，需API预算。难点在于ShareChat中Grok/Perplexity的模型级信息不可得，且协作启发式过滤规则需严格遵循才能复现638条样本；不同裁判模型选择会引入方差，Appendix B.3给了敏感性分析。
论文图表
