通过文本-表格建模从有限交互中预测AI智能体的决策 Predicting Decisions of AI Agents from Limited Interaction through Text-Tabular Modeling

本文方法的完整流程可拆解为以下几步。第一步是问题形式化：对每个目标智能体，给定 K 场历史博弈（每场包含全部决策点的 (公开状态, 对话, 真实决策)），对一个新决策点预测响应（接受/拒绝，分类）或下一轮出价（回归）。所有特征中，私人估值在私有信息配置下被屏蔽，目标和预测者均看不到对方私有信息。第二步是构造博弈状态特征：包括公开配置、轮次 $r$、当前出价 $p$、历史出价、接受/拒绝序列、是否触发外部选项等结构化字段，再加一个 agent-identity 指示器以区分同状态下不同智能体的策略差异。第三步是构造对话表示：用通用句子编码器把'截至当前的全部对话'嵌入为向量，再做降维。第四步是构造 Observer 隐藏状态：把'当前公开状态 + 当前对话'拼成一个 prompt，输入小型冻结 LLM（不带目标 K 场历史），让其尝试回答目标决策（接受/拒绝或下一轮出价），但丢弃其直接回答，提取相对深度 0.6-0.9 的隐藏层状态作为该决策点的决策导向表示 $h_{obs}$。第五步是把上述三类特征与 agent-identity 拼接为一行表格特征，与源智能体大规模标注行（最多 3000 个决策，按智能体均衡采样）以及目标智能体 K 场游戏的决策行一起送入 TabPFN v2.6。TabPFN 在分类模式下输出接受概率、在回归模式下输出归一化出价值。整条管线对训练和测试群体一视同仁，跨群体迁移由 TabPFN 的上下文条件能力自然处理。基线包括移除 Observer 的 Game+text features 变体和直接调用 Gemini 2.5 Flash 的 LLM-as-Predictor。

本文的技术新颖性可从四个层面总结。第一，形式化层面：把'少样本预测陌生语言智能体'明确重新定义为 target-adaptive text-tabular prediction，把传统分散在对手建模、ToM 网络、prompt-based 预测三支文献里的方法统一到同一个表格学习视角下，使源群体统计与目标少样本信息可以共享同一个后验推断。第二，方法层面：LLM-as-Observer 思想——让小冻结 LLM 编码表示，丢掉其直接回答——是本文最具识别度的设计，与 probing 文献中'分析 LLM 隐藏层'的目标不同，本文把隐藏状态直接当作下游监督学习的特征块，并用 TabPFN 解码其战略信号。第三，实验层面：引入了 91 个大学黑客松智能体的新数据集（4921 场博弈、11341 个决策），并设计严格的跨群体迁移评估（13 个 frontier-LLM 训练 → 91 个脚手架化智能体测试），这种'一个异质轴训练、另一异质轴测试'的设计在同类工作中是首个。第四，现象层面：通过消融证明'Observer 隐藏状态比 Observer 直接回答更有价值'，揭示出 frozen LLM 内部确实存在不被生成答案可靠反映的决策相关信号——这一观察对学界如何将 LLM 嵌入更大的预测管线具有方法论意义。表 3 的消融进一步显示：去掉博弈特征后谈判任务的响应预测 AUC 从 0.826 跌至 0.615（最大跌幅），证明博弈结构特征是底座；去掉 Observer 后响应预测 AUC 下降约 4 个百分点，是最大的非必需特征块。

虽然本文提出了一个相对完整的框架，但仍有若干可被进一步剖析的弱点。第一，源群体规模有限且单一：13 个 frontier LLM 智能体虽然覆盖了六家供应商，但它们在 GLEE 提示词下生成，提示词的同质性可能限制源群体中决策多样性的覆盖范围；如果目标任务涉及完全不同的提示风格，迁移可能弱化。改进方向是引入多样化提示源或多群体集成。第二，Observer 隐藏状态在 reasoning 层（推理过程层）之上仍是一个黑盒；论文没有给出特征重要性分析或可解释性证据，无法回答'Observer 到底看到了对话里的什么'。改进方向是引入 attribution 方法（如 SHAP、积分梯度）来分析隐藏维度的语义负载。第三，表格特征行的维度随对话长度膨胀，长博弈下 Observer 隐藏状态向量可能成为瓶颈。改进方向是引入摘要机制或层次化对话编码。第四，K 仅有 0/2/4/8/16 五个采样点，未给出连续 K 下性能曲线的形状；K=1 这一真正极端场景未被覆盖。改进方向是补充 K=1 的最严格少样本分析。第五，LLM-as-Predictor 的 prompt 设计只展示了一个配置，未做 prompt engineering 鲁棒性测试；理论上一个精心设计的 prompt 可能缩小其与 Observer 的差距。改进方向是对 Gemini 系列做 prompt 模板的网格搜索。第六，跨群体评估仅做了 13→91 的单向迁移，未做反向或同群体对照，缺少 ablation 表明 'cross-population' 本身到底多难。第七，预测公平性未讨论：当目标智能体属于某个 LLM 家族时，源群体若主要由同家族构成可能引入隐性偏差。

作者在结论中明确指出了一些延伸方向：将方法扩展到更广泛的语言化商业场景（不限于 GLEE 博弈）；探索 Observer 在多智能体协商、合同谈判、协同任务上的表现；研究如何自动化选择源群体。基于本文结果可补充以下方向：第一，把 Observer 思想泛化到'非 LLM 决策系统'，例如把人类谈判者的视频流、传感器信号也通过'冻结的预训练编码器 + 隐藏状态'管线编码，与本文的文本对话场景形成对照；第二，引入测试时自适应（test-time adaptation）机制，在 K 阶段后允许小规模参数更新，让 TabPFN 和一个轻量微调头协同；第三，把当前两任务（响应/出价）联合建模为一个序列决策问题，用多任务学习共享表示；第四，研究 Observer 的层级选择是否可以用任务相关的元学习自动确定；第五，将该方法部署到真实的 LLM-vs-LLM 市场场景中验证经济学含义；第六，探索如何把'K 场目标历史'作为上下文学习的'系统提示'，让同一管线适配冷启动场景；第七，构建'AI 智能体可解释性'分析工具，让隐藏状态中编码的策略差异可被人类审计。

从复现角度看，本文提供了较为详尽的实现细节：Observer 使用三个开源小模型（Gemma-2-2B、Qwen3-1.7B、Llama-3.2-1B），均可在 HuggingFace 公开下载；表格预测器使用 TabPFN v2.6（开源）；评估使用 GLEE 基准（论文注明 GLEE 论文和代码即将公开），加上大学黑客松数据集（论文注明'code and the 91-agent dataset of 4,921 bargaining and negotiation games will be released upon acceptance'）。基线 LLM-as-Predictor 使用 Gemini 2.5 Flash（闭源 API），但同一 prompt 设计可以套用到其他可复现的开源大模型。超参数方面，论文明确给出：源群体最多 3000 个决策（按智能体均衡采样）、K ∈ {0, 2, 4, 8, 16}、5 个随机种子、Observer 隐藏层在相对深度 0.6-0.9 范围内取均值。整体训练与推断的算力需求相比训练一个大型 LLM 是非常友好的（Observer 仅做前向 + 特征提取，TabPFN 也是前向推理），单卡 A100/H100 即可重现响应预测与出价预测的主要表格。然而复现仍面临两个挑战：一是黑客松数据集需等论文接收后才会公开，这期间无法完整重复 K=16 时的最大规模实验；二是 LLM-as-Predictor 的 prompt 实现细节（如系统提示词、few-shot 拼接顺序）虽有 Appendix 但可能不完整。