问谁问什么：基于多轮LLM交互的自适应群体信息诱导 Whom to Query for What: Adaptive Group Elicitation via Multi-Turn LLM Interactions
LLM+GNN联合选择问题与受访者，在预算约束下高效推断群体属性
前置知识
De Finetti预测推断
De Finetti定理是贝叶斯统计的基石之一，其核心观点是：对于一个无穷随机变量序列，其联合分布可以表示为关于某个潜在实体（latent entity）的条件独立分布的混合。在预测推断视角下，我们不直接估计潜在实体的参数，而是通过不断更新对下一观测的预测分布来逐步减少不确定性。具体而言，给定历史观测 $Y_{1:t}$，一步预测分布 $p_t(y|Y_{1:t}) = p(Y_{t+1}=y|Y_{1:t})$ 可以理解为由潜在实体 $U$ 诱导产生的，所有关于未来观测的不确定性都来源于对 $U$ 的不确定性。本文利用这一理论基础，将条件熵 $H(Y|历史)$ 作为潜在实体不确定性的代理指标。
本文的理论基础直接建立在De Finetti预测视角之上，用条件熵衡量不确定性并指导自适应选择，理解这一概念是理解方法动机和理论证明的前提
异构图神经网络（Heterogeneous GNN）
异构图神经网络是一种能够处理包含多种节点类型和多种边类型的图结构数据的深度学习模型。在本文中，图结构包含三类节点：群体成员节点、属性特征节点（如年龄、性别等人口统计特征）和查询-选项节点（每个问题的每个选项对应一个节点）。通过关系特定的消息传递机制（如R-GCN），模型能够在不同类型的节点之间传播信息，学习到融合了属性和响应模式的成员嵌入表示。训练目标是通过边预测（link prediction），即预测成员会选择哪个选项来优化嵌入质量。
GNN是本文实现缺失响应推断和群体结构建模的核心组件，它使得从少量观测到的受访者推广到整个群体成为可能，是区别于已有方法的关键技术
期望信息增益（Expected Information Gain, EIG）
期望信息增益是贝叶斯实验设计中的核心准则，用于衡量一个候选查询能够减少多少关于潜在实体的不确定性。形式化地，对于查询 x，EIG定义为当前不确定性减去观测到该查询的期望响应后的不确定性。具体公式为 EIG(x; H_{t-1}) = sum_{v in V} [ H(U_v|H_v^{t-1}) - E_{Y_v^t} [H(U_v|H_v^t)] ]，其中第一项是当前交互历史下的条件熵，第二项是模拟观测后的期望条件熵。EIG越大，说明该查询越能有效减少不确定性。
EIG是本文自适应查询选择的核心准则，决定了每一轮选择哪个问题来提问，理解它的计算方式和含义对于理解整个框架至关重要
子模性（Submodularity）
子模性是组合优化中的一个重要性质，类似于经济学中的边际递减效应。形式化地，函数 f 是子模的，当且仅当对任意 A 包含于 B 包含于 S 和 e 不属于 B，有 f(A 并 {e}) - f(A) >= f(B 并 {e}) - f(B)。这一性质保证了贪心算法能够获得近似最优解，经典的 (1-1/e) 近似比结果使得贪心选择在实践中非常有效。本文证明了在联合用户-查询选择场景下，贪心算法在子模性假设下仍然具有近似最优保证。
子模性是本文理论贡献的核心假设，它为贪心选择策略提供了理论保证，使得实际采用的两阶段贪心算法具有可证明的近似最优性
元训练（Meta-training）
元训练是一种通过大量相关任务来训练模型学习通用学习能力的范式。在本文中，元训练指的是利用来自特定区域（如美国南部）的受访者数据来微调LLM（Llama-3.1-8B），使其学会从交互历史中预测个人响应。训练目标是最大化自回归预测的似然。这使得LLM能够在新场景下（如西部地区的受访者）根据少量观测到的交互历史来准确预测个人响应。
元训练是本文方法的第一阶段，它使LLM具备了从交互历史中预测响应的能力，为后续的自适应查询选择提供了可靠的信息增益估计
研究动机
在现代调查实践中，问卷调查面临着一个核心困境：每个额外的问题和每个完成的响应都会产生成本，包括受访者负担、访谈员时间和参与激励。因此，调查工具通常被设计得很短，而且实践中经常出现缺失数据和中途退出的情况。现有方法主要优化'问什么'，即在固定的受访者池中选择最具信息量的问题，但在许多实际部署场景中，主要瓶颈在于能够收集到的完成响应数量。例如，在选举调查中，只能采访一小部分选民；在员工满意度调查中，只能收集部分员工的反馈。现有方法没有考虑如何自适应地选择受访者，也没有利用群体结构（如人口统计学特征和个体间的相似性）来从部分观测中推断更广泛的群体属性。这导致在有限预算下，信息利用效率低下。
本文的目标是本文旨在解决自适应群体信息诱导问题：在一个多轮交互设置中，中央代理需要在固定的查询预算和参与预算下，联合选择下一个要问的问题和要查询的受访者子集，以最大化对潜在群体属性的推断精度。具体目标包括：(1) 形式化自适应群体诱导为一个联合决策问题；(2) 提出一个实用的框架，结合LLM的期望信息增益目标和异构GNN的传播机制来实现缺失响应的推断和受访者的智能选择；(3) 提供理论保证，证明在子模性假设下贪心算法的近似最优性。
与已有工作不同的是，本文的独特切入角度在于将'问谁'和'问什么'两个问题统一考虑，而不是像以往工作那样只关注查询选择。这一视角转变的关键在于认识到群体结构（如人口统计特征、地理位置、响应模式的相似性）可以被用来从少量观测到的受访者推断整个群体的响应。具体而言，本文创新性地将异构GNN用于群体推断场景，通过在成员节点、属性特征节点和查询-选项节点之间传播信息来实现缺失响应的推断。同时，利用GNN学习到的嵌入表示来选择多样化的、具有代表性的受访者子集，实现了'问谁'和'问什么'的闭环优化。这种群体感知的选择机制使得从10%的受访者预算中就能获得显著的推断精度提升。
核心方法
本文的方法可以概括为'LLM选问题，GNN选人，闭环迭代'的三阶段框架。直觉上，想象你要做一个选举调查，预算只够采访10%的选民。你需要决定：(1) 下一个问题问什么？(2) 选择哪些选民来采访？(3) 对于没有采访到的选民，如何推断他们的回答？本文的技术路线是：首先用LLM来评估每个候选问题的期望信息增益，选择最能减少不确定性的问题；然后用GNN学习到的嵌入表示来选择多样化的受访者子集；最后用GNN来推断未被采访的受访者的回答，并将这些推断结果加入交互历史，为下一轮选择提供更完整的信息。这个过程在每一轮重复进行，逐步减少对群体潜在属性的不确定性。
本文的核心创新在于将查询选择和受访者选择统一为一个联合优化问题，并通过两个互补的组件来实现：LLM负责预测推断和查询选择，GNN负责群体结构建模和缺失数据推断。与已有方法（如Wang et al., 2025的Meta-Greedy）的本质区别在于：已有方法只优化'问什么'，假设受访者池是固定的；本文同时优化'问谁'和'问什么'，并利用群体结构来推断未观测到的响应。这种设计使得信息可以在群体内传播，从少量被采访的受访者扩展到整个群体。具体而言，GNN通过在成员节点、属性特征节点和查询-选项节点之间进行消息传递，学习到融合了人口统计特征和响应模式的嵌入表示，然后基于这些嵌入的聚类来选择具有代表性的受访者子集。
方法步骤详情
本文的方法分为元训练和测试时自适应推断两个阶段。在元训练阶段：(1) 用特定区域（如美国南部）的受访者数据构建异构图，包含成员节点、属性特征节点和查询-选项节点；(2) 通过边预测目标训练R-GCN，学习节点嵌入和关系特定的消息传递机制；(3) 微调LLM（Llama-3.1-8B with LoRA）来预测个人响应，训练目标是最大化自回归预测似然。在测试时自适应推断阶段，给定新群体和候选查询集，执行以下循环：(1) 初始化：将新群体成员连接到属性特征节点，用训练好的嵌入初始化；(2) 查询选择：用LLM计算每个候选查询的EIG，选择EIG最大的查询；(3) 受访者选择：基于GNN嵌入进行聚类，选择 k 个聚类中心作为代表性受访者子集；(4) 收集响应：从选定的受访者收集实际响应；(5) 推断更新：将新的响应边加入图中，通过GNN消息传递推断未被采访成员的响应，更新交互历史；(6) 重复步骤2-5直到预算耗尽。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在问题定义上，这是首次将自适应群体诱导形式化为联合查询-受访者选择问题，突破了以往只关注查询选择的局限。其次，在方法设计上，创新性地将异构GNN引入群体推断场景，利用三种类型的节点（成员、属性特征、查询-选项）和关系特定的消息传递来建模复杂的群体结构。第三，在理论贡献上，证明了在子模性假设下，联合贪心算法和两阶段贪心算法都具有近似最优保证，其中存在独立于 k（受访者预算）和 T（轮数）的常数 C1 和 C2。第四，在实验设计上，利用地理区域划分来模拟实际部署场景，用南部数据训练、西部数据测试，评估了模型的地理迁移能力。
实验结果
本文在三个真实世界意见数据集上进行了全面评估，核心发现如下。首先，在所有数据集和预算水平下，本文方法 consistently 优于所有基线。在CES数据集上，10%受访者预算下，本文方法在第1轮相比最强基线实现了17.1%的相对提升，到第4轮仍有12.6%的相对提升。其次，关于受访者选择的收益分析表明，增益高度集中在高敏感度（hard）受访者上，在50%预算下相对恢复率高达20%。这表明受访者选择将有限预算聚焦在最难推断的个体上，从而提高了整体推断精度。第三，消融实验显示，GNN推断比LLM推断带来更大的性能提升：启用GNN推断后，性能在所有预算和轮次上都有显著提升，而禁用推断时性能提升有限。第四，关于多步规划的实验表明，尽管多步规划在理论上可能更优，但在实践中相比贪心选择只有微小且不稳定的提升，而计算成本显著更高。例如，在10%预算下，多步规划在Hard子集上提升了1.6个百分点（0.372 vs 0.356），但在Global准确率上反而下降了0.3个百分点（0.485 vs 0.488）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CES选举调查 - 10%受访者预算 | 第4轮目标问题准确率 | 约0.52（从图3推断） | Meta-Greedy约0.46 | 约12.6%相对提升 |
| CES选举调查 - 30%受访者预算 | 第4轮目标问题准确率 | 约0.62（从图3推断） | Meta-Greedy约0.57 | 约8.8%相对提升 |
| CES选举调查 - 50%受访者预算 | 第4轮目标问题准确率 | 约0.68（从图3推断） | Meta-Greedy约0.64 | 约6.3%相对提升 |
| OpinionQA - 10%受访者预算 | 第4轮目标问题准确率 | 约0.42（从图3推断） | Meta-Greedy约0.39 | 约7.7%相对提升 |
| Twin-2k - 10%受访者预算 | 第4轮目标问题准确率 | 约0.55（从图3推断） | Meta-Greedy约0.51 | 约7.8%相对提升 |
| CES - 多步规划对比（10%预算） | 第4轮Hard子集准确率 | 贪心0.356 | 多步规划0.372 | 多步规划仅提升1.6个百分点，但计算成本显著更高 |
局限与改进
本文存在几个明显的局限性。首先，实验评估局限于三个美国意见数据集，且都涉及政治或社会议题，这可能限制了方法在其他领域（如医疗、教育评估）的泛化能力。其次，LLM和GNN的训练都需要大量数据，元训练阶段需要来自特定区域的足够多的受访者数据，这在数据稀缺的场景下可能不可行。第三，方法假设群体成员之间的关系可以通过人口统计特征和响应模式来建模，但在某些场景下（如匿名在线调查），这种关系可能难以捕获。第四，理论分析依赖于子模性假设，而在实际复杂场景中，信息增益函数可能不满足这一性质。第五，本文没有讨论计算复杂度和实际部署的效率问题，尽管多步规划的实验间接表明贪心选择在实践中是必要的，但GNN和LLM的联合推理成本可能仍然较高。此外，作者承认Meta-Greedy-Imp（基于LLM的推断）未能 consistently 优于Meta-Greedy，这表明仅靠LLM推断是不够的，必须依赖GNN的群体结构建模。
独立分析的弱点
本文存在几个值得深入分析的弱点。第一，GNN推断的质量高度依赖于群体结构的准确性，如果成员之间的关系建模不准确（例如，人口统计特征过于粗糙或缺失），推断性能会显著下降。改进方向可以是引入更细粒度的特征工程或自动特征学习。第二，受访者选择基于GNN嵌入的聚类，这是一种启发式方法，理论上不能保证最优覆盖。可以考虑使用行列式点过程（DPP）等更 principled 的多样性采样方法。第三，LLM和GNN是分开训练的，没有端到端的联合优化，这可能导致两个组件之间的信息传递不够充分。可以探索将GNN的嵌入信息融入LLM的输入，或者设计端到端的训练目标。第四，论文没有讨论如何处理受访者不响应或中途退出的情况，这在实际调查中很常见。
未来方向
本文的成果为多个研究方向奠定了基础。作者提到的一个方向是将方法扩展到更复杂的群体结构，例如多层次嵌套结构（如学校-班级-学生）或动态演变的社交网络。基于本文的框架，可以进一步探索：(1) 将方法应用于其他领域，如医疗健康调查、教育评估、市场研究等，验证其泛化能力；(2) 引入主动学习策略，不仅选择问题和受访者，还选择何时停止收集数据；(3) 探索隐私保护版本，在不泄露个体响应的情况下实现群体推断；(4) 研究对抗性场景，即受访者可能提供虚假响应的情况；(5) 将方法扩展到开放式问题（而非仅限于选择题），利用LLM的自然语言理解能力来处理更丰富的响应格式。
复现评估
本文的复现条件相对友好。作者已在GitHub上开源了代码（https://github.com/ZDCSlab/Group-Adaptive-Elicitation），这对于复现实验结果至关重要。数据方面，三个数据集都是公开可用的：CES是Cooperative Election Study的公开数据，OpinionQA来自Santurkar et al. (2023)，Twin-2k来自Toubia et al. (2025)。算力需求方面，LLM微调使用了Llama-3.1-8B with LoRA，这在现代GPU上是可行的；GNN训练相对轻量。但需要注意的是，完整实验包含10次独立试验、多个预算水平和多个数据集，总的计算成本可能相当可观。此外，论文的一些细节（如GNN的具体超参数、聚类算法的选择）可能需要查阅附录或代码才能完全复现。整体而言，复现难度中等，主要挑战在于计算资源和实验规模。
论文图表
