划分、提示、聚合：语言模型的统计自洽性 Partition, Prompt, Aggregate: Statistical Self-Consistency in Language Models

完整流程：(1) 数据准备——以 2024 ACS（380 万人）为真值人群，把收入分入 $[-11.5k,1),[1,25k),[25k,60k),[60k,1849k]$ 四个分箱，目标事件 $E_\tau=\{Y>\tau\}$，阈值 $\tau\in\{100,1k,10k,20k,40k,60k,80k\}$ USD 覆盖不同熵水平。(2) 建树——用回归树思想（最小化加权组内方差且保持先验平衡）选划分，第一层 $\phi_1=\mathbb{1}(31\le \text{AGEP}\le 68)$，第二层 $\phi_2=\mathbb{1}(\text{COW 为受雇或自雇})$，深度 $L=4$。(3) 子群估计——用 folktexts（Cruz et al. 2024）把节点路径 verbalize 为提示，例如 $C_0$=『一位住在美国的人』 + $C_1$=『一位 31-68 岁的人』 + $C_2$=『一位受雇或自雇的人』，问『此人的年收入高于 50 000 USD 的概率是多少？』得 $\hat T_\tau(S)$。(4) 先验估计——对每层多次查询模型关于划分的先验分布，原始输出重归一化后取平均得 $\hat\gamma_S$（细节见附录 E.2）。(5) 重构聚合——按公式 (3) 在每层做先验加权求和得 $\hat T_{\tau,\mathrm{agg}}(\mathcal{X})(\ell)$。(6) 计算 alignment 误差 $\mathrm{AErr}(\ell)=|T_\tau(\mathcal{X})-\hat T_{\tau,\mathrm{agg}}(\mathcal{X})(\ell)|$，并以 $1-\mathrm{AErr}(\ell)/\mathrm{AErr}(0)$ 作为相对增益。(7) 一致性评分——枚举所有 $(S,A_k)$ 对做 split consistency，枚举所有二属性排列对做 order consistency，统计通过率 $\mathrm{SC}_\epsilon$、$\mathrm{OC}_\epsilon$（$\epsilon=0.02$）。(8) 复现与扩展——WVS（加拿大、印尼各 5 题）、合成预测（网球 Federer–Nadal、奇幻战斗）走同一流程。

技术新颖性体现在四点：(1) BCT 提供了首个结构化、可枚举的划分族，使得全概率公式能在多层、多属性顺序下被系统性检验，避免依赖单一固定树结构；(2) Proposition 2 给出局部 split consistency 与多层累积误差的线性界（$\mathrm{dist}<\ell\epsilon$），Proposition 6 在 Assumption 1（成对上下文无关）下证明只需 $4\binom{d}{2}$ 个成对检查即可控制所有事件阶序一致性，Proposition 7 把两者统一在层置换视角下；(3) 同时引入 reference-free（self-consistency）与 reference-based（alignment）两类诊断，并通过 oracle-prior 消融把先验误差与条件误差解耦；(4) 提出 micro-to-macro prompting——让模型在单个 prompt 内先推理子群再给聚合，无需外部指定划分即可部分恢复聚合收益，且与 test-time compute 单调性不相容（更深树调用更多模型反而更差），证明收益来自『显式子结构』而非调用次数。

**弱点一：属性空间狭窄。** 论文核心实验只用 2 个属性（年龄、就业状态）的 BCT，深度仅 4 层。在更复杂的现实应用（如医疗风险分层、信贷决策）中划分属性可能 10 个以上，此时 Proposition 2 给出的累积误差界 $\ell\epsilon$ 会迅速放大，是否仍能识别 macro fallacy 未知。改进方向：在 ACS 上构造 $d\ge 6$、$L\ge 6$ 的更深树，用回归树自动选属性，系统扫描 $d$ 与 macro fallacy 强度的关系。**弱点二：缺少机制解释。** 论文描述了 macro fallacy 的现象并指出 direct prompting 倾向欠权年轻人，但没给出 mechanistic 解释——是注意力分配问题？是预训练分布偏差？还是 RLHF 后处理造成的？改进方向：在中间层做 probing，或对照 base model 与 instruct model，定位 macro fallacy 出现的训练阶段。**弱点三：容差 $\epsilon$ 主观。** $\epsilon=0.02$ 没有理论依据，对不同任务（收入分箱 vs Likert 5 点）的意义不同。改进方向：用 bootstrap 给出 $\epsilon$ 的数据驱动选取（如取模型自身采样方差的某分位数），并报告 $\epsilon$ 扫描下的曲线而不仅是单点。**弱点四：仅二值属性。** BCT 限制为 binary split，无法表达多类属性（如地区、种族）。改进方向：推广到 $k$-ary 树或一般划分，相应修正 Proposition 2、6、7 的界。**弱点五：合成预测缺乏真值验证。** 网球与奇幻任务证明框架可用，但不能说明模型在真实 forecasting 上是否同样不自洽。改进方向：接入 Prophet Arena 等真实预测基准，比较 self-consistency 分数与 Brier score、对数似然的相关性。

作者明确提出的方向：(1) 把分布对齐与统计自洽评测扩展到更广的领域、更丰富的条件结构、更多样的 elicitation 方法；(2) 设计直接优化 distributional alignment 与 statistical self-consistency 的干预方法。论文在 Discussion 末尾强调 macro fallacy 的方向性——一致性约束本身是无方向的（向聚合调或向条件调得分相同），但若把约束锚定在 alignment 更好的低层条件估计上，就能把细粒度信息向上传播、同时改进聚合估计，这是个值得探索的训练目标。基于本成果的可延伸方向：(a) 把 BCT-based self-consistency 作为 RLHF / DPO 的辅助损失，让模型在训练时显式满足全概率恒等式；(b) 发展 attribution 方法，量化每个子属性对 macro fallacy 的贡献，识别模型『知道但不用』的具体知识片段；(c) 把框架从静态分布扩展到时序预测，检验马尔可夫一致性；(d) 把 self-consistency 与 uncertainty quantification（如 conformal prediction）结合，给出可证校准的条件区间；(e) 跨语言、跨文化扩展 WVS 实验，检验自洽分数是否与训练数据中某人群的占比相关。

整体复现门槛中等偏高。**有利因素**：方法核心是 prompt 工程加全概率公式，无训练；数据全部公开——ACS 2024 来自 census.gov（380 万人，公开），WVS 与 GlobalOpinionQA 已开源；folktexts（Cruz et al. 2024）用于把人口属性 verbalize 成提示，是公开库；prompt 模板分布在附录 G.2、G.4、G.5；度量（归一化 Wasserstein-1）有明确定义；容差 $\epsilon=0.02$ 与 bootstrap 1000 次都写明。**不利因素**：核心实验在 GPT-5.4、Sonnet 4.6、Opus 4.7、Grok 4.3 等闭源前沿模型上跑，调用成本不小（粗估：ACS 全树约 $2^L\approx 16$ 节点 × 7 阈值 × 多次先验采样 × 10+ 模型），且模型版本会随时间漂移，难以严格复现数字；论文未在主体给出代码仓库链接（细节散落在附录 E），split / order consistency 评分的工程实现细节需要从 Appendix 推断；合成预测任务（网球、奇幻）的具体 prompt 与属性 verbalization 需要在 Appendix E.10、E.11 找。**复现建议**：先把 ACS income + GPT-4o mini（便宜）作为最小可行复现，验证 Figure 3 的凹形增益曲线，再扩展到更多模型与 WVS。预计单人 1-2 周可复现主要定性结论，精确数字复现受模型版本制约。