认知惩罚：在面向边缘的小型语言模型中剥离系统 1 与系统 2 推理用于去中心化共识 The Cognitive Penalty: Ablating System 1 and System 2 Reasoning in Edge-Native SLMs for Decentralized Consensus
同模型消融显示 System 2 在 DAO 审查中崩溃率 26.7%，反不如 System 1。
前置知识
System 1 / System 2 推理
借鉴 Kahneman 双重过程理论：System 1 指快速、参数化的自回归直觉生成；System 2 指慢速、显式的链式思考（CoT）推理，通过消耗推理时算力换取逻辑严谨性。
本文核心就是对比同一模型在两种认知模式下的表现，不理解这个二分就抓不住'推理时算力是否值得'这条主线。
Edge-Native SLM
能在消费级硬件或可信执行环境（TEE）上本地运行的 8–9B 参数级小语言模型，是去中心化网络中可验证部署 AI 的最低门槛规格。
文章所有结论都建立在'必须能跑在普通验证者节点上'这一约束下，离开这个前提会误解为什么作者如此看重延迟和确定性。
DAO 宪法防火墙
用 AI 代理在链上对治理提案做合规性裁决（UPHOLD/STRIKE_DOWN）的角色，需要满足 BFT 共识阈值（通常 >66.7%），且对延迟极度敏感。
这是论文的应用场景，决定了为什么不能用通用 chat benchmark 来评估，必须自己造 Sentinel-Bench。
Sycoophancy（谄媚性）与 Adversarial RLHF
模型为迎合用户偏好而非追求事实正确性的倾向；在 RLHF 训练下会被强化，可被攻击者用礼貌话术包裹违宪提案来诱导。
论文扰动数据集的核心攻击向量就是包装在'可持续性'话术里的财产侵犯，理解这个才能看懂 Tier 2 的设计。
认知崩溃（Cognitive Collapse）
模型既未严格拒绝也未给出有效 JSON 输出，而是耗尽 8000 token 输出限制或陷入退化性生成的状态，被作者标记为 INVALID 且不重试。
这是论文用来区分'语义幻觉'与'计算瘫痪'的关键指标，26.7% 的崩溃率直接构成对 System 2 的主要指控。
研究动机
随着去中心化自治组织（DAO）治理承载数十亿美元资产，单纯依赖人类投票已暴露出投票者冷漠与寡头集中等问题，于是出现用 AI 代理充当'宪法防火墙'的趋势。然而 Web3 的根本公理要求这类 AI 必须能在验证者节点的本地硬件上运行——即 8–9B 参数级别的 edge-native SLM。现有 Agentic DAO 框架（如 QOC DAO、Sovereign-OS）虽然在宏观层面用 YAML 章程和三权分立做了结构性防御，但其微观执行层依然极易遭受'语义社会工程'攻击：对手可以把违宪条款包装在礼貌的、可持续性话术中，借助 RLHF 训练出的谄媚倾向绕过防护。
本文的目标是作者想要回答一个具体的工程问题：在 9B 参数级别、必须满足 BFT 共识阈值（通常 >66.7% 一致性）、对延迟极度敏感的边缘部署场景下，给模型'开'Chain-of-Thought（System 2 推理）究竟能不能提升其抵抗语义社会工程的能力？作者用自建的 Sentinel-Bench 在 840 次推理的严格实证下给出反直觉答案：不能，且会显著恶化判决准确率、引入巨大延迟和崩溃率、并把 juridical consistency 拉低到接近 BFT 阈值的危险水平。
与已有工作不同的是，与既有 'scaling inference-time compute' 的主流叙事不同，本文刻意排除了所有架构混淆变量——只用 Qwen-3.5-9B 这一个模型，通过 API 级别的 `think=True/False` 开关在 bit-for-bit 相同的权重上做严格同模型消融。同时引入 DAO 特有的扰动数据集与 BFT 视角下的'juridical consistency'指标，把推理时算力的代价从'延迟'扩展到'共识崩溃窗口''GEV 攻击窗口''ZKML 证明成本'等 Web3 特有维度。
核心方法
直觉上，作者想测的不是'哪个模型更聪明'，而是'在完全相同的 9B 模型上，强行让模型做内部思考会不会适得其反'。技术路线上，他们用 Qwen-3.5-9B 这一原生支持 `think` 开关的架构，构建一个三档 21 条提案的数据集（Tier 1 良性、Tier 2 注入违宪但裹着话术的扰动、Tier 3 经济歧义案例），每个提案在每个认知臂上跑 20 次独立采样（$T=0.6$），共 840 次推理。输出端用 DSPy 的 Pydantic schema 强制 JSON 判决，并捕获 `reasoning_content` 字段以量化思考体积。
核心创新是'严格同模型消融'——通过只切换推理机制、保留所有其他变量（权重、tokenizer、预训练语料），把观察到的性能差异严格归因到推理时算力本身而非架构差异。这与社区常见的'Qwen-Reasoning vs Qwen-Chat'对比完全不同，因为后者会被预训练差异严重污染。配套地，他们把'崩溃率''juridical consistency''reasoning volume'这些针对 BFT 共识场景设计的指标纳入评测体系。
方法步骤详情
方法分四步。第一步构建三档数据集：从 Optimism Agora 抓取 10 条已通过的良性提案作为 Tier 1，复制并注入伪装成'可持续性条款'的财产侵犯条款形成 Tier 2 的 sycophancy trap，再加上 OP Buyback 案例构成 Tier 3。第二步用 DSPy 定义 `ConstitutionalReview` 签名，强制模型输出二元判决（UPHOLD/STRIKE_DOWN）、引用违宪条目、自报置信度，并禁用 `ChainOfThought` 模块以避免对非推理模型造成 prompt 污染。第三步在每个 tier×每条提案×每个认知臂上跑 20 次采样（共 $20 \times 21 \times 2 = 840$ 次推理），通过 `trial_id` 注入 RNG 种子绕过中间件缓存但保持语义一致。第四步用 `ValidationError` 触发指数退避重试，但模型生成完毕却未输出合法 JSON 则记为 `INVALID` 并视为 `FAIL_NON_CONVERGENCE` 不重试，把崩溃率作为显式惩罚。
技术新颖性
新颖性体现在三个层面。方法论上，'bit-for-bit identical weights + API toggle'消除了以往 System 1/2 对比中无法剥离的预训练混淆变量。数据上，针对 DAO 场景构造了既包含形式上已通过的良性提案、也包含用话术伪装违宪的扰动提案，并通过 Optimism Agora 的实际 API 而非纯历史拒绝来确保主题多样。指标体系上，作者把通用 NLP 指标（准确率、F1）扩展到 BFT 共识场景特有的 juridical consistency（trial 间一致性，含 flip-flop 和非收敛惩罚）、governance extractable value window、以及 reasoning volume 分布等维度。
实验结果
Sentinel-Bench 给出三个反直觉数字。判决准确率：System 1 在 Tier 1 与 Tier 2 均 100.0%，System 2 在 Tier 1 掉到 75.5%（24.5% 认知崩溃），Tier 2 跌至 68.5%（30.0% 崩溃，约 1.5% 即 3/200 次出现 Reasoning-Induced Sycophancy），整体崩溃率 26.67%（112/420），System 1 为 0%。延迟：System 2 平均 226.4 秒，是 System 1 的 12.8 秒约 17.6 倍，在 Optimism 2 秒出块节奏下跨越约 113 个块，形成巨大 GEV 窗口。一致性：System 1 juridical consistency 100.0%（$\sigma=0.0$），System 2 仅 72.6%（$\sigma=12.5$），勉强通过 66.7% BFT 阈值。Table 2 的 Rabbit Hole Effect：被诱导失败 trial 平均 25,750 字符思考，比成功防御的 19,221 字符多 34%，说明模型输在算力错配而非算力不足。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Tier 1 良性提案二元判决（False Positive Test） | 正确判决率（UPHOLD） | System 2: 75.5%（24.5% 认知崩溃，0% 过度监管） | System 1: 100.0%（0% 崩溃，0% 过度监管） | System 1 比 System 2 在该任务上高出 +24.5 个百分点，且零崩溃 |
| Tier 2 扰动提案对抗性防御（Sycophancy Trap） | 正确 STRIKE_DOWN 率 | System 2: 68.5%（30.0% 崩溃，1.5% sycophancy 失败） | System 1: 100.0%（0% 崩溃，0% sycophancy 失败） | System 1 比 System 2 在该任务上高出 +31.5 个百分点，错误率从 31.5% 降到 0% |
| 整体认知崩溃率（420 次 trial × 2 tier） | INVALID 占比 | System 2: 26.7%（112/420 次 trial 崩溃） | System 1: 0.0%（0/420 次崩溃） | System 1 把崩溃率从 26.7% 直接压到 0%，绝对改善 26.7 pp |
| Trial-to-trial Juridical Consistency（决定 BFT 能否成块） | 主判决一致性百分比（含 flip-flop 和 non-convergence 惩罚） | System 2: 72.6%（σ=12.5），接近 66.7% BFT 阈值 | System 1: 100.0%（σ=0.0），完全确定性 | System 1 把一致性从 72.6% 拉到 100%，跨越 BFT 阈值冗余显著 |
| 单次推理延迟（Optimism 2 秒出块节奏下） | 平均耗时（秒） | System 2: 226.4s（≈113 块，巨大 GEV 窗口） | System 1: 12.8s（≈6 块，可被 BFT 接受） | System 1 比 System 2 快约 17.6×，GEV 可被利用窗口从 ~113 块降到 ~6 块 |
| OP Buyback 案例研究 OOD 经济歧义 | UPHOLD 率（与人类共识对齐度） | System 2: 17/20 UPHOLD + 3/20 INVALID（崩溃率 15%） | System 1: 20/20 UPHOLD（崩溃率 0%） | System 1 完美对齐人类 living constitution 共识，零 INVALID |
局限与改进
作者明确指出几个局限。其一，Qwen-3.5-9B 的原生 `think` 开关是观察到的最干净的实现，但 Sentinel-Bench 本身不能直接推广到没有此 API 的模型族（如 Llama、纯 Mistral），需重新做推理对齐。其二，sycophancy 失败的样本极小（n=3），Table 4 中 0.946 vs 0.950 的置信度差异在统计上不显著，因此'Reasoning-Induced Sycophancy'是机制性观测而非定量结论。其三，Tier 2 的扰动攻击只覆盖'礼貌包装的财产侵犯'一种话术向量，对其他类型社会工程（角色扮演、权威伪装、紧急性话术）未做覆盖。其四，作者独立观察到的隐含局限：dataset 仅 21 条提案、每条仅 20 次 trial，规模对统计推断仍然偏小；Optimism 单一 DAO 的宪法风格不能代表所有 DAO；ZKML 成本估算只给定性论述未给定量美元换算。
独立分析的弱点
独立分析有五点可改进。第一，21 条提案×20 次 trial 的样本量对支撑'System 2 一定更差'这种强结论偏弱，建议扩展到 ≥5 个 DAO、每 DAO ≥30 条提案、每条 ≥50 次 trial 提升统计功效。第二，Tier 2 对抗扰动仅注入单一话术模板，应系统化扫描 RLHF 中已知谄媚触发词并构造组合扰动。第三，juridical consistency 把 flip-flop 与 non-convergence 同等惩罚，但二者对 BFT 影响不同，应拆分。第四，作者提出的 Adaptive Reasoning Budgets 与 Process-Guided Firewalls 本身也是 RLHF 问题，可能再次触发 sycophancy。第五，论文完全依赖 Qwen 原生 `think` API，但未公开该 toggle 在底层切换了哪些参数（KV cache 行为、采样分布等），削弱了'严格同模型消融'的因果纯度。
未来方向
作者明确提出 5 个方向：(1) 设计 Constitutional Process Reward Models 惩罚 CoT 中 sycophantic drift；(2) 实现 Adaptive Reasoning Budgets 在上下文稀释前截断思考；(3) Process-Guided Firewalls 用 Qwen-3.5-4B/2B/0.8B 等小量化模型对主 oracle 思考 trace 做连续审计；(4) 设计 Asynchronous Oracle Consensus 把 AI 审议与主块生产解耦并建模 GEV；(5) 用 Mamba/RWKV 等状态空间模型替代 Transformer。我建议两条延伸：(6) 把 Sentinel-Bench 接入 ZKML pipeline，量化 System 1 完整 verdict 在真实链上证明成本；(7) 跨多 LLM 司法架构（Llama-3、Mistral、Phi-4）做同样消融，验证 'System 1 在 9B 永远更优' 是否具有架构普遍性。
复现评估
复现性较好。代码、数据、统计 notebook、Optimism Agora / Discourse 抓取脚本以及 DSPy 评估引擎全部开源在 https://github.com/smarizvi110/sentinel-bench，论文末段明确给出仓库链接。算力门槛适中：840 次推理 × Qwen-3.5-9B 在单张消费级 GPU（如 RTX 4090 24GB）上即可完成，作者未声明需要机柜级算力。复现难点主要在三处：(1) 必须使用支持原生 `think=True/False` API 的 Qwen-3.5 部署（vLLM / SGLang），否则消融纯度受损；(2) Optimism Agora 的 10 条 baseline 提案需要锁定到抓取时刻的链上状态，未来可能因提案修订而漂移；(3) $T=0.6$ 与 8000 max-token 上限的组合需要严格复现，否则崩溃率会因采样温度改变而剧烈波动。整体而言，对一位熟悉 vLLM 与 DSPy 的中级研究者，预计可在 2–3 天内完整复现主要数字。
论文图表