通过语言表示塑造 Schema：扩展大语言模型智能的下一个前沿 Shaping Schema via Language Representation as the Next Frontier for LLM Intelligence Expanding
主张语言表示设计是 LLM 智能扩展的下一前沿
前置知识
Schema（认知图式）
源自认知科学的概念，指大脑中组织知识的内部框架，它决定如何激活、关联并操作不同知识块来响应任务。在 LLM 中被重新定义为抽象的、内在化的图状结构（graph-like framework），刻画模型内部知识被激活和组织的方式。
本文整套论证都建立在'LLM 内部存在类 schema 结构'这一前提上，理解 schema 是把握作者把'语言表示'从表面 prompt 工程上升为'认知结构诱导工具'的关键。
Language Representation（语言表示）
作者在文中对术语作了精确界定：不是泛指'使用什么语言'，而是指'用来映射和建模真实世界的语言与符号构造'，是真实世界实体、物理、逻辑、约束被翻译为 LLM 可处理格式的'设计介质'。论文给出形式化映射 $L: Q \to L$，把问题 $q$ 编码为语言空间中的表示 $L(q)$。
本文核心论点是'自然语言只是诸多可能语言表示中的一种'，理解'语言表示'作为可设计的对象，是阅读后续四层分级（Level 0–3）和公式 $\arg\min_{L \in \mathcal{L}} d(f, L^{-1}\pi L)$ 的基础。
Sapir–Whorf 假说（弱版）
语言学经典假说，主张语言系统并不绝对决定思维，但会通过提供'认知图式'来引导和塑造思维；不同语言的词汇、语法、隐喻会引导使用者以不同方式归类、推理与归因。文中第 2 节用此假说做类比，把'LLM 受语言表示引导'类比成'人类受语言引导'。
这是论文把认知科学与 LLM 机制学嫁接起来的桥梁，没有这个类比，'换种表示就能改变模型推理'就缺少理论先例。
In-Context Learning (ICL) 与 Chain-of-Thought (CoT)
ICL 指模型在不更新参数的前提下，仅靠提示中的少量示例完成新任务；CoT 指在提示中加入逐步推理链以激发模型的链式推理能力。本文把 ICL/CoT 视为'隐式注入 schema'的代表方法，并引出 SA-ICL（Schema-Activated ICL）作为显式 schema 注入的代表。
论文反复用 ICL/CoT 做案例说明'同一模型、同一参数，仅靠改变语言表示就能显著改变性能'，这是后续实验设计（同一任务 15 种表示）的动机来源。
Fisher-Rao 距离与 Fisher 信息矩阵
Fisher 信息矩阵 $I_{\pi_a}(s)$ 度量在 schema $s$ 邻域内 action 映射 $\pi_a$ 对参数的敏感度；Fisher-Rao 距离则是参数化流形上的几何距离。本文用 $\sigma^2_{\min}=\inf_s \lambda_{\min}(I_{\pi_a}(s))$、$\sigma^2_{\max}=\sup_s \lambda_{\max}(I_{\pi_a}(s))$ 来界定预测误差的上下界。
Proposition 3.6 的核心不等式 $\frac{\sigma^2_{\min}}{2} S_M(L) \le d(f,\hat{f}^L) \le \frac{\sigma^2_{\max}}{2} S_M(L) + \epsilon$ 直接依赖该度量，没有此背景就读不懂'为什么 schema 失配可以用比特数定量刻画'。
研究动机
过去几年 LLM 进步几乎完全依赖'参数 + 数据'的规模扩展，scaling law 经验性地呈现出近幂律关系：模型越大、数据越多，性能越可预测地提升。然而本文指出这种思路已经接近天花板——论文用 Figure 1 给出一个直观的'信息缺口'量化：数值天气预报大约承载 $10^{14}$ 比特信息，而自然语言天气预报只能承载约 $10^2$ 比特，中间存在约 $10^{12}$ 倍的表示鸿沟。即便模型把所有知识内化进了参数，'知识的有效激活、组织与使用'并不能得到保证。换言之，自然语言作为默认接口本身就是瓶颈：它模糊（多义、指代不清）、缺乏逻辑约束、对高维科学与物理过程'表达力贫乏'，所以同一模型在等价语义的不同措辞下会出现显著的性能波动与内部激活差异。
本文的目标是论文的核心目标是把'语言表示设计'（Language Representation Design）确立为继 scaling 与 tool-use 之后的第三条智能扩展路径，并给出一套完整的形式化体系与经验证据。具体包括三点：（1）把 schema、language representation、prompt engineering 全部形式化为可优化的对象；（2）沿 Level 0 到 Level 3 四个递进层次，把'消除歧义 / 注入逻辑约束 / 科学形式化与世界观建模'组织成统一分析框架；（3）通过受控实验证明同一任务在不同语言表示下，准确率可以从 12.5% 跳到 100%，且这种差异能在 LLM 内部注意力的激活/组织指标上被观测到。
与已有工作不同的是，现有两条主流路径各有局限：scaling 派把智能视为'规模涌现'，却无法解释为什么同一参数量的模型在不同 prompt 下表现天差地别，也解决不了自然语言'表达力贫乏'这个结构性问题；tool-use 派把 LLM 当作认知中枢、外挂搜索/代码解释器/规划器，但所有这些工具仍以'人类设计的语言'（Python、PDDL、LTL 等）为推理基底，模型与工具的接口依然受自然语言瓶颈制约。本文切入角度的独特之处在于：把'语言表示本身'从'不可优化的常量'提升为'可优化的设计变量'，并给出 $\arg\min_{L \in \mathcal{L}} d(f, L^{-1}\pi L)$ 这种可直接落地的优化目标；更进一步地提出 schema-mismatch $S_M(L) = D_{KL}(s_f^L \Vert s_\pi^L)$ 这一可量化的中间桥梁，把'表示选择'与'预测误差'用 Fisher-Rao 距离严格联系起来，从而把过去只能靠经验调优的 prompt 工程上升为有理论保证的设计学科。
核心方法
方法上，论文先做认知科学与机制可解释性两个领域的概念嫁接：把 schema 从认知科学搬到 LLM 内部表示空间，把 Sapir–Whorf 假说类比为'语言表示对模型推理通道的塑形作用'。然后给出三层形式化——语言编码映射 $L(\cdot)$、LLM 推理算子 $\pi$、schema 分解 $\pi = \pi_a \circ \pi_s$——并以四层递进分级（Level 0 自然语言基线、Level 1 消除歧义、Level 2 逻辑约束、Level 3 科学形式化与世界观建模）把现有方法重新归位。最后用一个受控实验（逻辑电路仿真，15 种语言表示 × 100 题 × Qwen3-32B）来验证形式化结论，同时定义两个基于注意力的机制指标 KOI/KAI 作为 schema 的代理度量。直觉层面：模型不是'理解世界'，而是'在某种语言通道下被激活的图状知识结构'，所以换通道就等于换激活路径，性能自然天差地别。
核心创新在于把'语言表示'从不可优化的工程经验升格为可优化的设计变量，并构造出 schema mismatch $S_M(L) = D_{KL}(s_f^L \Vert s_\pi^L)$ 作为连接'语言选择'与'预测误差'的中间桥梁。区别于已有方法的关键三点：（a）相较于 prompt engineering 只优化输入侧（$g: Q \to Q$），language design 同时改变问与答的表示（$L$ 必须是同构映射），优化空间更结构化、影响更彻底；（b）相较于 scaling 通过参数扩容'内化'知识，本文主张通过'外部通道设计'来释放已有知识，能在不修改参数的情况下取得 12.5% 到 100% 的性能跃迁；（c）相较于纯机制可解释性工作只描述'模型内部发生了什么'，本文反过来'用模型内部指标去诊断某种语言表示的好坏'，让 KOI/KAI 这类机制度量变成设计反馈信号。
方法步骤详情
完整方法分四步。第一步，构造可分析的问题与答案空间。给定问题空间 $Q$、答案空间 $A$、理想映射 $f: Q \to A$，引入语言编码映射 $L: Q \to L$ 把问题与答案嵌入语言空间，LLM 视作映射 $\pi: L \to L$，整体诱导映射 $L^{-1} \pi L \in F$；假设 3.1 强制 $L$ 为同构以保证语义无损。第二步，定义两个优化问题：语言设计 $\arg\min_{L \in \mathcal{L}} d(f, L^{-1}\pi L)$，prompt 工程 $\arg\min_{g \in G} d(f, L^{-1}\pi L g)$，通过 Assumption 3.5 把 LLM 拆成 action 映射 $\pi_a: S \to A$ 和 schema 映射 $\pi_s: Q \to S$，并定义 schema mismatch $S_M(L) = D_{KL}(s_f^L \Vert s_\pi^L)$。第三步，建立理论保证。Proposition 3.6 给出 Fisher-Rao 距离下的预测误差上下界 $\frac{\sigma^2_{\min}}{2} S_M(L) \le d(f, \hat{f}^L) \le \frac{\sigma^2_{\max}}{2} S_M(L) + \epsilon$，从而把'选对语言表示'等价于'最小化 schema 失配'。第四步，四级分类与实验验证：把已有方法按'设计复杂度'轴组织为 Level 0–3 四档，再用逻辑电路仿真任务（5–6 输入、12–16 门、最大深度 6–8 层的组合电路，每题固定一个答案，15 种语义等价的语言表示）在 Qwen3-32B 上对每个表示各跑 100 题，准确率、token 数、推理时间三轴统计，并引入 KAI（基于归一化注意力熵衡量知识激活）与 KOI（基于层间相似度衡量知识组织）作为内部 schema 的代理度量。
技术新颖性
技术新颖性体现在四个交叉点。第一是概念形式化层面，首次在统一符号体系下严格区分了 language design、prompt engineering、schema 三个长期被混用术语，并给出可比较的优化目标。第二是理论层面，引入 schema mismatch $S_M(L)$ 与 Fisher-Rao 距离的耦合，把'语言表示选择'转化为'有理论误差界的优化问题'，这种把认知科学概念（schema）和信息几何（Fisher 信息）严格桥接的工作在 LLM 领域较少见。第三是方法论层面，KOI/KAI 指标的提出让'语言表示好坏'不再只靠端到端准确率衡量，而是可以从机制可解释性角度直接观测；'高 KAI 表示最小化语义噪声引导模型聚焦任务相关节点'、'高 KOI 表示稳定跨层逻辑流'两种解释给后续机制研究开了新口子。第四是路线图层面，提出 Phase 1 系统设计 → Phase 2 表示感知对齐 → Phase 3 机制基础 → Phase 4 自主构造的四阶段路线，最后一阶段直接指向'AI 自主构造超越人类语言的最优表示'，具有明显的范式前瞻性。
实验结果
实验以逻辑电路仿真任务（100 题）为载体，在 Qwen3-32B 上对比 15 种语义等价的语言表示。Table 1 给出三组关键发现：（1）准确率方面，Canonical Boolean Expression 取得 100.0%±0.0 的满分，Layered Execution Plan 95.0%、Lisp Tree Notation 93.75%±2.2、Netlist Language 92.5%±1.8、Graph Adjacency Notation 90.0%±2.4、Natural Language 88.75%±4.7、Compact Gate Notation 83.75%±3.5、Dependency Chain Language 73.75%±3.5、Reverse Polish Notation 71.25%±5.9；而 Matrix Representation 仅 27.5%、Constraint Satisfaction Format 21.25%±1.6、Partial Truth Table 21.25%±1.8、Petri Net Notation 13.75%±5.8、Signal Propagation Trace 12.5%±4.7。最好的表示与最差之间相差 87.5 个百分点，远超模型自身差异。（2）效率方面，Natural Language 提示 token 高达 949.4，是 Canonical Boolean Expression 253.4 的近 4 倍，说明自然语言表达同一个电路非常冗长；Signal Propagation Trace 平均推理时间 33.15s 最短但准确率仅 12.5%，Dataflow Language 50.32s、Matrix Representation 53.24s 反而最慢且最不准，'快且准'和'慢且准'明显出现在不同表示类别。（3）机制指标方面，Canonical Boolean Expression 在 KOI=0.407、KAI=0.370 两项均居前列，印证了'高 KOI/KAI 与高性能正相关'的假设；Petri Net 在 KAI=0.111、KOI=0.337 上同时塌陷，与其 13.75% 的低准确率高度一致。补充实验 Table 3（GPT-5-chat）显示趋势一致，提示该现象具有跨模型稳健性。综合分析，作者把差异归因于'是否天然编码电路的拓扑序'：布尔表达式和 Lisp 树本身已包含信号传播方向，正好和 LLM 的顺序生成对齐，所以路径稳定；Petri Net 与 Constraint Satisfaction 这类无序/全局约束表示则需要模型在文本中频繁跳跃，注意力反复重组，性能随即崩溃。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 逻辑电路仿真（Logic Circuit Simulation） | 准确率 Accuracy (%) | Canonical Boolean Expression 100.0%；Layered Execution Plan 95.0%；Lisp Tree Notation 93.75%；Netlist Language 92.5%；Graph Adjacency Notation 90.0%；Natural Language 88.75% | 自然语言基线 88.75% 与最差表示 Signal Propagation Trace 12.5% | 最佳表示相对自然语言基线提升 +11.25pp，相对最差表示提升 +87.5pp；层级 2（逻辑约束）表示（布尔/Lisp/Netlist）整体优于 Level 0（自然语言）4–11 个百分点 |
| 逻辑电路仿真（推理效率） | 平均 Prompt Token 数 | Canonical Boolean Expression 253.4 ± 43.5；Matrix Representation 1988.0 ± 2.0；Natural Language 949.4 ± 10.0 | 自然语言基线 949.4 tokens | 最佳表示相对自然语言 prompt token 减少约 73.3%，说明结构化表示在表达密度上有数量级优势 |
| 逻辑电路仿真（推理效率） | 平均推理时间 (s) / 100 题 | Canonical Boolean Expression 32.42s；Natural Language 37.89s；Matrix Representation 53.24s | 自然语言基线 37.89s | 最佳表示比自然语言快约 14.4%，比最慢表示快约 39.1%；效率与准确率并非简单单调关系，需结合正确率综合判断 |
| 逻辑电路仿真（机制可解释性） | KOI（知识组织指数）/ KAI（知识激活指数） | Canonical Boolean Expression KOI=0.407 / KAI=0.370；Petri Net Notation KOI=0.337 / KAI=0.111 | Petri Net Notation 13.75% 准确率作为低 schema 失配代表 | 高 KOI/KAI 表示在准确率上比低 KOI/KAI 表示高 86.25pp，提示机制指标可作为表示质量的预测信号 |
局限与改进
作者明确承认的局限包括四点。第一，实验只覆盖单一任务族（combinational logic circuits，5–6 输入、12–16 门、深度 6–8 层），是否能推广到数学证明、分子设计、机器人规划等 Level 3 域未经验证。第二，15 种语言表示虽然语义等价，但设计者对'哪种表示好'有先验偏好，集合本身可能不够'自然'地覆盖 $\mathcal{L}$ 空间。第三，KOI/KAI 仍被作者称为'代理指标（quantitative proxies）'而非 schema 的直接度量，需要进一步机制研究。第四，理论结果依赖 $\pi = \pi_a \circ \pi_s$ 的可分解性假设（Assumption 3.5）与 $L$ 同构假设（Assumption 3.1），这些在现实 Transformer 上未必严格成立。我个人观察的额外局限包括：实验仅在 Qwen3-32B 与 GPT-5-chat 两个闭源/开源大模型上做，没有覆盖中小模型（< 7B）以观察规模与表示敏感性的交互；电路规模偏小（最多 16 门），无法验证 Level 3 那种'需要多步抽象'的复杂任务；Proposition 3.6 的界依赖 Fisher 信息极值 $\sigma^2_{\min}$、$\sigma^2_{\max}$，但并未给出可计算估计；最后，论文没有给出'如何系统搜索 $\mathcal{L}$'的算法——这正是 Q1 明确承认的开放问题。
独立分析的弱点
独立审视，最值得改进的弱点有四。第一，理论分析虽优雅但仅在 Fisher-Rao 度量下成立，$\sigma^2_{\min}$、$\sigma^2_{\max}$ 的紧致性未经验证；可考虑补 KL 散度、Hellinger 距离、Rényi 散度等其它信息几何度量，看界是否同样紧。第二，实验任务族太窄，仅一种组合电路；建议补做'算术推理（GSM8K/MATH）'、'代码生成（HumanEval/MBPP）'、'形式化证明（miniF2F）'，并在每族任务上跑同样的 15 种表示矩阵，让'表示-任务'配对关系数据化、可视化。第三，KOI/KAI 用注意力熵与层间相似度近似'激活/组织'，但因果性没建立；建议配合 activation patching、causal tracing 等手段做因果实验，回答'修改注意力是否真的能修复低分表示'。第四，路线图 Phase 1 提了'把语言设计视为优化问题'，但论文没有给出哪怕一个'可微或可搜索的 $\mathcal{L}$ 空间'，也没有 RL/evolution/超网络的具体算法；可以参考 Neural Architecture Search 的思路，把 prompt 模板、符号记号、类型系统作为搜索对象，做 first end-to-end 的 language design NAS benchmark。
未来方向
作者在第 6 节明确提出三个开放问题 Q1（如何系统设计有效表示）、Q2（如何让 LLM 表示感知地适配特定表示）、Q3（语言表示与内部表示的理论关系），并给出四阶段路线图：Phase 1 系统设计 → Phase 2 表示感知对齐 → Phase 3 机制基础 → Phase 4 自主构造（让 AI 自己从世界交互中学出语言）。基于成果还可以延伸的方向包括：（1）建立'表示-任务'基准，覆盖数学、代码、规划、化学、多模态五类，统一评测不同表示下的能力增益；（2）探索'表示感知微调'，在预训练阶段就引入多种符号系统作为平行监督，让模型具备'表示路由'能力；（3）借鉴认知科学中关于双语/多语切换的文献，研究 LLM 在多表示间切换时的'切换成本'与'干扰模式'；（4）把 KOI/KAI 升级为'在线机制反馈信号'，在推理时实时监控 schema 失配，必要时换表示回退；（5）最激进的方向是 Phase 4 提出的'AI 自主构造语言'，可借鉴程序合成、归纳编程、神经符号学习的成果，让模型自演化出比人类 DSL 更紧凑的推理语言。
复现评估
复现性评估如下。优点：实验任务（组合电路仿真）有确定性的 ground truth，可以完全程序化生成题库；15 种表示有清晰的语法定义，每种都能渲染成具体字符串；评测口径（准确率、token 数、推理时间）都是常规指标；模型是公开发布的 Qwen3-32B 与 GPT-5-chat；KOI/KAI 公式在文中给出，可复现计算。不足：（1）论文没有公开题库、表示模板、prompt 模板、随机种子、batch 设置，也没有给出 OpenReview 链接或 GitHub 仓库，需要读者自行复现电路生成与 15 种 prompt 渲染；（2）电路规模上限（5–6 输入、12–16 门、深度 6–8）需要精确还原，'严格语义等价'的关键在随机拓扑生成+拓扑前向传播两步，一旦实现略有差异就可能破坏语义不变性；（3）GPT-5-chat 不可本地复现，只能用 API 间接对比；（4）注意力层级的 KOI/KAI 计算需要内部 hidden state，开源模型可做但闭源模型不可访问，影响机制分析的可复现性。综合难度：实现整套实验需要工程能力较强的研究者约 1–2 人月，且最好配合 GPU（Qwen3-32B 单题推理约 30–50s，100 题 × 15 表示 × 多模型 × 多次随机种子，总量需要数十到上百 GPU 小时）。
论文图表
Figure 1 是全文的核心概念图，分为左右两半加中间一根轴。左半部分画了'真实世界任务空间（～10^14 bits）'与'自然语言可表达空间（～10^2 bits）'之间约 10^12 倍的信息缺口，用数值天气预报、DNA 螺旋、AI Agent、Molecule、Robot、Logic Gate、Code、Formula、Process/Workflows、Math、Typed fields、Calendar、Database、Tag/Label、Structured Form、NLP Forecast、Email、Document、Web Search 等图标排列。中间是从'自然语言'到'形式/符号'再到'结构化'的'语言表示设计复杂度'递增轴。右半部分画了 Level 0（自然语言基线）、Level 1（消除歧义：typed fields, structured slots, canonical references）、Level 2（逻辑约束：formal grammars, symbolic rules, logical operators）、Level 3（科学形式化与世界观建模：executable formalisms, physical dynamics）四个能力层级，并把这条层级曲线与'气泡聊天/邮件/文档/网络搜索'这类日常应用的能力边界叠加，凸显'设计复杂度越高，能力前沿越靠外'的趋势。
这张图同时承载了'自然语言瓶颈'的量化（10^12 gap）、四级分类的视觉锚定、以及'语言设计复杂度↑ ⇒ 能力前沿外推'的核心论点，是理解整篇 position paper 的总览图；放在 motivation 章节最合适，因为它先于任何形式化告诉读者'为什么要关注语言表示'。