T2S-Bench 与思维结构：全面评估和提升文本到结构推理能力的基准与提示方法 T2S-Bench & Structure-of-Thought: Benchmarking and Prompting Comprehensive Text-to-Structure Reasoning
提出 SoT 提示技术与 T2S-Bench 基准，系统评估和提升 LLM 的文本结构化能力
前置知识
Chain-of-Thought (CoT) 思维链提示
思维链提示是一种引导大语言模型逐步推理的技术。与直接给出答案不同，CoT 让模型先生成中间推理步骤，再得出最终结论。这种方法在数学推理、代码生成等领域表现出色，通过将复杂问题分解为一系列简单的子步骤来提升模型的推理能力。例如，在解决数学题时，模型会先列出已知条件，再逐步推导，最后给出答案。
SoT 是在 CoT 基础上的改进，理解 CoT 的优缺点有助于理解为什么需要引入文本结构作为更可靠的中间表示。
多跳推理 (Multi-hop Reasoning)
多跳推理是指需要整合多个信息片段、经过多个推理步骤才能得出正确答案的任务。例如回答A的祖父是谁需要先找到A的父亲，再找到父亲的父亲。这类任务要求模型能够追踪实体之间的关系链，在多个文档或段落之间建立连接。HotpotQA、2WikiMultiHopQA 等数据集专门用于评估模型的多跳推理能力。
T2S-Bench 的核心评估任务就是多跳推理，理解这一概念有助于理解基准测试的设计动机和评估维度。
中间表示 (Intermediate Representation, IR)
中间表示是在输入和最终输出之间引入的结构化信息形式。在文本处理中，IR 可以是实体关系图、知识图谱、摘要结构等。引入 IR 的目的是为模型提供一个稳定的锚点，使其能够更好地检索、整合和生成信息。好的 IR 应该是任务无关的、可验证的，并且能够捕捉文本的核心语义结构。
本文的核心论点是文本结构可以作为通用的中间表示，理解 IR 的概念有助于把握论文的理论基础。
文本结构化 (Text Structuring)
文本结构化是指从非结构化文本中提取关键实体（节点）及其关系（链接），构建图结构的过程。这种结构可以是有向图、层次结构或网络拓扑。例如，从一篇描述系统架构的论文中提取组件及其依赖关系。结构化的结果通常是 JSON 格式的节点-链接图，便于模型理解和推理。
这是本文研究的核心能力，T2S-Bench 专门评估模型将文本转化为结构化表示的能力。
GRPO (Generalized Reinforcement Policy Optimization)
GRPO 是一种强化学习训练算法，用于优化语言模型的策略。与传统的监督微调不同，GRPO 通过奖励信号引导模型学习更好的输出策略。在本文中，研究者使用 GRPO 在 T2S-Train-1.2k 数据集上微调模型，以提升其文本结构化能力。这种方法能够在有限数据下实现显著的性能提升。
论文使用 GRPO 进行微调实验，理解这一方法有助于评估复现论文结果所需的训练策略。
研究动机
当前大语言模型在处理复杂文本任务时面临严重瓶颈。尽管 LLM 已广泛应用于搜索引擎、办公工具和科学写作等场景，但在长文本理解任务上的表现仍然不尽如人意。以 LongBench 为例，即使是最先进的模型也仅能达到约 60% 的准确率。根本原因在于现有模型将这些任务视为端到端的文本生成，缺乏稳定的中间表示（IR）。这种处理方式导致三个核心问题：第一，证据检索不稳定，模型难以在长文本中准确定位相关信息；第二，多源信息整合困难，模型无法可靠地融合来自不同段落或文档的观点；第三，生成结果难以审计，用户无法验证模型的推理过程。例如，在多文档问答任务中，模型需要从多个来源收集证据并进行推理，但由于缺乏显式的结构化表示，模型往往遗漏关键信息或产生幻觉。此外，现有的特定任务方法（如高亮引导生成、SQL 驱动提取）虽然有效，但高度依赖任务特定的输入格式，无法泛化到多样化的文本处理场景。
本文的目标是本文的目标是建立一个统一的框架来评估和提升模型的文本到结构（text-to-structure）能力。具体而言，研究者希望验证一个核心假设：显式的文本结构化是否能够作为通用的中间表示，系统性地提升模型在多样化文本处理任务上的表现。为了实现这一目标，论文提出了两个互补的贡献：一是 Structure of Thought (SoT) 提示技术，通过引导模型先构建文本结构再生成答案；二是 T2S-Bench 基准测试，提供标准化的评估和训练数据集。研究者希望通过这套框架回答三个关键问题：文本结构化能在多大程度上提升下游任务性能？当前模型在结构化能力上存在多大的提升空间？通过针对性训练能否有效提升这种能力？
与已有工作不同的是，本文的独特切入角度在于将文本结构化从特定任务的辅助工具提升为一种通用的、可评估的核心能力。此前的工作虽然也引入了结构化信息（如 Structure Guided Prompt 将文本转换为图结构，PDFTriage 利用 PDF 的结构信息），但这些方法存在三个被忽视的问题：首先，缺乏统一的结构定义标准，不同任务使用不同的结构格式；其次，没有系统性的评估框架，无法比较不同方法的结构化效果；最后，缺乏大规模的训练数据来提升模型的结构化能力。本文抓住了这些被忽视的点，通过构建覆盖 6 个科学领域、32 种结构类型的综合基准，首次提供了评估文本到结构能力的标准化工具。更重要的是，论文证明了结构化能力不仅对特定任务有益，而且是一种可以迁移到下游任务的通用技能——在 T2S-Bench 上微调的模型在 HotpotQA、Qasper 等任务上也表现出显著提升。
核心方法
本文的方法框架可以类比为先画地图再走路的策略。想象你要在一个陌生城市找路：直接问路可能得到模糊的指示，但如果你先在地图上标出关键地标和路线，再规划行程就会清晰得多。SoT 采用同样的思路——在回答问题前，先让模型从文本中提取关键实体（节点）和它们之间的关系（链接），构建一个结构化的地图，然后基于这个结构进行推理。技术路线分为两个层面：在推理层面，SoT 通过特定的提示模板引导模型输出 JSON 格式的节点-链接图，再基于该结构生成答案；在评估层面，T2S-Bench 提供了多跳推理（MR）和端到端提取（E2E）两个评估轨道，分别测试模型利用结构进行推理的能力和直接从文本提取结构的能力。这种方法的核心优势在于将隐式的文本理解过程显式化，使得模型的推理过程可检查、可调试。
本文的核心创新在于提出文本结构是通用中间表示这一论点，并设计了配套的提示技术和评估框架来验证它。与 Chain-of-Thought (CoT) 的本质区别在于：CoT 结构化的是模型的推理过程——让模型一步步思考；而 SoT 结构化的是输入文本的内容——让模型先提取文本中的实体和关系。这种区别在实践中产生显著差异：CoT 在数学和编程任务上效果显著，但在通用文本处理任务上效果不稳定，可能因为中间推理步骤引入噪声；而 SoT 通过锚定到文本中的具体结构，提供更可靠的推理基础。实验数据支持了这一论点：在 8 个任务上，SoT 相比直接回答平均提升超过 5%，在 2WikiMultiHopQA 和 MuSiQue 上提升超过 10%，且在所有模型和任务上都展现出一致的改进效果。更关键的是，这种结构化能力是可以训练和迁移的——在 T2S-Bench 上微调的模型在未见过的下游任务上也表现出显著提升。
方法步骤详情
SoT 的实施分为三个步骤。第一步是结构提取：模型接收文本输入，被要求识别其中的关键实体作为节点（nodes），以及实体之间的关系作为链接（links），输出格式为 JSON 对象，包含节点列表（每个节点有 id 和 label）和链接列表（每个链接有 source 和 target）。例如，对于描述系统架构的文本，模型需要提取各个组件作为节点，组件之间的数据流或依赖关系作为链接。第二步是结构利用：模型基于提取的结构和原始文本进行推理，回答特定问题。这个过程中，结构充当了信息检索的索引，帮助模型快速定位相关实体和关系。第三步是答案生成：模型输出最终答案，格式根据任务类型可以是选择题选项或自由文本。在评估方面，T2S-Bench 的构建过程更为复杂：首先从学术论文中收集高质量的文本-结构对，经过模型验证和人工筛选；然后基于这些结构生成多跳推理问题，遵循 4 类 32 种模板；最后通过部分结构约束评估方法，分别测试节点提取和链接提取能力。
技术新颖性
本文的技术新颖性体现在三个维度。首先是范式创新：将文本结构化从辅助手段提升为核心评估目标。此前的基准测试（如 LongBench、HotpotQA）评估的是最终答案的正确性，而 T2S-Bench 同时评估结构提取质量和推理准确性，提供了更细粒度的能力诊断。其次是评估方法创新：为了解决一个文本可能有多种有效结构的挑战，T2S-Bench-E2E 采用了部分结构约束评估——给定节点评估链接，给定链接评估节点——这种方法既保证了评估的公平性，又能够隔离测量特定能力。第三是数据构建创新：通过学术论文作为数据源，利用其天然的高质量结构图和清晰的文本描述，避免了模型生成结构可能带来的幻觉问题。整个数据构建过程包含超过 6000 次模型搜索、6 轮模型验证和 3 轮人工质量检查，确保了数据集的准确性和可靠性。
实验结果
本文的实验结果揭示了多个重要发现。首先，在 T2S-Bench 的多跳推理任务上，45 个模型的平均准确率仅为 52.1%，表明当前模型在需要结构化推理的任务上仍有巨大提升空间。顶尖模型 Gemini-2.5-Pro 以 81.40% 的 EM 和 91.56% 的 F1 分数领先，其次是 Claude-sonnet（76.80/86.85）和 GPT-5.2（71.80/84.32）。值得注意的是，开源模型正在快速追赶：DeepSeek-reasoner (R1) 达到 76.60% EM，Qwen3-32B 达到 69.40% EM，与闭源模型的差距正在缩小。在端到端结构提取任务上，性能瓶颈更为明显：即使最先进的 Gemini-2.5-Pro，节点准确率也仅为 58.09%，大多数模型在 35%-50% 之间。相比之下，链接提取表现更好，领先模型达到 84%-87% 的 F1 分数。这种节点与链接的性能差距表明，实体识别和共指消解仍是核心挑战。SoT 提示技术的效果显著：在 Qwen2.5-7B-Instruct 上，SoT 相比直接回答平均提升 5.7%，在 2WikiMultiHopQA 上提升 16.2%，在 MuSiQue 上提升 12.1%。更重要的是，在 T2S-Train-1.2k 上微调后，性能提升进一步扩大：Qwen2.5-7B 在 T2S-Bench 上的 EM 从 28.8% 提升到 46.1%（+17.3%），在 HotpotQA 上从 60.0% 提升到 68.2%（+8.2%）。这些结果证明结构化能力是可以训练和迁移的。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| T2S-Bench-MR 多跳推理 | EM (Exact Match) | Gemini-2.5-Pro: 81.40% | 平均: 52.1% | 领先平均 29.3% |
| T2S-Bench-E2E 节点提取 | Node 语义相似度 | Gemini-2.5-Pro: 58.09% | 多数模型 35-50% | 存在巨大提升空间 |
| T2S-Bench-E2E 链接提取 | Link F1 | Gemini-2.5-Pro: 84.32% | 多数模型 >70% | 相对表现较好 |
| HotpotQA (Qwen2.5-7B) | 准确率 | +SoT: 65.8%, +T2S-Train: 68.2% | 原始: 60.0% | SoT +5.8%, 微调 +8.2% |
| 2WikiMultiHopQA (Qwen2.5-7B) | 准确率 | +SoT: 63.2%, +T2S-Train: 65.3% | 原始: 46.9% | SoT +16.3%, 微调 +18.4% |
| MuSiQue (Qwen2.5-7B) | 准确率 | +SoT: 48.0%, +T2S-Train: 51.2% | 原始: 43.5% | SoT +4.5%, 微调 +7.7% |
| QMSum (Qwen2.5-7B) | 准确率 | +SoT: 27.9%, +T2S-Train: 30.9% | 原始: 23.9% | SoT +4.0%, 微调 +7.0% |
局限与改进
本文存在几个值得关注的局限性。首先，数据集的领域覆盖虽然广泛（6 个科学领域），但仍以学术论文为主要数据源，可能无法完全代表真实世界中的多样化文本类型，如社交媒体、新闻报道或商业文档。其次，T2S-Bench-E2E 的评估样本量较小（仅 87 个），这可能影响统计显著性，特别是在进行细粒度的模型比较时。第三，当前的评估主要关注节点和链接的提取质量，但对结构的更高级属性（如层次性、模块性、中心性）缺乏深入分析。此外，论文承认了计算和环境成本的问题——训练和评估多个大型模型会产生显著的碳排放。从我的观察来看，SoT 的效果在不同任务上存在较大差异：在多跳推理任务上提升显著（>10%），但在某些任务（如 GovReport、NarrativeQA）上提升较小（<3%），这表明结构化的收益可能与任务特性密切相关，论文对此缺乏深入分析。另外，论文主要评估了英文文本，对于其他语言的适用性尚不明确。
独立分析的弱点
基于对论文的深入分析，我识别出几个关键弱点。首先，SoT 的提示模板是固定的 JSON 格式，这可能限制了其在不同类型文本上的适用性。例如，对于叙事性文本（如小说或新闻报道），节点-链接图可能不是最自然的结构表示，树状或序列结构可能更合适。改进方向是设计自适应的结构模板，根据文本类型自动选择合适的结构格式。其次，T2S-Bench 的数据构建高度依赖 GPT-5.2 和 Gemini-2.5-Pro 等闭源模型，这不仅增加了成本，也引入了潜在的偏差——基准测试可能偏向于这些模型擅长的结构类型。改进方向是探索基于规则或开源模型的数据构建方法。第三，论文缺乏对 SoT 失败案例的深入分析。在某些任务上 SoT 的提升有限甚至为负（如 GPT-4o 在某些任务上），理解这些失败模式对于改进方法至关重要。改进方向是建立系统性的错误分析框架，识别 SoT 适用和不适用的边界条件。最后，当前的评估假设结构提取和推理是两个独立阶段，但实际上它们可能存在交互效应——更好的结构可能促进更好的推理，反之亦然。改进方向是设计端到端的评估方法，同时优化两个能力。
未来方向
论文和基于其成果可以延伸出多个研究方向。作者提出的方向包括：改进实体检测、共指消解和语篇分割技术，以缩小节点提取与链接提取之间的性能差距。基于论文成果可延伸的方向包括：第一，将 SoT 与其他提示技术（如 Tree-of-Thoughts、Graph-of-Thoughts）结合，探索结构化推理与搜索式推理的协同效应；第二，将 T2S-Bench 扩展到更多语言和领域，特别是中文、日文等非英语文本，以及法律、医疗等专业领域；第三，开发轻量级的结构提取模型，使得在资源受限的场景下也能实现高效的文本结构化；第四，探索结构化表示在其他任务中的应用，如代码理解、多模态推理等；第五，研究如何将人工标注的结构信息整合到模型预训练中，从根本上提升模型的结构化能力。
复现评估
论文的复现条件相对友好。数据和代码已开源（https://t2s-bench.github.io/T2S-Bench-Page/），包括 T2S-Bench 数据集、评估脚本和提示模板。训练方面，论文使用 GRPO 算法在单节点 8 块 A100 GPU 上微调 Qwen2.5-7B 和 LLaMA3.1-8B，每个模型约 200 步，batch size 为 32。这种配置对于学术实验室是可承受的。数据集方面，T2S-Bench 包含 1.8K 样本，存储空间需求不大。评估方面，论文提供了统一的评估接口，支持 API 模型和本地模型，使用确定性解码（temperature=0）确保结果可复现。然而，完整复现论文的所有实验（45 个模型的评估）需要大量的 API 调用费用。对于资源有限的研究者，可以专注于在 1-2 个开源模型上复现核心结果。需要注意的是，论文使用了多个闭源模型进行数据构建（GPT-5.2、Gemini-2.5-Pro 等），如果需要重新构建数据集，这部分成本较高。总体而言，复现难度为中等，核心实验结果应该可以复现。
论文图表
