LifeSearch：面向真实生活与生产力场景的深度研究智能体评测基准 LifeSearch: Benchmarking Deep Research Agents for Real-World Life and Productivity
评测真实生活与办公场景深度研究智能体的中英双语基准，最强模型仅得63.4%
前置知识
深度研究智能体（Deep Research Agent）
一类自主完成开放性信息任务的系统：接收模糊的真实需求后，先做搜索规划，再迭代调用搜索引擎和网页抓取工具，边检索边推理、交叉验证证据，最后把信息综合成一份长篇研究报告。OpenAI Deep Research、Gemini Deep Research 是代表产品，核心考验是长程多步执行与证据综合能力。
本文的评测对象就是 12 个这类智能体，理解其规划—检索—综合的工作方式，才能明白基准的任务设计逻辑与失败模式分析。
LLM-as-a-Judge
用一个大模型代替人类评审给输出打分。本文的协议是：把任务、候选报告和单条评分标准一起发给评判模型，让它输出严格的二元 Pass/Fail 判定及简短理由，再由脚本按权重聚合成总分。评判模型自身的准确性和稳定性必须先用人工标注来校准。
LifeSearch 的每一个分数都由 judge 产生，论文用整节（3.5 节）做评判模型选型与验证；不理解该机制就无法判断 63.4 分这类数字的可信度。
Rubric（评分细则）
把一份好报告拆成一条条原子化、可独立判定的验收陈述，例如应给出 A 方案截至 2026 年 6 月 30 日 20 美元/月的官方定价。每条附带类型（客观/主观）、必要性（明示/隐含）、优先级（必须/加分）与 0 到 1 的数值权重，使开放任务的评分可逐条复核。
本文构建了 4,014 条这样的细则作为评分基础；报告每一分的得失都对应具体 rubric 的通过与失败，是解读所有实验结果的钥匙。
ReAct 智能体框架
Reason+Act 的执行范式：模型交替进行推理（决定下一步做什么）与行动（调用搜索、抓网页、跑代码等工具），把工具返回的观察结果纳入上下文继续推理，循环直到产出最终答案。一次迭代对应一个逻辑决策步，可包含多次工具调用。
论文把 12 个模型放在同一个 ReAct 风格 harness（Serper 搜索 + Jina Reader 抓页）里公平对比，迭代次数、输出 token 等资源指标都在该框架下统计。
一致性统计量（Cohen's κ、Spearman ρ、Kendall τ）
Cohen's $\kappa$ 度量两位标注者在二元标签上超过随机水平的共识程度，大于 0.6 通常算良好；Spearman's $\rho$ 与 Kendall's $\tau$ 分别度量两个排序的秩相关强度，1 为完全一致。它们是把自动评分对齐到人类判断的标准工具。
论文用 $\kappa=0.715$ 证明专家标注可靠，用 $\rho=0.89$、$\tau=0.81$ 证明基准排名与人类一致；这些统计量是全文结论可信性的定量支柱。
研究动机
现有深度研究（DR）评测与真实生活需求严重脱节。早期基准如 BrowseComp 用可精确字符串匹配的短答案考察找事实能力；随后 DeepResearch Bench、ResearchRubrics、DRACO、Mind2Web 2 等转向用多准则 rubric 评分开放报告，但任务多来自学术研究或人工合成场景；WideSearch 虽覆盖结构化表格收集、LiveResearchBench 面向用户中心报告，但均非真实用户查询与专家撰写评分标准的组合。真实生活中用户会问诸如整理昆山市 2021–2025 年人口底数做成可复核时间序列、对比俄勒冈大学与 UCF 的州外学费和录取 SAT 区间这类问题：答案必须给出精确数值、单位、日期与来源，且常带时间截止约束。论文 Table 1 显示，没有任何已有基准同时满足生活与生产力场景、真实用户查询来源、专家撰写中英双语和报告型输出四项，导致前沿 DR 智能体在这类高频刚需场景上的能力从未被系统测量。
本文的目标是本文的目标是构建并开源 LifeSearch：一个严格对齐真实生活与办公搜索需求的深度研究评测基准。具体包括四件事：(1) 从雇佣众包工人的真实查询种子出发，构建 203 个中英双语任务（中文 102、英文 101），覆盖公司与竞品研究、学术与专业文献、金融市场分析、政策与政府数据、行业新闻与趋势、技术工具与开发者资源、日常生活事实共 7 个领域；(2) 投入超过 4,500 小时人工标注，撰写 4,014 条专家评分标准（平均每任务 19.8 条），其中约 40% 显式锚定具体数值、事件或命名文档，保证评分可独立验证；(3) 用 402 条人工标签校验并从 11 种配置中选出可靠的 LLM 评判配置；(4) 在统一 harness 下系统评测 12 个前沿 DR 智能体，刻画性能格局、资源消耗与失败模式，为社区提供可复核的改进标尺。
与已有工作不同的是，本文的独特之处在于把任务真实性与评分可验证性同时做到极致。已有基准要么任务真实但评分主观（依赖 judge 对整段报告打质量分），要么评分严格但任务合成（如 BrowseComp 的填空式问题）。LifeSearch 的切入路径是：任务源自众包工人的真实需求而非作者凭空构造；再由资深标注专家用子任务分解加四种能力定向增强（搜索规划 SP、信息综合 IS、冲突解决 CR、不确定性处理 UH）把真实但松散的查询升级为能探测具体能力的研究任务；最后给每条 rubric 预先核实的事实锚点（数值、单位、日期、容差），使 LLM judge 无需再上网检索就能独立判 Pass/Fail，并用 0–1 十进制权重刻画重要性。这套真实任务、数值锚定 rubric、加权聚合的组合拳，是 Table 1 中任何已有工作都不具备的。
核心方法
直觉上，考生活与办公搜索需要三样东西：真实的考题、能判断答卷好坏的明细答案、以及一台可靠的自动阅卷机。LifeSearch 的流水线（Figure 2）正对应这三步加一个闭环验证。第一步出题：雇佣众包工人写下真实查询种子，经 LLM 意图与质量过滤、七领域分类、去除文件操作类指令的最小化重写、人工精选四个阶段，得到 203 个任务。第二步专家精炼：训练有素的标注专家把每个种子分解为 2–4 个子任务（Lookup/Compute/Compare/Reason 四类），围绕 SP/IS/CR/UH 四种能力中的典型两种做增强，再整体重写为自然、自包含的查询。第三步制定评分细则：同一批专家为每个任务撰写平均 19.8 条、共 4,014 条 rubric，每条附类型、必要性、优先级和权重字段，其中约 40% 锚定经核实的具体数值或文档。第四步自动阅卷：LLM judge 逐条判 Pass/Fail，按权重聚合成分数；评判模型本身经过 402 条人工标签、11 种配置的对比实验选出，并用 210 份报告的人类排名研究验证整体分数与人类判断对齐。
核心创新是把开放性报告评测转化为大规模原子化、数值锚定、带权重的独立二元判定。与已有方法的本质区别有三点。其一，任务真实且能力定向：种子来自雇佣众包工人的真实查询，再由专家围绕四种能力做子任务级增强，使每道题都明确探测一种或几种智能体能力，而非泛泛地写篇报告。其二，rubric 预先内嵌经核实的答案：专家在标注时就用权威来源核实数值目标（如 Plan A 截至 2026 年 6 月 30 日月费 20 美元），judge 判分时无需再检索网络，从机制上压缩了 judge 的幻觉空间，约 40% 的 rubric 属于此类硬锚定。其三，权重化聚合：每条 rubric 带 annotator 赋予的 0–1 十进制权重 $w_{q,r}$，任务内按权重归一化得到任务分 $s_q$，再对任务简单平均，保证每任务等权、rubric 数量多寡不会扭曲分数。三者共同把真实但模糊的生活需求，改造成可复核、可自动评分的严格考题。
方法步骤详情
全流程五步。①数据收集：LLM 过滤非搜索、低质量及预设近期事件的查询，按目的分入七个生产力领域，重写剔除文件操作类工程指令，人工终审得 203 题。②专家精炼：种子分解为 2–4 个 Lookup/Compute/Compare/Reason 子任务，围绕搜索规划、信息综合、冲突解决、不确定性处理中的两种能力增强，重写为自包含查询。③rubric 构建：覆盖指令遵循、信息覆盖、事实准确性、证据引用、推理分析、任务成功、呈现七维度，每条记录 criterion、主客观类型、明示/隐含必要性、优先级与 $[0,1]$ 权重，约 40% 锚定经核实的数值。④评分：judge 逐条输出 $y_{q,r}\in\{0,1\}$，任务分 $s_q=\sum_{r\in R_q} w_{q,r}y_{q,r}\,/\sum_{r\in R_q} w_{q,r}$，任务间等权平均为总分；402 条人工标签（$\kappa=0.715$）对比 11 种配置后选定 Gemini 3.1 Pro 低推理零温度（84.25% 准确、98.8% 自洽），多数投票仅增益 0.08 个百分点故单次判分。⑤统一 harness 评测：ReAct 骨架配 Serper 搜索、Jina Reader 抓页与代码执行，12 模型 × 203 题 × 3 次运行，报告均值±标准差、迭代数与 token。
技术新颖性
技术新颖性体现在四个层面。数据层面：首个以真实用户查询为种子、聚焦生活与生产力的 DR 基准，且中英双语（102/101），7 个领域分布较均衡（各域 9–48 题）。标注层面：4,500 多小时人工投入产出 4,014 条 rubric，其中预核实的数值锚定（约 40%）直接针对既有基准 rubric 缺乏可验证性的痛点；权重字段（0.1 步长浮点）使重要性可量化聚合，而主观的优先级标签只作为 judge 提示保留，两套语义分工明确。评测协议层面：论文不假设 judge 可靠，而是用小规模高一致的人工标签集（$\kappa=0.715$）系统扫过 4 个模型共 11 种配置，得到两个反直觉结论——零温度提升自一致性（94.5% 升至 98.0%）但不保证准确性（Gemini 3.5 Flash 无推理自洽高达 99.0% 却只有 75.62% 准确率），以及多数投票收益微乎其微（不超过 0.42 个百分点），从而给出单次判分、低推理、零温度的实用配方。验证层面：不只验证单条判定，还用 30 任务、7 模型、210 份报告的排名研究（$\rho=0.89$、$\tau=0.81$）证明聚合分数与人类对整份报告的偏好对齐。
实验结果
主实验（Table 4，12 模型 × 203 题 × 3 次运行）呈清晰梯队：GPT-5.6 Sol 以 $63.44\pm0.27$ 领跑，Claude Opus 5 为 $56.10\pm0.28$，其余十系统均低于 50%（自 Hy4 Preview 49.73 降至 Gemini-3.6-Flash 34.72）。发现一：提升空间巨大——最强模型仍有 36.6% 加权要求未满足，41/203（20.2%）任务均值低于 50%，任何领域无一系统超 70%；GPT-5.6 Sol 七域为学术 67.8、政策 65.6、技术 65.6、竞品 62.9、金融 60.7、行业 59.5、生活常识 58.3，与 Opus 5 包揽各域前二。发现二：质量超越数量——迭代次数与分数正相关（$\rho=0.76$），报告长度亦然（$\rho=0.60$），但生成量非充分条件：Opus 5 与 GLM-5.3 输出相近（48.9k 对 49.3k token）分差达 6.9 个百分点；Hy4 用 33.6k token 得 49.7 分；Doubao 写 12,089 字符仅 43.1 分。发现三：三类典型失败——过早提问致任务中止（Doubao、GPT-5.6 Sol）、无视时间截止用新数据（Hy4 尤甚，附录案例中 DeepSeek-V4 Pro 在 7 月 20 日截止档案里用 8 月 21 日数据）、流畅摘要漏掉实体数值与来源。人类研究（30 题、210 份报告）给出 $\rho=0.89$、$\tau=0.81$，前四名与人类排序完全一致。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LifeSearch 总分（12 个前沿 DR 智能体，203 任务 × 3 次运行） | 加权 rubric 通过率（%） | GPT-5.6 Sol：63.44 ± 0.27 | 第二名 Claude Opus 5：56.10 ± 0.28；最弱 Gemini-3.6-Flash：34.72 ± 0.16 | 领先第二名 7.34 个百分点，但距满分仍有 36.6% 的要求权重未满足 |
| 学术与专业文献领域 | 领域分数（%） | GPT-5.6 Sol：67.8（全文最高单域分） | Claude Opus 5：60.7 | +7.1 个百分点 |
| 日常生活事实领域 | 领域分数（%） | GLM-5.3：51.9 | Hy4 Preview：47.1 | +4.8 个百分点（小样本域上的名次反转） |
| 评判模型选型（402 条人工标注 rubric，每种配置运行 3 次） | 平均准确率（%） | Gemini 3.1 Pro（低推理、温度 0）：84.25，自一致性 98.8% | 最强无推理配置 Gemini 3.5 Flash：75.62；同模型高推理默认温度：84.00 | 较高推理档 +0.25 个百分点，且自一致性从 94.5% 升至 98.8% |
| 基准分数与人类报告排名的一致性（30 任务、7 模型、210 份报告） | Spearman ρ / Kendall τ | 0.89 / 0.81，前四名排序与人类完全一致 | 随机排序期望值约为 0 | 强对齐，支持用自动聚合分数代替大规模人类评审 |
局限与改进
作者承认的局限包括：judge 与人类的一致率上限为 84.25%，意味着约 15.75% 的 rubric 判定带噪声，且校准集仅 20 个任务、402 条标签；人类排名研究只覆盖 30 个任务、7 个模型、210 份报告；领域子集规模不均（每域 9–48 题），作者明言领域间差异（如 GLM-5.3 与 Hy4 Preview 在生活常识上的反转）只是描述性的；迭代次数与分数的相关是观察性的，作者自述无法分离额外搜索的因果效应。我的补充观察有五点：其一，评测窗口集中在 2026 年 8 月的几天内，网页内容动态变化会使分数随时间漂移，时效类任务的答案锚点会过期；其二，judge 是 Gemini 3.1 Pro，而被评模型包含 Gemini-3.6-Flash，存在同源模型互评的潜在偏置；其三，rubric 权重由标注者主观给出（0.1 步长），跨任务可比性完全依赖任务内归一化假设；其四，论文只报 token 与迭代数，未报 API 美元成本与时延，难以指导真实部署取舍；其五，任务过滤与重写大量依赖 LLM，可能系统性筛掉某类真实需求（如预设近期事件的追问），203 题对 7 个领域做显著性检验仍偏小。
独立分析的弱点
独立分析的弱点与改进方向：(1) 判分噪声天花板——84.25% 的 judge 准确率意味着可观的标签噪声，模型间 1–3 分的差距可能被噪声淹没；改进方向是扩大人工校准集、把模糊 rubric 进一步客观化（预填更多数值锚点），或要求 judge 先引用报告原文再判定以减少误读。(2) 时效脆弱性——基准答案锚定 2026 年年中的网页状态，数月后最新价格与政策类 rubric 会失效；改进方向是配合网络存档快照冻结证据源，或建立定期刷新与答案版本化机制。(3) 统一 harness 的公平性悖论——所有模型套同一个 ReAct 骨架和第三方搜索（Serper + Jina Reader），既无法反映各厂商官方 DR 产品的真实水平，也可能因搜索质量差异误伤模型；改进方向是同时报告统一 harness 与官方产品两套结果，并做搜索后端消融。(4) 成本维度缺失——没有美元成本与时延数据，用 86.2 次迭代换 63.4 分是否划算无从判断；建议报告分数每美元的帕累托前沿。(5) 小样本领域——例如竞品研究仅约 9 题，单题权重过大；应扩充题量并报告置信区间与显著性检验。
未来方向
作者提出的方向是把 DR 智能体推向可靠的日常生活与办公助手（结论章），LifeSearch 作为标尺持续追踪该目标。基于本文成果可延伸的研究包括：(1) 把 rubric 思路反哺训练——用数值锚定的可验证 rubric 作为强化学习的奖励信号（类似 RLVR），直接优化覆盖每条要求的能力；(2) 交互式澄清评测——本文把过早澄清记为失败，但真实产品中恰当时机的追问是有价值的，可设计允许一轮澄清的协议，区分逃避型与必要型提问；(3) 时间遵从作为独立能力轴——把截至某日的档案类任务单独成集，量化模型的时间推理与自我日期披露行为；(4) 多模态与本地文件扩展——恢复被重写删去的读取本地 PDF 与表格的需求，评测带文件上下文的研究能力；(5) 自动 rubric 生成加人工抽检的规模化管线，把每任务 rubric 数从 20 提升到数百；(6) 成本感知的多目标评测与部署权衡分析；(7) 覆盖更多语言与地区（尤其非英语的政务与市场数据源），检验跨语言泛化与数据源可及性差异。
复现评估
复现友好度较高但运行成本不低。开源情况：论文声明将构建并开源 LifeSearch 数据集，附录 B 完整给出了意图过滤、领域分类、任务重写、中英文 judge 提示词与 agent 系统提示词，附录 E 展示了中英文任务及 rubric 原文样例，评分公式与 judge 超参（Gemini 3.1 Pro、低推理、温度 0、单次判分）均已明示；但正文未附具体代码或数据链接与许可证，需以官方发布为准。数据方面：203 任务与 4,014 条 rubric 若发布即可直接使用，但重做标注需雇佣专家（累计 4,500 多小时），个人团队不可行也无必要。算力与费用：复现全部 12 个模型需要前沿 API（12×203×3 次长程 agent 运行，平均每任务数十次迭代、最高 51.5k 输出 token，再加每报告约 20 条 rubric 的判分调用），估算为数千到上万美元量级，还需 Serper 与 Jina Reader 的 API 订阅。时间敏感：评测窗口为 2026 年 8 月中旬前后，晚于此窗口复现会遇到时效类任务答案漂移。总体判断：使用发布数据、按论文协议复现部分模型的核心结论难度中等；连标注流程一起完整复现基本不可行。
论文图表
双面板主结果图：(a) 12 个前沿智能体的总分条形图，GPT-5.6 Sol 以 63.4% 居首、Claude Opus 5 为 56.1%，其余全部低于 50%，Gemini-3.6-Flash 以 34.7% 垫底；(b) 总分对每任务平均输出 token（千）的散点图，展示分数高不等于生成量大——Opus 5 与 GLM-5.3 的 token 量相近（48.9k 对 49.3k）但分差 6.9 个百分点，Hy4 Preview 用更少的 33.6k token 达到与 GLM-5.3 相当的分数。
一张图同时呈现排行榜与质量超越数量这一核心结论，是论文主发现最直观的证据。