Ego2Web：基于第一视角视频的网页智能体基准测试 Ego2Web: A Web Agent Benchmark Grounded in Egocentric Videos

方法分为数据生成和评估两个主要流程。数据生成流程：（1）从Ego4D数据集获取第一视角视频池；（2）使用Qwen3-VL-7B对视频进行逐片段的密集描述生成，提取时间戳、物体、场景等结构化元数据，构建视频档案$V_{meta}$；（3）将视频档案与预定义的热门网站（Amazon、YouTube、Wikipedia等）输入GPT-5，生成需要视觉理解的网页任务指令；（4）人工从视觉接地、任务可行性、指令质量三个维度验证和优化。评估流程：（1）关键点识别：LLM从任务指令中提取必须达成的关键点；（2）关键截图选择：MLLM对每个截图进行1-5分的相关性评分，保留超过阈值$\delta$的截图；（3）最终判断：MLLM整合任务指令、关键截图、操作历史和视频关键帧，判断任务是否成功完成，输出$O \in \{Success, Failure\}$。

本文的技术新颖性体现在多个层面。在任务定义上，首次形式化了从第一视角视频感知到网页任务执行的完整链条，填补了视频理解基准和网页智能体基准之间的空白。在数据生成上，设计了高效的半自动管线，利用MLLM和LLM的协作能力，结合人工验证，实现了500个高质量样本的构建，覆盖电子商务（50.3%）、知识查询（17.0%）、媒体检索（24.1%）等多种任务类型。在评估方法上，Ego2WebJudge创新性地将视频视觉证据纳入评估流程，通过三阶段设计解决了现有方法无法利用视频信息的问题，与人类判断的一致率达到84.0%（使用GPT-4o），显著优于WebVoyager（74.7%）和WebJudge（78.4%）。在实验设计上，对6个主流智能体进行了全面评估，并通过消融实验揭示了视觉感知的关键作用——无视觉输入时成功率仅4.4%，使用视频描述时提升到23.6%，使用原始视频时达到48.2%。

本文存在几个值得深入分析的弱点。首先，数据生成管线虽然高效，但依赖GPT-5进行任务指令生成，可能存在生成偏差，且人工验证成本较高，限制了数据集的扩展性。改进方向可以是开发更自动化的质量控制机制，或利用强化学习从人类反馈中优化生成质量。其次，评估框架Ego2WebJudge的三阶段设计虽然有效，但关键截图选择依赖于固定阈值$\delta$，缺乏自适应能力。可以考虑开发基于任务复杂度的动态阈值调整机制。第三，实验中智能体的最大步数限制为40步，这可能限制了需要更多交互步骤的复杂任务的评估。第四，视频处理方面，当前使用Qwen3-VL-7B进行5秒间隔的描述生成，可能丢失关键的中间动作，可以考虑更精细的时间采样策略。最后，本文未探索跨语言、跨文化的任务场景，限制了基准的普适性。

基于本文成果，未来研究可以从多个方向展开。首先，可以探索如何通过训练或微调提升智能体在Ego2Web上的表现，特别是改进视觉接地能力和时间推理能力。其次，可以扩展数据集规模和多样性，纳入更多网站类型、任务复杂度和视觉场景。第三，可以研究更先进的多模态融合方法，改善智能体从视频中提取任务相关信息的能力。第四，可以探索实时评估机制，使智能体能够在执行过程中动态调整策略。第五，可以将Ego2Web扩展为更具挑战性的基准，如包含多轮对话、多智能体协作等场景。第六，可以研究如何将本文的视觉接地能力迁移到其他领域，如机器人操作、增强现实应用等。最后，可以探索更鲁棒的评估方法，特别是在智能体部分成功的情况下如何准确评估。

本文在复现性方面提供了较好的支持。论文提供了项目页面、代码和基准测试的链接，数据来源（Ego4D）是公开可获取的。实验中使用的MLLM（Qwen3-VL-7B、Gemini-2.5 Pro、GPT-4o等）和智能体框架（SeeAct、Browser Use等）都是公开可用的。然而，完全复现存在一些挑战：首先，评估依赖于实时在线网站，网站内容和结构可能随时间变化；其次，部分智能体（如Claude Computer-Use）需要特定的API访问权限；第三，人工评估部分需要专业标注人员，成本较高。算力方面，主要消耗在于MLLM的推理和视频处理，对于一般研究机构可能有一定门槛。总体而言，本文的代码和数据开源情况良好，但完全复现实验结果可能需要相当的计算资源和API访问权限。