E2A-Bench：金融图表推理中证据到行动可靠性的评测基准

用NDR覆盖感知指标评测20个VLM把K线证据变成交易建议的全链路可靠性

前置知识

视觉语言模型（VLM）

同时接收图像与文本并生成文本的多模态大模型，通常由视觉编码器把图像切成图块编码为视觉 token，与文本 token 一起送入语言解码器。本文评测的 Qwen2.5-VL、Qwen3.5、Gemma-4、Gemini-3.1、GPT-5.x、Claude-Sonnet-4.6 等 20 个模型均属此类，需要从 K 线图中读出均线、成交量、形态再输出分析与建议。

论文的评测对象就是 20 个 VLM，理解三种输入模态（纯文本/纯图表/多模态）与结构化输出（分析、理由、行动、1–5 置信度）是看懂实验设计与结果表的前提。

OHLCV 与技术分析

OHLCV 指金融资产每日的开盘价、最高价、最低价、收盘价与成交量五元组。技术分析据此计算均线（MA5/MA10/MA20）、金叉/死叉、量价背离、20 日高低带突破、年化波动率、线性回归趋势斜率等指标来研判买卖时机，A 股技术分析（如沪深 300 个股）正是本文的应用场景。

E2A-Bench 的输入窗口与全部证据锚点都由 30 个交易日的 OHLCV 确定性推导，模型声明要逐条对照这些事实核验，不懂这些指标就看不懂评分协议。

幻觉与声明中心评测

幻觉指模型生成与事实不符的内容。图表幻觉基准（如 ChartHal）多采用声明中心范式：抽取模型输出中可验证的陈述，逐条判断是否被图表证据支持，再汇总为不支持声明率 UCR。它只回答'说出来的对不对'，不回答'证据链是否贯通、该不该下结论'。

本文的核心论点是这类评测存在覆盖盲区与链条盲区，Gemma-4-E2B-It 低 UCR 却 NDR 塌方的排名反转正是针对该范式的关键反例。

选择性预测与覆盖率

选择性预测允许模型对无把握的输入放弃作答，覆盖率即给出明确回答的样本占比；放弃作答可以降低错误率但牺牲覆盖。Geifman 与 El-Yaniv（2017）的选择性分类框架是本文 coverage–grounding 前沿的思想来源，论文还用阈值函数 $g_\theta(F_r)=\mathbb{1}[S(F_r)\ge\theta]$ 把证据强度纳入覆盖定义。

NDR 中的方向性覆盖率 $\mathrm{Cov}_{\text{dir},\theta}$ 正是该思想在交易建议上的落地：靠回避 BUY/SELL 刷低幻觉分的模型会被覆盖门控直接清零。

置信度校准

校准衡量模型置信度与实际正确性是否匹配：证据充分时给高置信、证据薄弱时给低置信。本文用证据锚点中无歧义方向信号的数量 $S(F)$ 定义证据强度，当 $S(F)=0$ 而模型仍给出方向性行动且置信度 $c\ge 4$ 时，判定为证据-置信度不一致（ECI=1）。

ECI 是 NDR 乘法链的最后一环，理解校准概念才能明白为何'弱证据+高置信 BUY/SELL'被判定为链路失效而非风格差异。

研究动机

现有评测在金融图表推理场景存在系统性盲区。图表幻觉基准（如 ChartHal，约 2K 条声明）是声明中心的：只统计模型输出的陈述是否被图表支持，却不管模型敢不敢给出方向性结论，于是少说话就能把不支持声明率刷得很低——Gemma-4-E2B-It 在 E2A-Bench 上 UCR_all 仅 39.9%（全场最低），方向性覆盖率却只有 6.4%，净决策可靠性 NDR 仅 5.1%。另一类金融多模态基准（VisFinEval、FinChart-Bench、FAMMA 等）是任务中心的，只报告 QA 准确率等聚合分数，既不核验证据也不评估行动。两者共同的评测单元错位带来两个盲区：覆盖盲区——幻觉分数偏爱回避 BUY/SELL 的保守模型；链条盲区——不检验证据、声明、理由、置信度、行动整条链是否一致。后果是编造的'金叉''放量突破'可能成为 BUY 建议的 stated rationale，局部文本幻觉升级为决策级风险。

本文的目标是本文要构建一个把评测单元从'孤立声明'或'最终答案'转移到'证据到行动链路'的基准 E2A-Bench：基于沪深 300 的 323 只成分股，取评估日前 30 个交易日的 OHLCV 窗口，在纯文本、纯图表、多模态三种输入形态下构造 969 个查询；用 10 条确定性证据锚点规则推导出 3230 条可验证的图表事实，作为声明核验与证据强度的参照。在此之上定义链路级评测协议：用 UCR 度量不支持声明率，RCI 度量理由-行动矛盾，ECI 度量弱证据下的过度自信，方向性覆盖率惩罚系统性不作为，并以乘法合成覆盖感知的净决策可靠性 NDR。最终用该协议系统评测 20 个 VLM（专有、开源、金融微调三组），揭示标量幻觉分数隐藏的失效模式，并把'证据是否支撑建议'与'市场收益预测'明确解耦。

与已有工作不同的是，本文的独特切入是提出 coverage–grounding（覆盖-接地）前沿：金融 VLM 的可靠性不应由'不支持的声明少了多少'单一维度衡量，而要看模型能否在保持可行动覆盖的同时把行动锚定在可核验证据上。与 ChartHal 等只在文本层面核对声明不同，E2A-Bench 审计的是整条链：证据锚点 $F$ 到声明 $C_r$（接地）、理由极性 $\sigma$ 到行动 $a$（一致）、证据强度 $S(F)$ 到 $(a,c)$（校准），外加 $a\in A_{\text{dir}}$ 的覆盖门控。区别于以未来收益或人工交易判断为标签的金融基准，它用确定性 OHLCV 事实做锚，不评'预测准不准'而评'建议是否有据'，保证可复现。协议还是模块化的：证据锚点、声明模式、行动模式均可替换而保留审计结构，具备向其他领域迁移的潜力。

核心方法

直觉上，评估图表分析模型不能只看它'说了多少错话'，还要看买卖建议是否真的有据可依，因此 E2A-Bench 把每个回答当作一条证据-行动链来审计。技术上：对每只股票 $s$ 与评估日 $d_0$，取前 30 个交易日 OHLCV 窗口 $D_{s,d_0}$，经模态格式化函数 $\phi^\tau$ 生成文本、图表或多模态输入；VLM 输出技术分析、理由、行动（BUY/SELL/HOLD/UNCERTAIN）与置信度 $c\in\{1,\dots,5\}$。确定性事实函数 $F_{s,d_0}=g(D_{s,d_0})$ 产出 10 类证据锚点。评分时先解析为声明集 $C_r$、理由极性 $\sigma_r$、行动与置信度，再核验接地、一致性、校准三条诊断链路并叠加方向覆盖率，合成 $\mathrm{NDR}_\theta=\mathrm{Cov}_{\text{dir},\theta}\cdot(1-\mathrm{UCR}_{\text{dir}})(1-\mathrm{RCI})(1-\mathrm{ECI})$；对 969 查询 × 20 模型执行即得链路级排行榜。

核心创新是覆盖感知的链路可靠性度量 NDR，替代单一幻觉分数。公式 $\mathrm{NDR}_\theta=\mathrm{Cov}_{\text{dir},\theta}\cdot(1-\mathrm{UCR}_{\text{dir}})(1-\mathrm{RCI})(1-\mathrm{ECI})$ 把覆盖率作为乘法门控：先敢于给出 BUY/SELL，再要求声明有据、理由与行动不矛盾、弱证据下不盲目自信。与声明中心评测的本质区别在于：后者少说或不说即可得高分，而 NDR 中 HOLD 使 $\mathrm{Cov}_{\text{dir}}=0$、NDR 随之为 0，保守不作为无法兑换成可靠性——Fig. 6 中 Gemma-4-E2B-It（HOLD，UCR=0，NDR=0）与 Qwen3.5-4B（SELL，3/3 声明有据，NDR=1.00）的对照即为例证。此外，证据锚点全部由 OHLCV 按固定规则确定性推导，避开'未来收益'与'人工交易判断'两类不可复现标签，使评分既可审计又与盈利预测解耦；$\theta>0$ 时还可要求方向行动有更强证据支撑。

方法步骤详情

第一步构建查询：323 只沪深 300 成分股各取 30 交易日窗口，三种模态格式化（输入长度约 1027–2467 token），共 969 查询。第二步构造锚点：$F_{s,d_0}=g(D_{s,d_0})$ 按 10 条固定规则（覆盖均线、量价、突破、趋势、波动率、动量等维度）产出 3230 条事实，抽查 200 组图-标对无不一致。第三步解析回答为声明集 $C_r$、理由极性 $\sigma_r$、行动 $a$、置信度 $c$。第四步核验链路：UCR 计无据声明占可验证声明的比例；RCI 惩罚看涨理由配 SELL、看跌理由配 BUY 的矛盾组合；$\mathrm{ECI}=\mathbb{1}[S(F)=0\wedge a\in A_{\text{dir}}\wedge c\ge 4]$。第五步合成 $\mathrm{NDR}_\theta$（主文取 $\theta=0$）。第六步验证评分器：从业者盲标中 NDR 与人类可靠性判断相关最强（$\rho=0.466$，$p=0.009$），1000 次 Monte Carlo 扰动下结论稳定。

技术新颖性

技术新颖性有三点。其一，评测单元的转移：从声明级（是否被支持）或任务级（QA 准确率）转向链路级'证据、声明、理由、置信度、行动'的全程审计，Table 1 显示同时具备证据核验、行动评估与覆盖感知的基准此前不存在——CharXiv（约 2K 图表）、ChartHal（约 2K 声明）、VisFinEval、FinChart-Bench 均为单输入形态且缺少覆盖打分。其二，确定性证据锚点：10 条 OHLCV 规则让 ground truth 可复现、可审计，不需要人工标注也不泄露未来信息。其三，乘法型 NDR 与可调阈值 $\theta$：$g_\theta(F_r)=\mathbb{1}[S(F_r)\ge\theta]$ 把'有证据支撑的行动'与'保守不作为'区分开，并把覆盖率作为必要条件而非可加项，防止用一项指标的光环掩盖另一项的塌方；论文明确说明该乘法形式表达必要条件视角，而非假设各因子统计独立或度量真实收益。

**Figure 2**: Evidence-to-action scoring protocol in E2A-Bench

**Figure 3**: Example of evidence-to-action scoring

实验结果

主实验（Table 4）：Qwen2.5-VL-3B-Instruct 以 NDR 32.1% 居首（覆盖率 82.5%），Qwen2.5-VL-7B 25.0% 次之，最佳专有模型 Gemini-3.1-Pro 仅 16.8%。Gemma-4-E2B-It 的 UCR_all 最低 39.9%，覆盖率却仅 6.4%、NDR 5.1%。模态效应（Fig. 4）：20 模型平均 NDR 为 chart-only 19.2% > multimodal 15.6% > text-only 14.5%。微调风险重分配（Fig. 5）：Amsi-fin-o1 +1.5pp，PyFi-3B −6.8pp、PyFi-7B −7.2pp；BUY:SELL 比值从 1.41/0.85/1.84 放大到 6.10/4.00/7.73（4.21–4.68 倍），455/2907 对回答转向 BUY，证据声明减少 34–40%。缩放（Fig. 7）：Qwen3.5 从 2B 到 27B，UCR 由 57.0 升至 71.0，NDR 在 2B 达峰 24.1 后为 12.6、18.1、13.1 非单调波动。

**Table 1**: Comparison with representative chart and financial multimodal benchmarks

**Table 2**: Compact summary of the ten deterministic OHLCV-derived evidence anchors used in E2A-Bench

**Table 3**: Benchmark-level statistics of E2A-Bench

**Table 4**: Main trimodal leaderboard on E2A-Bench

**Figure 4**: Input modality effects on baseline NDR

**Figure 5**: Risk redistribution under financial fine-tuning

**Figure 6**: Coverage trap in claim-level hallucination evaluation

**Figure 7**: Scaling behavior within Qwen3.5 under chart-only inputs

查看结构化数据

任务	指标	本文	基线	提升
金融图表证据-行动可靠性评测（969 查询 × 20 VLM，三模态聚合）	NDR (%)	最佳模型 Qwen2.5-VL-3B-Instruct 达 32.1（覆盖率 82.5%）	传统幻觉分数最低的 Gemma-4-E2B-It 仅 5.1（覆盖率 6.4%）	覆盖感知指标揭示约 6.3 倍的排名反转，低幻觉分数不代表可靠行动
输入模态对比（20 模型平均）	平均 NDR (%)	chart-only 19.2	text-only 14.5 / multimodal 15.6	chart-only 比 multimodal 高 3.6pp，直接看图有利于证据-行动可靠性
Qwen3.5 家族规模缩放（chart-only）	NDR (%) / UCR (%)	2B 达峰值 NDR 24.1，UCR 57.0	27B NDR 仅 13.1，UCR 升至 71.0	小模型反超大模型约 11pp，链路可靠性随规模非单调
金融微调风险审计（3 对 base–fine-tuned）	BUY:SELL 比值放大倍数 / ΔNDR (pp)	放大 4.21–4.68 倍（1.41→6.10、0.85→4.00、1.84→7.73）	微调前基准比值，ΔNDR 为 +1.5 至 −7.2	揭示微调一致放大 BUY 偏置而 NDR 变化不一致的风险再分配现象
评分器与人类判断一致性验证	Spearman ρ	NDR 与人类整体可靠性判断 ρ=0.466（p=0.009），为对比指标中最强	标量幻觉分数等其他指标相关性更低	1000 次 Monte Carlo 扰动下主要结论保持稳定

局限与改进

作者承认的局限：基准基于沪深 300 在单一评估日的快照，未覆盖牛市、熊市、震荡等不同市场状态，也未扩展到其他资产类别与跨市场交易惯例；依赖确定性 OHLCV 锚点和模式化声明检测器，可能漏掉罕见的改写表达、细腻的技术声明或检测器未覆盖的领域推理模式。我的补充观察：NDR 是乘法形式，隐含各因子同等权重，无法区分'覆盖率低但声明极准'与'全面平庸'等不同失效形态；声明抽取与匹配依赖解析器，评分器与专业标注者的一致性 $\rho=0.466$ 虽显著但只是中等相关，边缘案例误判可能影响模型排序；置信度仅 1–5 离散分，校准刻画较粗糙；BUY:SELL 放大现象因微调语料与目标不公开，只能作为描述性证据而非因果结论；此外 E2A 明确不评收益，可靠性高不等于可盈利，实际部署仍需另行验证。

独立分析的弱点

独立分析几个弱点。第一，声明检测器是模式驱动的，对条件句、多重嵌套的技术表述（如'若放量则确认突破'）容易漏抽或错配，改进方向是引入更强的语义解析器并对歧义案例做专家仲裁，作者也提出了这一点。第二，NDR 把覆盖与三类错误乘在一起，'高覆盖+略多错误'与'低覆盖+零错误'可能得到相近 NDR，掩盖策略差异；可改为报告 coverage–grounding 前沿曲线或 $\theta$ 敏感性面板而非单一标量。第三，单一市场、单一评估日的快照使结论可能受当日行情风格影响（趋势市天然利于顺势 BUY），应滚动多日期、多市场评估。第四，10 类锚点聚焦传统技术分析，不含基本面、新闻与宏观语境，现实决策链更长，可增加事件类锚点。第五，专有模型 API 版本会漂移，排行榜横向可比性依赖版本冻结与原始输出归档，论文引用了 2026 年的模型卡但未说明输出是否公开。

未来方向

作者提出的方向：把基准扩展到牛市、熊市、震荡等不同市场状态，覆盖更广泛的股票市场与其他金融工具，检验波动率、流动性与宏观环境变化下证据-行动可靠性是否稳定；扩充多语言声明模式、引入更鲁棒的语义解析器并为歧义案例增加专业仲裁，同时保留以可核验证据为锚的核心原则。基于成果还可延伸：其一，把 coverage–grounding 前沿用作训练信号，用锚点事实构造行动/拒答监督数据，直接优化 NDR 而非只压幻觉；其二，把 E2A 协议迁移到医疗、法律等'证据到建议'同样关键且存在确定性事实源的领域；其三，研究微调数据配方与 BUY 偏置的因果关系，例如用反事实数据增强平衡行动分布；其四，滚动评估日构造版本化基准，追踪模型可靠性随市场状态的漂移；其五，在合规前提下探索 NDR 与受控回测收益之间的边界分析。

复现评估

复现条件较好。代码与数据已在 GitHub（wanng-ide/E2A-Bench）开源；查询构造完全确定：323 只成分股 × 3 模态 = 969 查询，输入 token 统计（text-only 1628.8±61.2、chart-only 1027.0、multimodal 2466.8±61.2）随 Table 3 公布；证据锚点由 OHLCV 规则确定性生成（共 3230 条事实），无需人工训练标签，评分可审计，另有 200 组图-标一致性抽查。主要成本在推理侧：需调用 Gemini-3.1、GPT-5.x、Claude-Sonnet-4.6 等专有 API（有费用与版本漂移风险），并在本地 GPU 上运行最大 31B 的 Gemma-4-31B-It 等开源模型；金融微调模型可直接加载 released 权重。评分器验证协议与一致性统计在附录 A.5，$\theta>0$ 稳健性分析在附录 C.2。总体属于中等难度复现：数据与脚本齐备，瓶颈主要是 API 预算和声明解析器对边缘表述的覆盖。

E2A-Bench：金融图表推理中证据到行动可靠性的评测基准 E2A-Bench: Benchmarking Evidence-to-Action Reliability in Financial Chart Reasoning