Conv-FinRe：基于效用对齐的对话式纵向金融推荐基准 Conv-FinRe: A Conversational and Longitudinal Benchmark for Utility-Grounded Financial Recommendation
首个将金融推荐从行为模仿转向效用对齐的多视角对话式纵向评估基准
前置知识
行为模仿 vs 效用对齐
传统推荐系统评估范式是行为模仿（behavioral imitation），即推荐是否匹配用户的实际选择（点击、评分、购买）。效用对齐（utility alignment）则关注推荐是否符合用户潜在的、长期的决策效用——即便用户当下的行为可能受市场噪音、情绪波动或短期约束影响而偏离理性。在金融场景中，这两者可能存在根本性冲突：一个忠实模仿用户噪音行为的顾问可能提供糟糕的长期投资建议，而一个纯粹理性的顾问可能忽视用户的实际偏好和意图。
理解这一区别是理解本文核心贡献的前提。论文正是要设计一个能同时评估这两个维度的基准，揭示LLM在这两者之间的张力。
逆优化（Inverse Optimization）
逆优化是一种从观测到的决策行为中反推决策者目标函数参数的技术。传统优化是给定目标函数求最优解，逆优化则反过来：给定决策者的实际选择序列，推断出最能解释这些选择的效用函数参数。本文中，通过用户在30天投资模拟中的23步纵向决策轨迹，利用多项Logit模型和正则化负对数似然最小化来估计每个用户的个性化风险偏好参数 $\lambda_i, \gamma_i$。
逆优化是本文构建'理性效用'和'风险敏感性'两个评估视角的核心技术。不理解逆优化就无法理解基准如何从用户行为中提取出'真正的'风险偏好信号。
多视角对齐评估（Multi-view Alignment Evaluation）
传统推荐评估通常只有一个'金标准'（如用户点击）。本文提出四个互补的参考视角：用户选择 $y_{user}$（实际行为）、理性效用 $y_{util}$（基于校准效用函数的理论最优排序）、市场动量 $y_{mom}$（基于近期累积收益的利润导向排序）、风险敏感性 $y_{safe}$（基于个性化风险惩罚的保守排序）。通过对比模型生成的排序与这四个视角的一致性，可以诊断LLM是依赖理性分析、行为模仿还是短期市场信号。
这是本文最核心的创新。多视角设计使得评估不再是简单的对错判断，而是对模型决策机制的深度诊断。
多项Logit模型（Multinomial Logit Model）
多项Logit模型是离散选择理论中的经典模型，假设决策者从有限选项集合中选择某一选项的概率服从softmax形式：$P(s^* | \lambda_i, \gamma_i, \mathcal{M}_t) = \frac{\exp U(s^*)_{i,t}}{\sum_{s \in \mathcal{S}_t} \exp U(s)_{i,t}}$。该模型假设选择噪声服从Gumbel分布，是逆优化中连接效用函数与观测行为的概率桥梁。
论文用此模型来估计用户的风险偏好参数，是方法论的技术基础。
NDCG（Normalized Discounted Cumulative Gain）
NDCG是信息检索和推荐系统中衡量排序质量的标准指标。它根据位置对相关性进行折扣累积，越靠前的位置权重越大。本文的uNDCG使用校准后的效用 $U(s)_{i,t}$ 作为相关性分数，衡量模型排序与效用最优排序的一致程度。计算公式为 $\text{uNDCG}_{i,t} = \frac{\text{DCG}_{i,t}}{\text{IDCG}_{i,t}}$，其中 $\text{DCG}_{i,t} = \sum_{k=1}^{|\mathcal{S}_t|} \frac{U(\pi_{i,t}[k])_{i,t}}{\log_2(k+1)}$。
uNDCG是论文的核心评估指标之一，理解其计算方式才能正确解读实验结果。
研究动机
现有推荐基准在评估个性化能力时普遍采用行为模仿范式：只要推荐结果匹配用户的实际选择（点击、评分、购买），就被视为'正确'。这一范式在电商、媒体等消费领域运作良好，因为用户反馈通常是效用的可靠代理。然而在金融投资场景中，投资者的决策行为常常受到短期市场噪音、情绪波动和约束条件变化的影响，可能严重偏离其稳定的长期风险偏好和投资目标。现有基准（如REASONER、FairEval、RecBench等）缺乏效用根基、无法区分行为对齐与理性决策质量、且仅提供单一评估视角。具体而言，FAR-Trans虽引入金融领域但缺乏效用函数和多视角评估，LLM-REDIAL和CEREAL虽支持对话但缺乏动态市场信号和效用根基。这导致现有基准无法诊断一个LLM顾问是在进行理性风险分析、盲目追逐市场趋势，还是简单地过拟合用户噪音行为。
本文的目标是本文的目标是构建Conv-FinRe——首个对话式纵向金融推荐基准，将金融推荐评估从表面的行为匹配提升到基于效用的决策对齐。具体而言，该基准需要：(1) 通过逆优化从用户纵向决策轨迹中推断个性化风险偏好，构建不暴露给模型的潜效用函数；(2) 提供四个互补的参考视角（用户选择、理性效用、市场动量、风险敏感性），使评估能够诊断模型的决策机制；(3) 通过对话模拟（入职访谈+纵向咨询对话）实例化纵向推荐任务，提供真实的多轮交互上下文；(4) 对前沿LLM进行系统性评估，揭示不同模型在效用对齐与行为对齐之间的张力。
与已有工作不同的是，本文的独特切入角度在于将金融推荐重新定义为一个多视角对齐问题。传统基准假设'用户选择即真理'，而本文认为在金融市场中，观测到的用户行为可能包含噪音甚至与长期目标冲突。因此，评估不应只有一个金标准，而应同时考察模型与多个可能冲突的参考视角的一致性。这种多视角设计的精妙之处在于：通过逆优化构建的效用函数不暴露给模型，模型必须自行推断用户的风险偏好；同时，四个视角之间可能相互矛盾（如高动量股票可能同时具有高波动性），模型需要在这些冲突信号之间做出权衡。这种设计使得基准不仅能衡量'推荐对不对'，更能诊断'推荐为什么对或不对'。
核心方法
Conv-FinRe的整体方法框架可以概括为三个阶段：数据收集、对话模拟和多视角评估。首先，通过结构化问卷收集10位投资者的静态画像（人口统计、财务能力、投资经验、风险态度），并通过定制的资产模拟工具收集他们在30天投资模拟中的纵向决策轨迹（覆盖10只来自S&P 500的分层抽样股票）。其次，通过逆优化从用户决策轨迹中推断个性化风险偏好参数 $\lambda_i, \gamma_i$，构建理性效用和风险敏感性两个参考视角。然后，将每个用户的观测画像和行为轨迹转化为结构化的对话模拟：先生成入职访谈对话捕捉用户背景和风险偏好，再在每个决策步骤生成包含三位专业顾问（理性效用、市场动量、风险敏感性）建议的纵向咨询对话。最后，用uNDCG、MRR、HR@K和专家对齐分数（EAS）四个指标评估LLM生成的排序与四个参考视角的一致性。
本文的核心创新在于'多视角效用根基评估'的设计。与现有方法的本质区别体现在三个方面：第一，评估目标从'匹配用户行为'转变为'对齐用户潜在效用'，通过逆优化构建的效用函数 $U(s)_{i,t} = \tilde{\mu}_{s,t} - \lambda_i \tilde{\sigma}^2_{s,t} - \gamma_i \tilde{\text{Drawdown}}_{s,t}$ 将预期收益、波动性和下行风险统一到一个可校准的框架中，参数 $\lambda_i, \gamma_i$ 通过用户的纵向行为数据推断而非直接询问。第二，评估视角从单一金标准扩展为四个可能冲突的参考视角，使得基准能够诊断模型的决策机制而非仅衡量结果。第三，任务设置从静态推荐扩展为纵向对话式咨询，模型需要在多轮交互中逐步推断用户偏好并整合来自三位专业顾问的冲突建议。这种设计使得评估维度从'推荐是否正确'深化为'推荐是否基于正确的理由'。
方法步骤详情
方法包含以下具体步骤：(1) 股票宇宙构建：从S&P 500成分股中按市场贝塔分层抽样，构建包含10只股票的紧凑宇宙，覆盖低波动（$\beta < 1$，如PG、MRK、VZ）、中等波动（$\beta \approx 1$，如LIN、XOM）和高波动（$\beta > 1$，如JPM、AMZN、TSLA）三个风险层级，通过Yahoo Finance API收集30天（2025年8月6日至9月17日）的日频和日内价格数据。(2) 用户数据收集：通过结构化问卷获取10位参与者的静态画像，遵循MiFID II第25条和FINRA规则2111等监管合规要求；通过定制资产模拟工具收集纵向决策轨迹，用户在30天内观察价格变动并做出增量买入决策，获得组合级反馈。(3) 逆优化参数估计：假设用户效用函数为 $U(s)_{i,t} = \tilde{\mu}_{s,t} - \lambda_i \tilde{\sigma}^2_{s,t} - \gamma_i \tilde{\text{Drawdown}}_{s,t}$，其中 $\tilde{\mu}_{s,t}$、$\tilde{\sigma}^2_{s,t}$、$\tilde{\text{Drawdown}}_{s,t}$ 为7天窗口内的截面标准化均值收益、方差和最大回撤；通过最小化正则化负对数似然 $\mathcal{L}_i = -\sum_{t=1}^T \log P(s^*_{i,t} | \lambda_i, \gamma_i, \mathcal{M}_t) + \alpha \|(\lambda_i, \gamma_i)\|_2^2$ 估计 $\lambda_i, \gamma_i$。(4) 参考视角构建：理性效用视角 $y_{util}$ 按完整效用 $U(s)_{i,t}$ 排序，风险敏感性视角 $y_{safe}$ 按个性化风险惩罚 $R(s)_{i,t} = \lambda_i \tilde{\sigma}^2_{s,t} + \gamma_i \tilde{\text{Drawdown}}_{s,t}$ 排序，市场动量视角 $y_{mom}$ 按近期累积收益排序，用户选择视角 $y_{user}$ 为用户的实际选择。(5) 对话模拟：入职阶段生成4轮对话捕捉用户画像；纵向咨询阶段在每个决策步骤 $t$ 生成包含历史交互轨迹 $H_i^{1:t-1}$、当前市场状态 $\mathcal{M}_t$ 和三位顾问建议的对话，用户做出最终选择并给出主观解释。(6) 模型评估：用LM Evaluation Harness统一接口评估7个LLM，标准化最大输入长度8192 token、最大生成长度126 token。
技术新颖性
本文的技术新颖性体现在多个层面。首先，将逆优化引入推荐评估是独创性的：传统推荐系统直接从交互数据学习用户偏好，而本文利用逆优化从行为轨迹中推断潜效用函数，并将此效用函数作为评估基准而非模型训练信号，这种'推断但不暴露'的设计使得评估能够区分模型是通过理性推理还是行为模仿来生成推荐。其次，多视角评估框架是推荐领域的首创：通过四个互补且可能冲突的参考视角，基准不仅能衡量排序质量，还能诊断模型的决策偏向——这在现有基准中从未实现。第三，对话模拟的设计巧妙地将静态的用户画像和行为轨迹转化为动态的多轮交互，三位专业顾问（理性效用、市场动量、风险敏感性）的设计使得模型面临真实的决策冲突，需要在多轮对话中逐步整合异质信号。第四，用户偏好一致性验证和对话可信度验证的双重质量控制机制确保了基准的可靠性：用户对推断偏好的认同度达到7.8/9，对话可信度达到8.1/9。
实验结果
实验结果揭示了效用对齐与行为对齐之间存在根本性张力。在整体性能方面（Table 4），大多数模型在uNDCG指标上表现优异（0.92-0.97），表明它们能较好地按照理性效用进行排序。然而，高uNDCG并不必然转化为对用户实际选择的高恢复率：Llama-3.3-70B-Instruct在uNDCG上领先（0.97），但HR@1仅为0.36，说明其倾向于提供'理想化'的理性推荐；而Qwen2.5-72B-Instruct和Llama3-XuanYuan3-70B-Chat在MRR（0.63和0.65）和HR@K（HR@1分别为0.50和0.54）上表现最佳，表明它们更擅长模仿用户的实际决策模式。在专家对齐分析中（Table 5），Llama-3.3-70B-Instruct在理性效用（$\tau=0.74$）和市场动量（$\tau=0.73$）上对齐度最高，但在风险敏感性上仅0.17，表明其难以解耦下行保护与增长导向信号。DeepSeek-V3.2展现了最均衡的跨视角对齐特征，在所有维度上保持相对稳定的性能。GPT系列也表现出类似的平衡特性。值得注意的是，作为金融领域专用模型的Llama3-XuanYuan3-70B-Chat在专家对齐分数上较低（效用$\tau=0.47$，动量$\tau=0.46$，风险$\tau=0.15$），但在行为命中率上最高，表明其金融专业知识表现为对用户实际（尽管有噪音的）偏好的共情对齐。在偏好发现动态分析中，GPT-5.2和DeepSeek-V3.2在早期交互（步骤1-10）中展现出显著的效用对齐提升，说明它们能从初始交互中有效提取用户潜在风险偏好的信息性信号。基于纵向上下文对效用对齐的影响，论文识别出三种模型原型：自适应顾问（GPT-5.2、DeepSeek-V3.2、Qwen3-235B）在有历史信息时表现改善，说明有效的跨轮偏好整合；交易驱动分析师（GPT-4o、Llama-3.3-70B）对角线附近，利用即时市场信号但缺乏个性化；行为过拟合者（Qwen2.5-72B、Llama3-XuanYuan3）在引入历史信息后效用对齐反而下降，表明对噪音用户行为的过度敏感。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 纵向股票推荐（效用对齐） | uNDCG | Llama-3.3-70B: 0.97, GPT-4o/GPT-5.2/Qwen3-235B: 0.94 | Random: 0.73 | 最优模型相对随机基线提升33%（0.97 vs 0.73） |
| 纵向股票推荐（行为恢复） | MRR | Llama3-XuanYuan3-70B: 0.65, Qwen2.5-72B: 0.63 | Random: 0.29 | 最优模型相对随机基线提升124%（0.65 vs 0.29） |
| 纵向股票推荐（Top-1命中） | HR@1 | Llama3-XuanYuan3-70B: 0.54, Qwen2.5-72B: 0.50 | Random: 0.10 | 最优模型相对随机基线提升440%（0.54 vs 0.10） |
| 纵向股票推荐（Top-3命中） | HR@3 | Qwen2.5-72B/Llama3-XuanYuan3: 0.69 | Random: 0.30 | 最优模型相对随机基线提升130%（0.69 vs 0.30） |
| 专家对齐（理性效用） | Kendall's tau | Llama-3.3-70B: 0.74, GPT-4o: 0.60 | Random: 0.00 | 最优模型与理性效用排序高度一致 |
| 专家对齐（风险敏感性） | Kendall's tau | DeepSeek-V3.2: 0.26, GPT-5.2: 0.28 | Random: 0.00 | 所有模型在风险敏感性对齐上均显著低于效用和动量对齐 |
局限与改进
本文存在多方面局限性。首先，样本规模较小：仅10位用户和230个实例，这限制了统计功效和结论的泛化性。虽然作者采用了用户级采样策略来避免过度计数相关交互，但10个用户的多样性（人口统计、风险偏好、投资经验）可能不足以代表更广泛的投资者群体。其次，股票宇宙仅为10只来自S&P 500的股票，虽然覆盖了三个风险层级和所有GICS行业，但与真实投资场景中数千只可选股票相比，候选集规模显著偏小，可能降低任务的复杂性和真实感。第三，对话模拟而非真实对话收集引入了潜在的人工痕迹：虽然可信度验证得分达到8.1/9，但模拟对话终究无法完全捕捉真实投资者的犹豫、情绪波动和非理性表达。第四，30天的投资模拟窗口可能过短，无法充分捕捉长期投资周期中的偏好演化和市场周期效应。第五，评估的LLM虽然覆盖了主流闭源和开源模型，但缺乏对金融领域专用模型（除XuanYuan外）的广泛评估，也未涉及模型规模对性能的影响分析。最后，逆优化假设用户的风险偏好参数 $\lambda_i, \gamma_i$ 时不变，但现实中投资者的风险偏好可能随市场状况、人生阶段等因素动态变化。
独立分析的弱点
本文存在几个值得深入分析的弱点。第一，样本规模瓶颈：10位用户和230个实例对于建立一个有统计说服力的基准而言规模偏小，特别是在需要进行细粒度的用户级分析时。改进方向可以是通过众包平台大规模收集用户数据，或设计更高效的用户模拟器来扩充用户池。第二，效用函数的简化假设：当前效用函数仅包含均值收益、方差和最大回撤三个因子，未考虑流动性、交易成本、行业集中度等实际投资约束。改进方向是引入更丰富的效用函数形式，如多因子效用模型或考虑非线性偏好的前景理论效用函数。第三，对话模拟的真实性：虽然经过专家验证，但LLM生成的对话可能缺乏真实投资者的非理性表达和情感深度。改进方向是通过A/B测试比较模拟对话与真实对话在下游评估中的差异。第四，静态逆优化假设：假设风险偏好参数时不变，忽略了投资者在市场波动中的动态偏好调整。改进方向是引入时变参数的逆优化框架。第五，评估指标的局限：uNDCG和HR@K主要衡量排序质量，未能捕捉推荐的多样性和覆盖率。改进方向是引入多样性和新颖性指标。
未来方向
基于本文成果，可以延伸出多个有前景的研究方向。首先，扩展股票宇宙和用户规模：将候选股票扩展到数百甚至数千只，覆盖更多市场（如A股、港股），并在更大规模的用户群体上验证基准的泛化性。其次，动态风险偏好建模：引入时变逆优化框架，捕捉投资者在不同市场状态（牛市、熊市、震荡市）下的偏好漂移，这将使基准更贴近真实投资场景。第三，多模态金融推荐：将新闻文本、社交媒体情绪、财报数据等多模态信号纳入决策上下文，评估LLM整合异质信息的能力。第四，可解释性评估：不仅评估推荐结果，还评估模型提供的投资理由是否与其内部决策逻辑一致，这需要设计新的可解释性评估指标。第五，人机协作评估：设计实验评估LLM顾问与人类投资者协作时的增量价值，而非仅评估模型的独立推荐质量。第六，跨市场泛化：验证在美股上训练的偏好推断能否迁移到其他市场，或设计跨市场的偏好迁移学习框架。
复现评估
本文的复现性较好。数据集已在Hugging Face上公开发布（https://huggingface.co/collections/TheFinAI/conv-finre），代码库在GitHub上开源（https://github.com/The-FinAI/Conv-FinRe），资产模拟工具也作为Hugging Face Space发布（https://huggingface.co/spaces/TheFinAI/LetYourProfitsRun）。用户问卷通过Google Forms公开。市场数据通过Yahoo Finance API获取，具有良好的可复现性。评估使用LM Evaluation Harness统一接口，标准化了输入输出长度。然而，完全复现存在以下挑战：(1) 用户交互数据涉及真实参与者，无法完全重现相同的决策轨迹；(2) 对话模拟涉及LLM生成，不同模型版本可能产生不同输出；(3) 推理实验需要调用多个闭源API（GPT-5.2、GPT-4o）和本地部署多个大模型（70B-235B参数），算力要求较高；(4) 逆优化的数值求解可能对初始化敏感，需注意正则化参数的选择。总体而言，论文提供了充分的开源资源和详细的实验设置说明，中等偏高难度即可复现核心结果。
论文图表