修订语境、转变模拟姿态：审计基于大语言模型的在线讨论姿态模拟 Revising Context, Shifting Simulated Stance: Auditing LLM-Based Stance Simulation in Online Discussions

方法步骤的完整描述如下：(1) 数据收集与预处理：收集Reddit上关于三个LLM家族（DeepSeek、Claude、Llama）的讨论，最终得到1,821个对话实例，来自97个独特子论坛。每个实例包含完整对话历史、目标用户标识、最后一条目标用户消息和最后一条他人用户消息。目标用户的最后一条消息用于标注观测姿态，前面的对话上下文用于姿态模拟。(2) 任务形式化：对于每个对话实例i，定义目标用户ui、姿态目标主题ti、上下文Ci、最后一条他人用户消息ni和最后一条目标用户消息mi。姿态模拟器$f_\theta$的目标是给定Ci和ni推断ui对ti的姿态。姿态标签空间为三类：positive（支持）、neutral（中立）、negative（反对）。观测姿态$y_{obs}^i = f_\theta(u_i, t_i | C_i, n_i, m_i)$，推断姿态$y_{infer}^i = f_\theta(u_i, t_i | C_i, n_i)$。(3) 第一阶段-原始姿态模拟与验证：给定原始上下文Ci、最后他人用户消息ni、最后目标用户消息mi，模型推断目标用户的姿态$y_{infer}^i$，与观测姿态$y_{obs}^i$比较。使用准确率、macro F1和weighted F1评估，macro F1因类别不平衡作为主要指标。(4) 第二阶段-反事实上下文修订：应用修订策略r生成修订的最后他人用户消息$n_r^i = g_r^\theta(u_i, t_i | C_i, n_i)$，其中$g_r^\theta$是特定策略指导的上下文修订LLM。修订策略包括paraphrase（重述）、explain（解释）、add（添加）和meme（多模态meme）。(5) 第三阶段-修订上下文下的姿态模拟：对每个修订上下文，姿态模拟器再次应用：$y_r^i = f_\theta(u_i, t_i | C_i, n_r^i)$。每个对话实例得到姿态预测矩阵$Y_i = \{y_{infer}^i, y_{r1}^i, y_{r2}^i, ..., y_{rk}^i\}$。(6) 第四阶段-修订效果评估：计算两个指标。平均方向性姿态转换$\Delta_r^i = score(y_r^i) - score(y_{infer}^i)$，其中姿态映射为数值：negative=-1, neutral=0, positive=1。姿态转换率$R_r^{a\to b} = \frac{\sum_{i=1}^N I[y_{infer}^i=a \land y_r^i=b]}{\sum_{i=1}^N I[y_{infer}^i \in \{neg, neu\}]}$，计算支持性姿态转换和反对性姿态转换。

本文的技术新颖性体现在多个方面。首先，提出了反事实上下文修订作为审计LLM姿态模拟的新框架，将关注点从静态准确率转向动态上下文敏感性。其次，系统性地比较了文本-only与多模态修订策略，特别研究了meme作为社交媒体中重要但研究不足的多模态姿态通道。第三，通过消融实验（r_white_meme、r_humor、r_caption_cut、r_caption）精细分离了meme模板在修订生成和姿态推理两个阶段的贡献，发现meme模板在两个阶段都发挥双重作用。第四，不仅评估姿态变化的幅度，还分析了不同修订策略的机制差异，使用LIWC语言特征分析发现add策略有强去极化趋势而meme策略有强极化增强趋势。第五，在多个维度评估鲁棒性：三个姿态主题、多个子论坛、不同模拟器模型（GPT-5.2、Sonnet-4.6、Qwen3.5）、不同修订模型、不同温度和提示词变体，发现主要趋势高度一致。

独立分析的弱点包括：(1) 目标主题范围有限：仅关注三个LLM家族，可能无法泛化到政治、社会、健康等其他高争议话题。改进方向：扩展到更多样化的主题领域，测试框架在不同争议性、不同信息结构的讨论中的适用性。(2) 平台单一性：仅使用Reddit数据，用户画像和讨论文化可能有平台特异性。改进方向：纳入Twitter、微博、知乎等平台，比较跨平台的修订效果差异。(3) 模拟-真实差距：模拟姿态可能不反映真实人类行为，特别是LLM可能对某些修辞手法理解不足或过度敏感。改进方向：进行用户研究，将LLM模拟姿态与真实人类在相同修订下的反应进行比较，量化模拟-真实差距。(4) 修订策略的生态效度：实验室控制的修订可能在真实社交中不自然。改进方向：在真实在线讨论中部署A/B测试，评估自然修订策略的效果。(5) 多模态范围有限：仅研究meme，未涵盖其他视觉模态。改进方向：扩展到截图、数据可视化、反应表情包等多模态内容，研究不同视觉类型的影响差异。(6) 长期效应未知：仅测量即时姿态转换，未评估持续影响或态度强化。改进方向：纵向研究，观察修订对后续对话和长期态度的影响。(7) 缺乏跨文化验证：数据主要来自英语社区。改进方向：纳入多语言数据，研究文化因素对修订效果的影响。

未来研究方向包括作者提出的和基于成果可延伸的。作者提出的方向：更广泛的话题选择、更多样化平台的高质量数据。基于成果可延伸的方向：(1) 修订策略优化：基于发现的机制差异（add去极化、meme极化），设计新的修订策略，如混合策略平衡效果与极化风险，或个性化策略适配用户偏好。(2) 自动化修订生成：开发端到端模型，直接从对话生成最有效的修订内容，而非依赖模板指导。(3) 对抗性审计：使用修订框架测试LLM对恶意操纵的鲁棒性，如识别姿态异常敏感的对话模式。(4) 社会影响建模：将姿态模拟与网络分析结合，研究修订如何影响群体层面的意见动态和极化传播。(5) 伦理防护机制：基于修订效果的特征，开发检测和警告系统，识别可能被用于操纵的对话模式。(6) 多模态理解深化：扩展到更丰富的多模态组合（文本+图像+音频），研究不同模态如何交互影响姿态解读。(7) 领域适应：将框架应用到教育、健康、政治等具体领域，研究领域特异性修订策略。(8) 可解释性增强：开发更细粒度的分析工具，追踪修订如何影响模型推理的中间步骤，而非仅观察最终姿态变化。(9) 长期效应研究：设计纵向实验，观察修订对后续参与、观点持久性和行为改变的长期影响。

复现评估：论文提供了较为详细的实现细节和提示词（附录G和H），但开源情况未明确说明。数据方面：使用Reddit公开数据，但涉及用户隐私，论文提到删除或匿名化用户标识，避免报告可能揭示用户身份的示例。算力方面：需要多个LLM（GPT-5.2、Sonnet-4.6、Qwen3.5-Plus、Gemini-3-flash、Claude-Haiku-4-5、GPT-Image-2），计算成本较高。复现难度：中等偏高。主要挑战包括：(1) 多个专有模型的API访问和成本；(2) Reddit数据收集需要处理API限制和隐私合规；(3) 多模态meme生成需要图像生成模型和模板管理。论文提供了meme模板（附录F）和修订提示词的具体内容，有助于复现文本修订部分。鲁棒性分析（附录D、E）提供了不同温度、提示词、meme模板下的结果，表明结果对这些超参数不敏感。总体而言，有足够信息复现主要发现，但完整复现需要较多资源和时间。