基于大语言模型的操纵性政治叙事检测：FIMI 战略叙事的提示工程-嵌入-聚类流水线

用LLM过滤+意图嵌入+HDBSCAN从百万德语社媒帖中挖掘出41个FIMI操纵叙事簇。

前置知识

FIMI（外国信息操纵与干扰）

由欧盟对外行动署（EEAS）定义，指主要不违法但威胁或潜在负面冲击价值观、程序与政治过程的有组织行为模式。

论文把传统事实核查转化为对操纵意图的检测，FIMI 是核心分析对象与标签依据。

战略叙事（Strategic Narrative）

政治行为体用以构建对国际政治过去/现在/未来的共同意义、影响国内外受众的完整故事线，超越了单纯话题。

本文明确定义了 strategic narrative 必须包含核心主张、敌人、操纵角度三要素，区别于一般主题。

BERTopic 流水线

由 Grootendorst 提出的主题建模流程：Sentence-BERT 嵌入 → UMAP 降维 → HDBSCAN 聚类 → c-TF-IDF 关键词生成。

本文整体架构基于 BERTopic，但把每一步都改造为面向"意图/叙事"而非"话题"。

HDBSCAN 密度聚类

层次密度聚类算法，可自动确定簇数、识别噪声点，对非凸/变密度簇鲁棒，需调最小簇规模与 min_samples。

本文用 min_cluster_size=400, min_samples=100 在百万级数据上挖掘出 41 个叙事簇，并允许异常点存在。

Few-shot 提示工程

在提示词中同时给出任务定义、目标要素与若干已标注示例，引导大模型按指定格式与判别标准稳定、可复现地输出。

本文过滤与最终标注两阶段都依赖精心设计的 few-shot 提示，结合 FIMI 已知活动样式作为判别锚点。

研究动机

传统虚假信息检测多依赖事实核查或 BERT 二分类，在面对 1,255,895 条未过滤的德语社媒帖（X 829,191、Reddit 362,753、Telegram 63,951，80% 德语 20% 英语，2025 年 1–2 月德国大选前后）时力不从心。首先，这些方法难以区分合法政治批评与具有协调性、操纵意图的恶意叙事；其次，标准主题建模只输出关键词而非完整故事线，无法识别 Doppelgänger、Storm-1516、Voice of Europe 等已文档化活动所共有的修辞母题（如身份威胁、经济痛苦、替罪羊化）；最后，监督分类受限于训练集词汇，而 FIMI 战术持续演化，训练集会很快过时。

本文的目标是本文提出一个端到端 LLM 驱动的数据处理流水线，目标是在 1,255,895 条原始社媒帖上自动识别、聚类并命名具有战略操纵意图的 FIMI 叙事簇，且不依赖预定义目标类别清单。具体而言，希望从过滤后约 10% 的语料中恢复出 41 个互不重叠的叙事簇，再由 397B 参数推理大模型为每簇生成包含核心主张、敌人、操纵角度的一句话标签，从而为安全机构提供一份可读的德语 FIMI 地图，覆盖从 2025 年德国大选前的全部 41 个主要叙事母题。

与已有工作不同的是，与最接近的 DiNaM（在大语言模型辅助下对事实核查文章做叙事挖掘）相比，本文把战场从已被选定的核查文章转移到未过滤的开放社媒流，必须先在百万级规模上完成"操纵 vs. 合法批评"的硬区分。与传统 BERTopic 相比，本文的差异在于把嵌入目标从话题相似性改为操纵意图相似性，并把 c-TF-IDF 关键词替换为结构化的 FIMI 战略叙事三要素标签，是首次把"意图驱动嵌入 + 推理模型标注"完整串成可在大规模数据上工作的系统。

核心方法

方法直觉是"先用大模型当严苛判官把候选帖子挑出来，再用另一个大模型当叙事提取师把聚类命名"。整体借鉴 BERTopic 的四段式骨架（嵌入→降维→聚类→标注），但每一步都做了面向 FIMI 的改造。技术上分四步：(1) 用 Qwen3.5-122B-A10B-FP8 推理模型对每条帖子做二元分类 contains_narrative；(2) 通过带指令前缀的 Qwen3-Embedding-8B 把保留帖映射到 4096 维的"操纵意图空间"并 L2 归一化；(3) UMAP 先压到 5 维供聚类、再压到 2 维供可视化；(4) HDBSCAN 在 5 维空间聚类，min_cluster_size=400、min_samples=100，最终由 Qwen3.5-397B-A17B-FP8 为每个簇生成结构化标签。

核心创新在于把"操纵意图"显式编码进嵌入和聚类的每一个环节。过滤阶段使用一份经过人机迭代优化的 FIMI 提示词，其中明确给出 Doppelgänger、Storm-1516、Voice of Europe、White Propaganda、Hyper-Local FIMI 五类已知活动母题，并把政策怀疑、合法政府批评、个人经济不满显式列为假阳性以防过严。嵌入阶段用指令"Identify the strategic narrative, manipulative intent, and underlying disinformation motive in the following text:" 引导 Qwen3-Embedding-8B，使语义相近的判据是"操纵意图"而非"字面主题"。标注阶段用"LABEL: "前缀强制模型输出含核心主张、敌人、操纵角度的一句话。这与 DiNaM（基于事实核查文章）和传统 BERTopic（输出关键词）有本质区别。

方法步骤详情

步骤一提示式过滤：原始帖子作为输入，提示词以"AI 威胁情报与 FIMI 分析师"人设开头，强制模型仅在匹配 Doppelgänger、Storm-1516、Voice of Europe、White Propaganda、Hyper-Local FIMI 之一时才输出 true，并要求严格 JSON。推理用 Qwen3.5-122B-A10B-FP8（122B 总参、10B 激活，MoE）配合 vLLM 部署在 2×H200 上。步骤二意图驱动嵌入：Qwen3-Embedding-8B 加前缀指令，输出 4096 维向量后 L2 归一化。步骤三 UMAP：min_dist=0、n_neighbors=15，5 维聚类、2 维可视化。步骤四 HDBSCAN：min_cluster_size=400、min_samples=100，输出 41 簇。步骤五叙事标注：c-TF-IDF 抽关键词 + Qwen3.5-397B-A17B-FP8 按"核心主张/敌人/操纵角度/LABEL:"三段式输出。

技术新颖性

技术新颖性体现在三点。第一，将 LLM-as-a-judge 引入到开放社媒级别的粗筛阶段，并通过人机迭代提示工程稳定控制假阳性；第二，首次将带指令前缀的指令嵌入（Qwen3-Embedding-8B）用于"意图空间"构建，区别于一般语义嵌入，使聚类在 4096 维空间直接对操纵意图敏感；第三，把 c-TF-IDF 的关键词替换为结构化三要素叙事标签，输出可直接供政策分析或下游分类使用。此外，作者通过边界案例分析展示了模型会调用自身 OSINT 知识（自动识别 rtde.media ≈ RT Russia Today）来扩展提示覆盖范围，这一点也构成方法论贡献。

**Fig. 2**: Data flow, from raw data to labels

实验结果

在 200 条人工盲审平衡样本上，过滤阶段 F1=0.77，召回 0.92、精确率 0.66，呈"高召回、低精确"的保守偏向。模型解释与最终标签在 95.5% 的情况下与人类一致，F1 偏低源于合法但高度民粹的私人表达与协调性操纵叙事的边界模糊。HDBSCAN 超参搜索显示 min_cluster_size=400 为最佳折中：噪声率 29.73%、平均语义距离 0.3057、簇数 41。规模前五的叙事簇分别为："政府蓄意让暴力移民进入并掩盖罪行"（15,379 帖）、"西方精英为游说利益牺牲德俄和平打代理战"（10,450 帖）、"健康当局为药企强推危险实验疫苗"（9,354 帖）、"主流媒体是叛国精英打手"（3,716 帖）、"西方政府受犹太复国主义阴谋控制"（3,266 帖），可归并为 Great Replacement、Proxy War、Climate Dictatorship、AfD as Savior 四大支柱。

**Table 1**: Overview of Real-World FIMI Campaigns and Operational Motifs

**Table 2**: Core building blocks and constraints of the FIMI detection prompt

**Table 3**: Core building blocks of the narrative extraction prompt

**Table 4**: Hyperparameter Tuning Results for HDBSCAN

**Table 5**: The top 5 FIMI narrative clusters extracted by the pipeline

**Fig. 3**: Row-normalized alignment matrix, highlighting the model's high recall and its tendency to be stricter than human raters

查看结构化数据

任务	指标	本文	基线	提升
FIMI 操纵叙事二元分类（200 条盲审平衡样本）	F1 / 召回 / 精确率	F1=0.77, 召回=0.92, 精确率=0.66	无直接监督基线；人类标注作为参考	召回 0.92 显著高于典型 BERT 分类器（一般 <0.80），可承受精确率 0.66 的代价，因为下游 HDBSCAN 会把假阳性当作噪声过滤
HDBSCAN 最小簇规模超参搜索（簇数 / 噪声率 / 平均语义距离）	平均语义距离 $1 - \cos(\cdot)$ 越大越分离	min_cluster_size=400: 41 簇, 噪声 29.73%, 距离 0.3057	size=100: 118 簇, 噪声 43.80%, 距离 0.3233; size=1000: 24 簇, 噪声 32.19%, 距离 0.2863	在簇数（41 便于人工解读）、噪声率（<30%）、簇间距离（>0.30）三项上同时取得平衡，size=400 为最佳折中
推理一致性（reasoning 与最终标签对齐）	人类评审一致率	95.5%	无外部基线，作者自报	虽 F1=0.77 但 95.5% 推理一致表明模型逻辑自洽，瓶颈在边界定义而非模型能力

局限与改进

作者明确指出最关键的局限是"协调性操纵叙事"与"合法但激进的个人政治观点"之间的边界模糊，文中的 #Remigration 案例即典型代表：模型能给出逻辑自洽的"身份威胁+受害者"解释，但人类仍可能判定为合法言论。方法学层面的局限包括：过滤提示严重依赖人类对 FIMI 活动母题与 few-shot 示例的工程直觉，缺乏自动化的提示优化机制；HDBSCAN 在 5 维空间假设相对受限的密度结构，对 100,000 帖子级别的大簇细分能力有限；数据集 80% 德语、20% 英语且高度集中于德国政客关键词，对其他语境的可迁移性未知；Telegram 子样本只覆盖 219 个右翼阴谋群组（SchubertsLM 占 8.53%、EvaHermanOffiziell 占 5.99%），存在显著的抽样偏倚。

独立分析的弱点

可独立观察到的弱点有四：(1) 过滤阶段精确率仅 0.66，意味着约 1/3 被判为操纵的帖子实为合法政治表达，下游 HDBSCAN 虽能吸收部分假阳性，但 29.73% 的总噪声率仍提示仍有相当量级未能成簇的假阳性被保留。(2) 提示词的人机迭代工程难以审计与回滚，提示里 few-shot 示例的覆盖偏差会直接影响最终 41 簇的分布，例如五大 FIMI 母题偏向俄乌/反疫苗/反气候政治，遗漏跨语境叙事。(3) Qwen3-Embedding-8B 在 4096 维上的指令敏感度未经独立验证，作者用同一指令同时做"数据嵌入"与"叙事标签嵌入"以计算语义距离，潜在循环依赖。(4) 评估只有 200 条人工盲审，规模小且只针对德语，结论的统计显著性与跨语言泛化能力不足。改进方向包括引入校准过的标注集做监督式提示优化、对聚类结果做对抗性反例测试、在标签嵌入环节换用不同来源的嵌入模型以打破循环依赖。

未来方向

作者提出的下一步是从启发式提示工程转向程序化提示优化：以人工标注的 FIMI / 非 FIMI 语料为基础，使用优化框架系统搜索最优提示与 few-shot 组合以提升精确率与召回。另一方向是跨平台叙事溯源：把 X、Reddit、Telegram 三个平台上的相同叙事簇做时间序列对齐，识别扩散源与易感人群。基于本文成果还可以延展出多个方向：一是把单模态文本扩展到视觉-语言模型 (VLM)，覆盖表情包、篡改图像、合成视频；二是把 FIMI 流水线与可信赖信源库做交叉核查，从"操纵意图"升级到"真实性"判定；三是把 41 个叙事簇做成可解释的贝叶斯传播模型，量化每条帖子对最终行为改变的边际贡献。

复现评估

作者在 GitHub 公开了完整 FIMI 检测流水线代码（github.com/SinclairSchneider/manipulative_narrative_detection），使用 MIT 风格的许可以便复用。但需注意几个复现门槛：(1) 算力方面，过滤阶段需要 2×H200 或 4×H100 部署 Qwen3.5-122B-A10B-FP8 + vLLM，标注阶段则需 397B 参数的更大模型，单次运行成本对学术小团队较高；(2) 数据方面，1,255,895 条原始社媒帖来自 X API、Reddit API 与主动加入的 Telegram 群组，受平台合规与时间窗口限制，第三方难以完全复现 2025 年 1–2 月的快照；(3) 提示词虽然已发表，但"人机迭代过程"无法完整重建，不同模型版本（Qwen3.5 的不同 checkpoint）会改变最终 41 簇的结构。整体而言，方法骨架可复现，但具体簇的集合与排名难以 bit-exact 复现。

基于大语言模型的操纵性政治叙事检测：FIMI 战略叙事的提示工程-嵌入-聚类流水线 LLM-based Detection of Manipulative Political Narratives