可解释解耦表征学习:面向生成式AI时代的可泛化作者归属 Explainable Disentangled Representation Learning for Generalizable Authorship Attribution in the Era of Generative AI

训练流程可拆为六步。第一步是输入预处理:把文档截断到 32-512 tokens,过滤每个作者保留 10-1000 文档,去重以构造干净预训练语料。第二步是风格编码器预训练:以 Qwen2-1.5B 为骨干,用 LoRA (r=16) 在 2740 万文档 / 130 万作者上做监督对比学习,优化 $\mathcal{L}_{\text{con}}$,batch size=512,温度 $\tau=0.02$,学习率 $2\times 10^{-4}$,AdamW,2 epoch;同时用 BM25 取 top-K 跨作者文档作硬负样本。第三步是构造精细化微调数据集:用 GTE-Qwen2-1.5B 计算文档语义嵌入,做 K-means(k=1000) 聚类得到主题结构,再用 QwQ-32B 为每一对生成'风格/内容是否相同 + 自然语言解释',得到 13.2 万对 / 1.2 万作者的判别数据。第四步是 EAVAE 微调:把第三步预训练的 Qwen2-1.5B 作为风格编码器 $E_s$,GTE-Qwen2-1.5B 作为内容编码器 $E_c$,统一生成器 $G$(Qwen2-1.5B) 兼任 $G_{\text{rec}}$ 与 $G_{\text{expl}}$ 两职。第五步是双任务条件生成:对重建任务,提示模板为'Given the style representation and content representation, reconstruct the original text',占位符分别填 $z_s, z_c$;对风格判别任务,提示模板要求输出 JSON 含 'determination' (same/different author) 与 'explaination' 两字段,占位符填两文档的风格表征 $z_s^{(1)}, z_s^{(2)}$;内容判别同理但聚焦主题;占位符在生成器 embedding 层被表征向量直接替换,保留位置信息。第六步是联合优化:总损失 $\mathcal{L}_{\text{EAVAE}} = \mathcal{L}_{\text{VAE}} + \lambda_{\text{dis}} \mathcal{L}_{\text{dis}}$,其中 $\mathcal{L}_{\text{VAE}}$ 包含重建负 log 似然与 $\beta_s, \beta_c$ 加权的双向 KL 散度(式 (4)),$\mathcal{L}_{\text{dis}}$ 是风格/内容判别的条件生成负 log 似然(式 (5)),统一在 batch size=64、AdamW、学习率 $1\times 10^{-4}$、2 epoch、LoRA r=16 上端到端优化。

技术新颖性体现在四点。第一,真正架构级解耦(separation-by-design):与 ALT/Sawatphol/Man&Nguyen 在'单编码器 + 隐式去相关'路线不同,EAVAE 用双 VAE 编码器在潜空间物理上隔离风格与内容——这一点直接对应消融里'W/o Disentanglement by Design'掉 2.8 MRR / 13.9 R@8 的最大跌幅,验证了架构选择本身就是一种归纳偏置。第二,生成式可解释判别器 $G_{\text{expl}}$ 把'判别同/不同'与'生成文字解释'统一为条件生成问题 $p(y|z, p_t; G)$,并以混合提示在同一 LLM 上同时承担重建与判别;消融对比 MLP 判别头(45.5 MRR/65.4 R@8)、Soft-Prompt 变体(43.3/66.1),证明'生成式解释'比'判别式头'更强——后者提升约 +1.8 MRR 与 +6.8 R@8。第三,BM25 硬负样本与 GTE-Qwen2-1.5B + K-means + QwQ-32B 的'三段式硬对挖掘',把对比学习从'随机负样本'升级到'语义上接近但风格必须区分'的高难度训练集,使 13.2 万对的判别损失真正驱动编码器解耦。第四,KL 系数 $\beta_s = \beta_c = 0.1$ 与 $\lambda_{\text{dis}} = 0.5$ 的精细平衡,以及统一 Qwen2-1.5B 生成器在三种任务间的权重共享,实现了风格、内容、判别信息的端到端协同——这是以往'重建只用 auto-encoder、判别只用分类头'的多模块架构所没有的。

仔细审视论文后,有三个相对独立的弱点值得改进方向。弱点一:对比预训练阶段的训练数据虽号称 2740 万文档 / 130 万作者,但 2740 万在 LLM 时代仍属中等规模,且 Reddit-Dump 占 417.9 万、Reddit-Million 占 659.1 万,合计占比近 40%——Reddit 评论偏短(平均 131/147 tokens)且语体高度同质,可能导致风格表征偏向'社交媒体口语',而对学术写作(ArXiv、WikiHow 评测)时仍需要靠 VAE 阶段的微调来弥补——这或许解释了为何 Table 3 中 EAVAE 在 ArXiv 上的 pAUC@1 仅 62.5,反而比 Pre-training-only 的 55.6 高 6.9 但绝对值仍偏低。改进方向:在预训练阶段增加博客、新闻评论、专业论文等长文档占比。弱点二:可解释判别器虽然产出自然语言,但论文没有给出解释质量的定量评测——既无 human evaluation,也无语义对齐指标(如与专业文体学家的标注一致性),仅靠 Appendix C 一例 case study(两个食谱评论风格明显一致)证明解释可用性,代表性不足。改进方向:构建 200-500 条人工标注的'风格特征 → 解释'对照集,计算 BLEU-4/BERTScore 或邀请 3 位以上专家做 1-5 分相关性打分。弱点三:Table 1/2 中 PAN21 上 EAVAE 仅与 Man & Nguyen 2024 持平(61.0 vs 61.2 MRR),说明在用户量级较小(因此风格判别难度更高)的作者归属场景中,显式解耦并未带来增益;这可能是 PAN21 本身主题多样性低于 HRS 导致'内容混淆'不是主要瓶颈。改进方向:在 PAN21 上专门做内容混淆诊断实验(同主题 vs 跨主题子集拆分),看 EAVAE 是否仅在后者展现优势。

作者在结论与限制章节明确给出了三条延伸方向。第一,把 EAVAE 扩展到多作者/协作写作场景,通过把潜变量 $z_s$ 从单向量扩展为混合权重 $\sum_k \alpha_k z_s^{(k)}$ 或引入作者注意力机制来支持单文档多作者推断。第二,把框架扩展到多语言,利用 LUSIFER (Man et al., 2025) 等跨语言嵌入空间,把风格编码器与内容编码器分别在不同语言对上做监督对比学习,使 EAVAE 能在中、英、日、法等多语种混合数据集上训练与推理;这对于跨语言学术不端检测很有价值。第三,把风格维度从单一'作者指纹'扩展到情感、正式度、修辞复杂度等子维度,即在同一双编码器 VAE 框架内引入多个风格子空间,使每一维度有独立的 $\beta_s^{(k)}$ 正则。基于成果可延伸的方向,我个人补充两条:(a)把 EAVAE 的判别器改造为多任务 head,同时支持同/不同作者 + 解释 + 风格强度(连续打分),从而把'判别'升级为'风格-内容联合诊断',与 LLM-as-a-Judge 类应用直接对接;(b)与 RLHF 配合,把可解释判别器作为 reward model,用其对'风格判别 + 解释'的对齐质量做强化学习反馈,引导生成模型产出更稳定风格的文本——这与'用 EAVAE 反向训练 AI 写得更像某个作者'的下游应用直接挂钩。

复现性方面整体良好但有挑战。开源情况:作者明确给出代码仓库 github.com/hieum98/avae 与 HuggingFace 数据集 collections/Hieuman/document-level-authorship-datasets,这对学术界复现非常友好。数据方面:对比预训练数据来源多样(Hackernews/Stackexchange/Twitter/NYT/Amazon/Yelp/Reddit/Goodreads/BookCorpus/RealNews/food.com/sfu-socc/wiki-articles),其中部分链接已随时间失效(如 NYT 评论 API、Twitter API 政策变化),需作者预先归档;Amazon Reviews 与 Yelp 这类商业评论数据集需要研究者单独下载并遵守各自许可。训练规模:对比预训练阶段 batch size=512、2 epoch、AdamW、LoRA r=16、Qwen2-1.5B 骨干,大约需要 8 张 A100/H100 级 GPU 训练数日;EAVAE 微调阶段 batch size=64、2 epoch、同样 Qwen2-1.5B 规模,4-8 张 GPU 训练 1-2 天可复现主表。超参与配置:附录 B 给出 $\beta_s = \beta_c = 0.1$、$\lambda_{\text{dis}} = 0.5$、学习率 $2\times 10^{-4}$/$1\times 10^{-4}$、温度 $\tau = 0.02$、LoRA rank 16、AdamW 等关键超参,但提示模板(附录 D)较长且字段名存在 typo('explaination' 写成了 'explaination' 而非 'explanation'),复现时需仔细校对。难度:整体技术细节(双编码器 VAE + 混合提示生成器 + QwQ-32B 标注解释)门槛较高,需要研究者熟悉 HuggingFace Transformers、LoRA 微调、VAE 训练技巧与生成式判别器训练,适合有一定 LLM 微调经验的研究组。