← 返回 2026-04-14

时间不是标签:面向时序知识图谱与代理记忆的连续相位旋转 Time is Not a Label: Continuous Phase Rotation for Temporal Knowledge Graphs and Agentic Memory

Weixian Waylon Li, Jiaxin Zhang, Xianan Jim Yang, Tiejun Ma, Yiwen Guo 📅 2026-04-13 👍 4 2026-07-13 08:36
代理记忆 复向量相位旋转 时序知识图谱 知识图谱嵌入 语义门控

用复向量空间中的连续相位旋转解决代理记忆中的静/动态时序冲突

前置知识

时序知识图谱 (Temporal Knowledge Graph, TKG)

在传统三元组 (头实体, 关系, 尾实体) 上引入时间戳的四元组 (h, r, t, τ),用于刻画关系随时间变化的动态事实,例如 (Obama, president_of, USA, 2009–2017)。ICEWS05-15 这类政治事件数据集是典型代表,包含约 46 万个四元组。

本文核心工作就是把 TKG 嵌入 (TKGE) 中的时间从离散查表升级为连续函数,这是理解为什么 ROMEM 能做零样本时序插值的前提。

知识图谱嵌入与旋转模型 (RotatE / ChronoR)

RotatE 把实体嵌入复向量空间,把关系建模为相位旋转 (即元素级乘法 ⊙ e^{iθ});ChronoR 在此基础上引入多子空间旋转 (k 个分量),并为每个时间戳学习一个离散旋转向量 τ_t。ROMEM 直接建在 ChronoR 之上,但用连续函数取代了离散 τ_t。

ROMEM 的打分函数 v_cr(e, τ) = Rot(e_c, θ_r(τ)) 完全沿用 RotatE/ChronoR 的旋转范式,只有 θ_r(τ) 的定义被改成连续函数 θ_r(τ) = s·α_r·τ·ω,没有这套先验就理解不了方法。

代理 (Agentic) 长期记忆与 OpenIE

LLM agent 把对话流过 OpenIE 抽取为图谱节点 (h, r, t),存进图实现长期记忆;代表作有 Mem0、HippoRAG、Zep、AMem。OpenIE 会为同一语义产生上千种字符串 (如 married/wedded/spouse of),传统 KGE 学不到这种泛化。

ROMEM 把语义门控设计为对关系文本嵌入做 MLP,正是为了应对 OpenIE 关系多样性问题;这也是它能在 LoCoMo/FinTMM 这类真实对话基准上泛化的原因。

复数 / 相位旋转算子 (Unitary Group U(1)^d)

把 R^{2d} 解释为 C^d 中的向量,时间 τ 通过 Rot(x, θ) = x ⊙ e^{iθ} 在每个 2D 子空间施加相位偏移 θ;模长不变,只有相位变化。这相当于在 2D 子空间中执行 2×2 旋转矩阵的 block-diagonal 操作。

理解 ROMEM 必须把时间看作 U(1) 群元素,否则很难直觉化为什么「过时事实在相位上自然出列」而不需要任何数据库 UPDATE/DELETE 操作。

个人化 PageRank (Personalized PageRank) 与 RAG 检索

HippoRAG 用 PPR 在知识图谱上做查询相关的多跳检索,再叠加稠密 passage 相似度形成 S_sem;ROEM 在此基础上注入时序打分 S_kge,最终通过乘法门控 S_final = S_sem · (1 + α_g·S_kge) 进行融合。

这是 ROMEM 能「drop-in 替换」到现有 agent 框架里的关键——它不重做检索管线,只在 HippoRAG 的最后一步插入时序重排序。

研究动机

现有图基代理记忆系统普遍把时间建模为一列离散元数据 (timestamp),由此带来「静态-动态两难」(static-dynamic dilemma):系统无法区分「生于」(永久不变) 与「担任总统」(随时间变化) 这类语义不同的关系,导致遇到冲突时只能走三种有缺陷的兜底——(i) 破坏式覆写会永久丢失历史语境;(ii) 每条事实都调用一次 LLM 来仲裁 UPDATE/DELETE,扩展到百万事实的长期记忆时延迟不可承受;(iii) 按时间戳排序让「奥巴马生于夏威夷」这种数十年前的事实被新鲜但无关的记录埋没。MultiTQ 上所有基线 (Zep 0.192、M0 0.174、HippoRAG 0.203 MRR) 都体现了这个问题——相互冲突的事实扎堆在向量空间里,最终让 LLM 输出混乱。

本文的目标是设计一个可即插即用的时序知识图谱模块 ROMEM,使 (a) 在标准 TKG 补全任务 ICEWS05-15 上达到新 SOTA (72.6 MRR),比当前最强基线 3DG-TE (69.4) 显著提升;(b) 在 MultiTQ 这类重时序推理基准上把 MRR/准确率提升 2–3 倍;(c) 在 DMR-MSC 这类纯静态对话记忆上保持零退化;(d) 通过 Semantic Speed Gate 实现对未见关系的零样本迁移 (FinTMM)。

与已有工作不同的是,以往工作要么把时间作为元数据 (Mem0/Zep/HippoRAG),要么用离散查表定义时序算子 (ChronoR/TeRo/RotateQVS)。本文首次把时间定义为 C^d 上的连续相位函数 θ_r(τ) = s·α_r·τ·ω,并首次显式建模「关系的时变速率」——α_r ∈ (0,1) 由关系文本嵌入决定,让「born_in」锁死相位、「president_of」高速旋转。这一把时序性变成几何约束、而非数据库操作的视角,被作者援引海马体认知神经科学 (Eichenbaum 2014) 作为灵感。

核心方法

可以用一个「时钟指针」的类比来直觉化 ROMEM:把实体嵌入看作复平面上的指针,时间流逝就像给指针施加相位旋转。当查询时间 τ_q 接近某条事实的发生时间 thappen 时,指针方向对齐、得分最高;过时事实则被旋转到远离对齐的相位,自然被「几何投影」(geometric shadowing) 到后面。技术上,ROMEM 包含四大模块:(A) Functional Rotation——用连续函数 θ_r(τ) 取代 ChronoR 的离散查表,让模型能对未观察日期做零样本插值;(B) Semantic Speed Gate——一个轻量 MLP 把关系文本嵌入 ϕ(r) 映射到 α_r,控制该关系旋转多快;(C) Two-Phase Training——先离线预训练门控,再在线学习时间频谱 (s, ω);(D) Dual-Stream Retrieval——把时序打分 S_kge 乘性叠加到 HippoRAG 的语义打分 S_sem 上。整个系统保持严格 append-only,不做任何 UPDATE/DELETE。

本文最本质的创新是把时间从「标签 / 离散索引」提升为「连续几何算子 + 关系专属旋转速率」。两件新事缺一不可:其一,θ_r(τ) = s·α_r·τ·ω 是一个函数而非查表——任意 τ 都有定义,因此 9 月 22 日可以由 9 月 21 日与 23 日插值得到,这正是传统 ChronoR 做不到的「盲点」;其二,α_r 由关系文本嵌入经 MLP 得到 (α_r = σ(MLP(ϕ(r)))),让从未见过的「wedded」也能因为嵌入与「married」相近而自动获得低 α_r,从而零样本迁移到新域。这种「时间=相位旋转速率的几何约束」是 ROMEM 与 Mem0/Zep/HippoRAG (元数据派) 以及 ChronoR/TeRo (离散旋转派) 的根本差异。

方法步骤详情

流水线五阶段。①抽取:对话 $d_i$ 经 GPT-5-mini NER+OpenIE 得 $(h,r,t,t_h,t_o)$,实体由 text-embedding-3-small 编码后 append-only 入图。②Functional Rotation:对 $\mathbb{C}^d$ 中 $e$ 的 $k$ 子空间按 $v_{cr}(e,\tau)=Rot(e_c,\theta_r(\tau))\odot w_{cr}\odot\hat{w}_{cr}$ 算相位,打分对 $k$ 子空间累加内积,旋转角 $\theta_r(\tau)=s\alpha_r\tau\omega$。③Speed Gate Pretraining:在 ICEWS05-15 抽「相邻观测尾实体变化」标签 $y_i$,用 $\mathcal{L}_{gate}=BCE(y_i, 1-e^{-\theta_i})$ 训 MLP。④Two-Phase Training:冻结 $\alpha_r$,三元组损失加时序对比损失学 $(s,\omega)$。⑤Inference:按 Explicit/Time-Seeking/Time-Agnostic 模式用 $S_{final}=S_{sem}(1+\alpha_g S_{kge})$ 融合 PPR。

技术新颖性

相比 TKGE 前作:与 T-TransE/HyTE (把时间当线性偏置的加法模型) 相比,乘性相位旋转不会被高人气实体的结构偏置压制——即使「Obama」是高频实体,时序相位不对齐时仍会被几何投影掉;与 ChronoR/TeRo (离散查表) 相比,连续函数 θ_r(τ) 在数学上保证任意未观察时间 τ* 都可被插值,且 Theorem 2 证明只要 ̃ω_j ∈ (0, π/Δt] 就存在唯一交叉点 τ*。相比 agentic memory 前作:Mem0/Zep/LicoMemory/HippoRAG 都把时间当元数据,只能用破坏式覆写或 LLM 仲裁;AMem 等非图方法完全放弃结构。ROEM 是首个把时间编码进 KG 嵌入几何的方案,并凭 α_r=0 的「temporal clutch」机制保证永久关系不被掩埋。

Overview of the ROMEM Architecture
Figure 2: Overview of the ROMEM Architecture

实验结果

RQ1:ROMEM-ChronoR 在 ICEWS05-15 取 MRR $72.6$/Hit@1 $66.8$,超 12 个基线(3DG-TE 69.4、TimeGate 69.2),Hit@1 比 ChronoR 自身 61.1 升 5.7;ROMEM-DistMult 把 DistMult 45.6 MRR 提升到 62.1。RQ2:重时序 MultiTQ 上 MRR 由 $0.203$ 升至 $0.337$(+66%),LLM@5 Acc 由 $0.112$ 升至 $0.366$(3.3×);混合 LoCoMo 平均 $0.857$(Mem0 0.834、HippoRAG 0.815),Temporal Reason Recall@10 由 $0.645$ 升至 $0.726$;静态 DMR-MSC MRR $0.856$ 略优于 HippoRAG,证明 $\alpha_r\to 0$ 的 temporal clutch 有效。RQ3:FinTMM 零样本 MRR $0.728$/Acc@5 $0.580$ 超 A-Mem (0.716/0.540)、HippoRAG (0.690/0.550)。门控(Table 5):Consult $0.87$、Cooperate militarily $0.09$;未见 met with $0.71$、citizen of $0.17$/species $0.22$。

Results on ICEWS05-15
Table 1: Results on ICEWS05-15
Comprehensive evaluation of ROMEM
Table 2: Comprehensive evaluation of ROMEM
Summary statistics of evaluation datasets
Table 3: Summary statistics of evaluation datasets
TKGE hyperparameters
Table 4: TKGE hyperparameters
Pretrained semantic speed gate values
Table 5: Pretrained semantic speed gate values
Performance Overview
Figure 1: Performance Overview
Scoring trace for the competing slot (Obama, Consult, ?)
Figure 3: Scoring trace for the competing slot (Obama, Consult, ?)
查看结构化数据
任务指标本文基线提升
TKG Completion on ICEWS05-15 MRR 72.6 ChronoR 68.4 / 3DG-TE 69.4 / TCompoundE 69.2 +4.2 vs ChronoR, +3.2 vs 3DG-TE (新 SOTA)
TKG Completion on ICEWS05-15 Hit@1 66.8 ChronoR 61.1 / 3DG-TE 61.4 +5.7 vs ChronoR
Heavy Temporal Reasoning (MultiTQ, GPT-5-mini) MRR 0.337 HippoRAG 0.203 +66% 相对提升 (约 1.66×)
Heavy Temporal Reasoning (MultiTQ, GPT-5-mini) LLM@5 Accuracy 0.366 HippoRAG 0.112 +227% (3.3×)
Hybrid Reasoning (LoCoMo Temporal Reason) Recall@10 0.726 HippoRAG 0.645 +12.6%
Hybrid Reasoning (LoCoMo Average) Average Recall@10 0.857 Mem0 0.834 / HippoRAG 0.815 +2.8% vs Mem0
Static Memory Preservation (DMR-MSC) MRR 0.856 HippoRAG 0.848 +0.9% (零退化)
Zero-shot Domain Transfer (FinTMMBench) MRR 0.728 A-Mem 0.716 / HippoRAG 0.690 +1.7% vs A-Mem
Zero-shot Domain Transfer (FinTMMBench) LLM@5 Accuracy 0.580 A-Mem 0.540 / Mem0 0.550 +7.4% vs A-Mem

局限与改进

作者承认:(1) 旋转 TKGE 引入高频分量,图 3 显示原始打分有局部震荡需 5-quarter 平滑才能看到唯一交叉点,说明严格半周期 $\tilde{\omega}_j\le\pi/\Delta t$ 不一定被全部 $kd=6$ 分量满足;(2) ICEWS05-15 的 251 个关系几乎全为政治事件,每个 $(h,r)$ 槽平均有 3.08 个不同尾实体,门控在预训练看到的「低 $\alpha_r$」样本主要是数据稀疏伪静态;(3) LoCoMo/MultiTQ 仅 500–1986 条样本、FinTMM 仅 100 条分层采样。我的观察:(4) 当 $\tau_q$ 与候选发生时间差距极大时,相位周期绕回原点,可能再次与 obsolete 事实重合;(5) Speed Gate 离线冻结,下游领域语义偏差大时可能「形似但时变语义相反」;(6) $S_{final}=S_{sem}\cdot(1+\alpha_g S_{kge})$ 中 $\alpha_g$ 鲁棒性未充分消融。

独立分析的弱点

四点独立分析:(a) 图 3 高频震荡说明 $\theta_r(\tau)=s\cdot\alpha_r\cdot\tau\cdot\omega$ 的 $kd=6$ 个 $\tilde{\omega}_j$ 不都满足 $\tilde{\omega}_j\le\pi/\Delta t$ 的「无振荡条件」,改进是加频谱软约束或强制 $\omega_1<\omega_2<\cdots$;(b) Speed Gate 是冻结的 ICEWS05-15 权重,若换 BGE-M3 后端 $\phi(r)$ 分布会偏移导致 $\alpha_r$ 失真——可 per-backend 微调或加 LoRA;(c) MultiTQ 上 LLaMA-3.1-70B 配置 ROMEM LLM@5 仅 $0.312$,仍低于 GPT-5-mini 的 $0.366$,说明下游 LLM 对时间相关提示理解仍是瓶颈;(d) 当 $(h,r)$ 槽只有一条事实时 $\alpha_r\to 0$ 无法区分「数据不足」与「真静态」,建议门控预训练加入 frequency 先验。

未来方向

作者层面:把 ROMEM 推广为更广义的「图基或分层记忆系统」的可插拔模块;探索更长的时间跨度与跨语种时序事实验证。我的延伸:(1) 把相位旋转思想延伸到多模态,把图像/表格的「时间戳」也编码成 C^d 中的旋转算子,统一金融图表与新闻文本;(2) 把 α_r 从标量升级为「随时间衰减的函数」α_r(t),表达关系时变速率本身也是非平稳的 (例如「任职总统」在某段时间内特别敏感);(3) 与 RL 联合训练,让 agent 在对话中显式询问澄清 (clarification question) 以减轻门控对未知关系的不可控外推;(4) 把 Theorem 2 的「唯一交叉点」性质用于可解释性——可以向用户报告「该事实将在 2024-03 后失效」,作为 agent 的「遗忘机制」显式声明。

复现评估

v1 (2026-04-13) 论文未给出明确代码仓库链接,但附录 B 提供了完整 prompt,附录 E.2 表 4 列出全部超参(chronor_k=3, $\gamma=200$, $\lambda_t=0.5$, num_time_negatives=8, time_sigma cosine $0.5\to 0.02$ yr, min-gap curriculum $90\to 3$ day over 60 epochs)。数据全部公开(ICEWS05-15、MultiTQ、LoCoMo、DMR-MSC、FinTMMBench)。算力:TKGE 训练基于 ChronoR,46 万事实,embed dim 100–200,单卡 GPU(A100/4090)数小时即可;下游评测用 GPT-5-mini API 或本地 vLLM+LLaMA-3.1-70B+BGE-M3。复现难度中等:难点在 OpenIE prompt 字符串匹配差异、时序负采样 curriculum 精确实现,以及 GPT-5.2 LLM judge 需 OpenAI API key。