面向移动 GUI 智能体的隐私个性化：基于轨迹诱导的偏好优化方法

提出 TIPO，让移动 GUI 智能体按隐私画像生成结构异构的执行轨迹

前置知识

DPO 直接偏好优化

一种用偏好对数据训练语言模型的离线对齐方法，避免显式奖励建模和强化学习。它以 chosen 与 rejected 样本构造分类式目标，让模型对偏好样本的相对似然相对参考模型更高。

TIPO 是基于 DPO 框架改进的，理解 DPO 优化目标有助于弄清 TIPO 为何要把序列级偏好分解到 step 级。

MLLM 多模态大模型

同时支持图像、文本等模态的大语言模型。本文以 Qwen2.5VL-3B 为 backbone，承担对手机截图、UI XML 和自然语言指令的联合理解。

移动 GUI 智能体需要同时看懂屏幕视觉与 UI 结构，MLLM 是其感知能力的核心支撑。

隐私画像 Privacy Persona

基于 Westin 隐私态度分类的二元划分：Privacy-first 倾向拒绝多余授权、退出登录、使用无痕；Utility-first 倾向接受默认设置以追求效率。

两种画像在相同任务下会触发结构完全不同的执行轨迹，是本文研究的关键变量。

轨迹对齐 Trajectory Alignment

因两条轨迹长度常不一致，需要在较短一条后插入 no_action 占位符，使其与较长一条对齐到 T=max(|y+|,|y-|) 再做偏好比较。

对齐引入占位符噪声，是导致标准 DPO 失效的核心原因之一，也是 padding gating 要解决的问题。

研究动机

现有 Mobile GUI Agent 几乎都只优化任务成功率与交互效率，忽略了用户隐私偏好这一实际部署中的高风险维度。从用户视角看，仅完成任务并不等于满意：用户同样关心过程与风险，例如是否授予可选权限、是否保留登录态、是否留下浏览痕迹等。隐私敏感用户偏好保护性操作（拒绝授权、退出账号、关闭个性化跟踪），导致即便目标相同，整条执行轨迹在结构与长度上都会与 Utility-first 用户系统性地发散：可能多出"拒绝授权""切到无痕""事后清理痕迹“等步骤，也可能跳过某些默认行为。已有偏好优化方法（如 DPO）假设两个比较单元结构同构，面对长度可变、结构异构的轨迹对就失效：训练信号被 padding 稀释，关键隐私步骤被淹没，模型可能只学到对齐格式而非真实偏好差异。这一问题在三类任务中表现不同：浏览交互类差异集中在少数本地决策点，账户文件管理类差异更大更显式，交易类差异以共享流程内的”软取舍"形式出现，进一步增加了统一处理的难度。

本文的目标是本文把 Mobile GUI Agent 个性化建模成“轨迹选择”问题：给定相同目标与初始 UI 状态，智能体应在多条可行轨迹中选择最贴合用户隐私画像的那一条。为支撑这一设定，作者构建了 Privacy Preference 数据集：覆盖 Shopping、Payment、Browsing、Food Delivery、Sharing、Account、Backup、Reservations 共 8 个高频类目，共 151 个任务实例、302 条轨迹、约 8.2k 标注步骤，每任务同时收录 Privacy-first 与 Utility-first 两条可执行轨迹。在此基础上提出 TIPO（Trajectory Induced Preference Optimization），通过偏好强度加权放大隐私关键步骤信号、padding gating 抑制对齐占位符噪声，让偏好优化在长度可变、结构异构的轨迹对上仍然稳定有效。

与已有工作不同的是，与既有工作相比，本文有三个独特切入角度。第一是“过程而非结果”的个性化：P-RLHF、PROPER、PersonaLens 等主要关注响应内容或高层决策，本文关注隐私偏好如何重塑整条操作轨迹本身。第二是把对齐噪声显式建模：大多数 DPO 变体（ORPO、SimPO、CPO、IPO、Token-level DPO）默认被比较单元同构或近似同构，本文直面轨迹长度不匹配的事实，区分“对齐导致的占位符”与"真实偏好步骤"，引入 padding gating 做硬掩码。第三是把 Westin 隐私分类从问卷态度层面落到操作轨迹层面：将抽象隐私取向实例化为可标注行为类目（拒绝授权、退出登录、本地保存、无痕浏览、跨设备对比等），用规则定义分值、LLM 做语义归一化，使偏好监督信号与具体动作直接挂钩、可计算。

核心方法

TIPO 思路是"分层 + 两道闸门"。分层把轨迹级 DPO 目标拆到 step 级：给定对齐后偏好对 (x, y+, y-)，在第 t 位置取 x_t 与 (s_t+, s_t-)，构造 DPO 式偏好分数 z_t(θ)，把"两条轨迹谁被偏好"分解为"每一步谁被偏好"。再加两道闸门：第一道是偏好强度加权 $\alpha_t$，由规则化打分机制（LLM 只做语义归一化）的 $\text{Score}(s)$ 差值 $\Delta s_t$ 经 $\gamma$ 次方裁剪到 [0,1] 得到，把"是否关键"映射成"权重多大"；第二道是 padding gate m_t，把 chosen 端为 no_action 的位置硬置零，让对齐噪声不参与梯度。两者相乘得 $\hat{z}_t = m_t \alpha_t z_t(\theta)$，$\mathcal{L}_{\text{TIPO}} = \mathbb{E}[\text{softplus}(-\hat{z}_t)]$。直观上相当于每步比较前先问"是否算偏好信号"，再问"有多重要"。

与已有方法相比，TIPO 的本质区别在于把“在结构异构、长度可变的轨迹对上做偏好学习”这一新设定，从“套用现成 DPO”变成"重新设计 DPO 的监督单元“。标准 DPO 假设 y+ 与 y- 同长同构，对每一步一视同仁；Step-DPO 把监督拆到 step 级，但仍把 padding 位置当普通 token，让对齐占位符蹭进梯度。TIPO 的两个核心改动——偏好强度加权 α_t 与 padding gating m_t——是互补的：前者解决”信号被稀释“的问题，让梯度集中到真正能区分人格的关键步骤；后者解决”信号被污染"的问题，把 no_action 这种对齐副产品显式屏蔽。两者的组合与单纯叠加正则项或调整温度 $\beta$ 不同：$\alpha_t$ 与 $m_t$ 都直接作用于 loss 内部且正交可分解，使消融实验可以干净地分别验证各自贡献。

方法步骤详情

方法分四步。第一步 step 级偏好分解：找 (y+, y-) 发散点，在较短一条插 no_action 直到 |y+|=|y-|=T；每位置 t 算 $z_t(\theta)=\beta[\log\pi_\theta(s_t^+|x_t)/\pi_\text{ref}(s_t^+|x_t)-\log\pi_\theta(s_t^-|x_t)/\pi_\text{ref}(s_t^-|x_t)]$。第二步动作打分：人工定义隐私类目配合 LLM 语义归一化给 step 打 Score(·)，算 $\Delta s_t$。第三步 $\alpha_t = \text{clip}((\Delta s_t/\Delta_{\max})^\gamma, 0, 1)$。第四步 padding gating：no_action 位置 m_t=0；$\hat{z}_t = m_t \alpha_t z_t(\theta)$，$\mathcal{L}_{\text{TIPO}} = \mathbb{E}[\text{softplus}(-\hat{z}_t)]$。所有方法共享 Qwen2.5VL-3B。

技术新颖性

技术新颖性体现在三个层面。第一，把“结构异构偏好对”显式拆解为两个独立问题（信号稀释 + 噪声污染）并各设计一个轻量级、低耦合的修正项，使任何 step-DPO 基线都能通过叠加这两个 mask 平滑升级。第二，引入“规则+LLM 协同”的动作打分协议：规则定义类目与分值，LLM 只做语义等价归一化，避免直接用 LLM 打分带来的不稳定与黑箱。第三，padding gating 不依赖 tokenizer 级 attention mask，而是定义在“语义 step”层面——no_action 是有真实意义的占位动作而非特殊 pad token，与现有可变长序列训练管线兼容。消融实验也证明这种设计是“对症下药”而非简单堆叠：单独去掉 pw 时 Compliance 从 46.22 降到 35.52，去掉 pg 时降到 38.93；只有两者并存才能同时把 PAS-S(P-f) 从 28.20 拉到 42.85、PD 从 59.26% 拉到 66.67%。

**Figure 3**: Comparison between step-DPO and TIPO on aligned trajectory pairs.

**Figure 4**: An overview of the Privacy Preference Dataset construction pipeline.

实验结果

主实验以 Qwen2.5VL-3B 为 backbone，对比 7 个基线（Table 1）。TIPO 在 Overall SR 达 65.60%（整体第一，SFT 65.17%、DPO 65.34%、IPO 65.44%）；PAS-S(P-f) 42.85 领先第二名 w/o pg 的 40.54 与 IPO 的 29.02；PAS-S(U-f) 取得 15.71 最低值；Compliance 46.22，比 DPO 的 31.94 高 14.28 个绝对值；PD 66.67%，比 SFT/DPO 的 59.26% 高 7.41pp，比 ORPO/CPO 的 48.15% 高 18.52pp。消融（Table 2）显示去 pw 使 Compliance 降到 35.52、PD 维持 59.26%；去 pg 使 Compliance 降到 38.93、PD 升到 62.96%；两者并存才同时推到最优。跨类目（Table 3）显示 TIPO 在 A&F 类 PAS-S(P-f) 96.89、PD 80.00%，在 Trans 类 PD 仅 62.50%，揭示分支显式程度对学习难度的影响。

**Table 1**: Comparison of TIPO against baseline methods on the Privacy Preference Dataset.

**Table 2**: Ablation results of TIPO on the Privacy Preference Dataset.

**Table 3**: Category-wise performance of TIPO on the Privacy Preference Dataset.

**Figure 5**: Radar-chart comparison of different methods on representative higher-is-better metrics.

**Figure 6**: Ablation comparison on representative persona-related metrics.

查看结构化数据

任务	指标	本文	基线	提升
Privacy Preference Dataset (Overall)	Step Success Rate (SR)	65.60%	DPO 65.34%, SFT 65.17%, IPO 65.44%	Overall 第一，比 DPO 高 0.26pp，比 SFT 高 0.43pp
Privacy-first Persona Adherence	PAS-S (Privacy-first)	42.85	DPO 28.20, IPO 29.02, SimPO 25.07	大幅领先第二名 13+ 个绝对值
Combined Persona Consistency	Compliance (avg PAS-S(P-f) + PAS-U(U-f))	46.22	DPO 31.94, SFT 36.86, SimPO 35.88	比 DPO 高 14.28 个绝对值，提升约 44.7%
Persona Distinction	PD (Persona Distinction %)	66.67%	DPO/SFT 59.26%, IPO 62.96%, ORPO/CPO 48.15%	比 DPO 高 7.41pp，比 ORPO/CPO 高 18.52pp
Account & File Management Category	PD (Persona Distinction %)	80.00%	Overall 66.67%, B&I 66.67%, Trans 62.50%	在分支最显式的类目中表现最强

局限与改进

作者明确承认的局限：TIPO 主要在轨迹层做"偏好对齐"，并不提升底层 Mobile GUI Agent 在 grounding、规划或执行能力本身——它应被视为建立在已有 Agent 之上的对齐框架，而非通用能力增强方法。这意味着如果 backbone 本身就找不到 UI 元素、读不懂 XML，TIPO 也救不回来。从我自己的观察看，还有三个隐含局限：第一，二元人格过于简化，Westin 分类还有 Fundamentalist、Pragmatist 等更细粒度档位，扩展到多档甚至连续隐私倾向时，α_t 的打分协议与 γ 的标定都要重做；第二，α_t 严重依赖人工定义的动作类目与 Score 函数，新增应用或新隐私相关行为时需要重新标注；第三，跨平台/跨应用泛化能力未充分验证——数据集基于 Android 手机，对 iOS、HarmonyOS 或桌面 GUI 是否成立未有实验，Mobile-Agent-v3.5 已支持多平台但本研究未触及。整体看，TIPO 实验在 3B backbone 上做受控对比，难以直接推广到 7B/72B 等更大模型，可能存在规模敏感性问题。

独立分析的弱点

独立分析几个潜在弱点。第一，Score 函数设计是 ad-hoc 的，依赖人工枚举隐私相关动作类目并赋分，"分值即真理"的做法在新场景下会失效；改进方向是用 contrastive learning 自动学习 step 级偏好强度。第二，padding gating 用硬 0/1 掩码，可平滑为 soft mask 或 learned gate，让模型从 no_action 位置学到"什么都不做"的偏好含义而非完全屏蔽。第三，作者没有给出理论收敛性证明或梯度方差分析；改进方向是补充对 gating 稀疏性、γ 灵敏度、数据规模三者关系的系统 sweep。第四，evaluation 协议依赖"两步匹配 + LLM 语义判断"，但只人工核验了子集；改进方向是公布更细的标注者一致性指标。第五，对齐操作依赖 LLM 找 divergence point，一旦误判就会在错误位置插 no_action，引入伪偏好信号。

未来方向

作者在 Discussion 中已指出 TIPO 不限于隐私，可扩展到效率偏好、成本敏感度、风险容忍度、可访问性需求等同样会引发轨迹发散的用户属性；进一步可探索“轨迹级偏好对齐”作为通用训练 pipeline 的一个模块，从输出定制走向"过程对齐“——这对未来构建真正”过程可审计“的智能体至关重要。基于本成果可延伸的方向有：第一，把二元人格扩展为连续隐私倾向向量，让 α_t 由倾向强度参数化；第二，与 RLHF/RLAIF 流水线结合，用 TIPO 替代序列级 DPO loss，验证在对话、Web Agent 等更通用场景的迁移性；第三，把动作打分协议开放为 benchmark，鼓励社区为医疗、IoT、车载等垂直领域贡献新的动作-分值映射；第四，研究 TIPO 与 agent 的 grounding/execution 模块如何联合训练，避免 TIPO 学到的”过程对齐“被底层规划噪声抵消；第五，把 TIPO 用于多模态 Agent 中的”跨模态轨迹"——同时跨视觉、语音、UI 触觉的事件序列对齐。

复现评估

复现性评估整体偏正面：作者承诺代码与数据集将在 https://github.com/Zhixin-L/TIPO 公开发布。数据集共 8 名标注者、每人约 40 小时、累计约 320 标注小时，且采用任务级 train/val/test 切分避免同一任务不同分支泄露；基线 7 个方法共享同一 Qwen2.5VL-3B backbone、同一训练数据、同一评测 prompt，公平性有保障。算力门槛较低：3B 参数的 Qwen2.5VL 配合 LoRA 或全参数微调，单卡 A100 80G 应可在数小时至一天内完成 SFT+DPO/TIPO 训练，消融与多基线 sweep 大约需要数张卡 × 数天。最大复现门槛不是算力而是数据：Privacy Preference Dataset 需要 ADB 真机录屏、XML 抽取、动作标注、两阶段交叉核验与 divergence 点的 LLM 辅助识别，普通研究者难以快速复现整套数据；不过作者提供了完整动作空间定义与动作-分值规则，训练流程相对易复现。

面向移动 GUI 智能体的隐私个性化：基于轨迹诱导的偏好优化方法 Mobile GUI Agent Privacy Personalization with Trajectory Induced Preference Optimization