MoKus：利用跨模态知识转移实现知识感知概念定制 MoKus: Leveraging Cross-Modal Knowledge Transfer for Knowledge-Aware Concept Customization

MoKus方法包含两个主要阶段，每个阶段都有明确的输入、输出和具体操作。第一阶段是视觉概念学习，输入是一组表示目标概念的图像X，输出是存储目标概念视觉信息的锚表示y。具体操作包括：首先，使用变分自编码器获得数据潜在z_0；然后，从标准正态分布采样噪声潜在z_1，并从logit正态分布采样扩散时间步t；接着，基于Rectified Flow计算时间步t的视觉潜在变量z_t = t乘以z_0 + (1-t)乘以z_1；之后，将稀有tokenP（如 dog）作为文本输入，使用LLM编码器生成文本潜在h；最后，将分块的z_t作为视觉输入，将h作为文本指导输入到MMDiT，通过最小化预测速度场与真实速度场之间的均方误差来优化LoRA参数。第二阶段是文本知识更新，输入是一组目标概念的知识K，输出是更新后的LLM编码器参数。具体操作包括：首先，将每个知识k_i转换为对应的问题q_i，然后将每个问题q_i与共享的锚表示y配对，创建知识更新的样本集；接着，将q_i输入到LLM编码器，获得对应的隐藏状态h_i和梯度，其中是可更新层的参数；然后，通过v_i = -eta乘以||h_i||的平方乘以y_i计算每个q_i的更新方向，其中eta是缩放因子；最后，通过求解正则化最小二乘问题获得参数偏移Delta theta_t，并将其直接添加到可更新层的预训练参数theta_t上，获得更新后的参数theta_t_hat = theta_t + Delta theta_t。

MoKus的技术新颖性体现在多个方面。首先，跨模态知识转移现象的发现是新颖的，虽然并发工作探索了类似的角度，但都没有找到显著的证据证明文本模态的修改能够转移到视觉模态。其次，两阶段的设计是新颖的，与需要为每条知识重新训练的稀有token方法不同，MoKus只需要一次视觉概念学习，然后可以在几秒钟内完成每条知识的更新，大大提高了效率。第三，锚表示的概念是新颖的，它作为目标概念和相关知识之间的中介，既存储视觉信息又允许自然语言表达，这种设计在保持视觉保真度的同时提高了语义泛化能力。第四，KnowCusBench是第一个专门为知识感知概念定制设计的基准数据集，填补了该领域系统评估的空白。最后，MoKus的应用扩展性是新颖的，除了概念定制，还可以应用于虚拟概念创建、概念擦除和世界知识基准改进等其他知识感知应用。

MoKus方法存在几个潜在的弱点，可以给出具体的改进方向。首先，KnowCusBench中的概念数量有限（35个），可能无法覆盖所有类型的对象和场景，这限制了方法在更广泛领域的泛化能力。改进方向是扩展基准数据集，包含更多样化的概念类型，特别是在长尾分布中的稀有概念。其次，方法依赖于LLM文本编码器，知识更新效果直接影响生成质量，但现有的知识编辑技术可能无法处理复杂或冲突的知识更新。改进方向是探索更鲁棒的知识编辑方法，或者设计专门针对多模态生成的知识编辑技术。第三，虽然训练时间显著减少，但视觉概念学习阶段仍需要训练，这可能限制了方法的即时应用能力。改进方向是探索零样本或少样本的视觉概念学习方法，或者利用现有的视觉语言模型（如CLIP）的预训练知识来加速学习过程。第四，跨模态知识转移的稳定性可能受到多种因素影响，如提示的复杂性、概念的视觉特征等。改进方向是深入研究跨模态知识转移的影响因素，设计更稳定的知识更新策略，或者在知识更新过程中加入视觉反馈机制。最后，方法目前主要在英文文本上评估，在其他语言上的效果可能需要进一步验证。改进方向是评估方法在多语言环境下的性能，或者设计语言无关的知识表示和更新方法。

未来研究方向可以从作者提出的建议和基于本文成果可延伸的方向两个方面展开。作者提出的未来工作方向包括：第一，将知识感知概念定制扩展到视频领域。这是一个自然的延伸，视频生成比图像生成更复杂，需要考虑时序一致性和动态知识绑定。可以探索如何将MoKus的两阶段框架扩展到视频生成，或者设计专门的视频知识表示方法。第二，开发更准确和全面的评估指标。现有的CLIP-I、CLIP-T和Pick Score等指标可能无法完全捕捉知识感知概念定制的所有方面，特别是知识准确性和语义一致性。可以设计专门针对知识感知的评估指标，或者结合人类评估和自动化指标。第三，探索端到端的知识感知概念定制方法。MoKus采用两阶段方法，未来可以探索联合优化视觉概念学习和文本知识更新的端到端方法，可能获得更好的性能。基于本文成果可延伸的未来研究方向包括：第一，探索更复杂的知识绑定场景，如多概念交互、知识冲突解决等。MoKus目前主要处理单概念多条知识的场景，可以扩展到多概念多条知识的更复杂场景。第二，将MoKus应用于其他生成任务，如图像编辑、3D生成、风格迁移等。跨模态知识转移的观察可能在这些任务中也有价值。第三，研究知识感知概念定制的可解释性和可控性。用户可能希望了解模型如何将知识与概念绑定，以及如何控制绑定过程。可以设计可视化工具和交互界面，提高方法的可解释性和用户控制能力。第四，探索知识感知概念定制的实际应用场景，如个性化内容创作、教育辅助、创意设计等。可以与具体应用场景结合，设计针对性的解决方案。第五，研究知识感知概念定制的社会影响和伦理问题。如知识更新的隐私问题、生成内容的真实性问题等，需要制定相应的规范和指南。

论文提供了详细的方法描述和实验设置，但未提供代码链接，这限制了复现的便利性。数据集KnowCusBench的构建过程有详细描述，包括概念图像来源（DreamBench、CustomConcept101、Unsplash）、知识生成方法（使用Gemini 3 Pro和GPT-5生成，然后人工审查和修订）和生成提示的创建过程（四个角度，手动审查和精炼），最终得到35个概念、175条知识、199个生成提示和5975张图像。然而，论文未提供数据集的下载链接，这可能限制了其他研究者的使用。实验使用Qwen-Image模型在8块H800-80G GPU上进行，这表明实现需要相当大的计算资源。视觉概念学习阶段设置学习率为2x10的负4次方，使用AdamW优化器；文本知识更新使用UltraEdit方法，只修改LLM编码器第18到26层的MLP层中的Gate Projection和Up Projection矩阵，共16个参数矩阵，缩放因子eta设置为10的负6次方，批大小为1。这些详细的超参数设置有助于复现。总体而言，复现难度中等偏高，主要原因包括缺乏代码和数据集的公开链接、需要大量计算资源、以及涉及复杂的多模态模型和知识编辑技术。未来可以通过公开代码、提供数据集下载链接、提供预训练模型、提供更详细的实现说明等方式提高复现性。