我们的模型建立在哪些模型之上？现代大语言模型的隐形依赖审计 Which Models Are Our Models Built On? Auditing Invisible Dependencies in Modern LLMs

ModSleuth的完整流程包括三个核心阶段和递归扩展。第一阶段：源收集。从目标发布开始，收集其官方公开工件，包括技术报告、模型和数据集卡、代码仓库、发布博客和链接的上游工件。为管理长上下文，收集的工件按主题相干批次组织，如与模型家族、训练阶段或数据集混合相关的所有资源。第二阶段：实体发现和解析。从每个源批次中识别依赖模型和数据集工件，记录它们在源中出现的提及以及支持证据片段。将提取的提及映射到身份格，如{family:Olmo 3, size:32B, stage:Think}。对于Hugging Face工件，确定性元数据检索验证规范URL，并在可用时递归遵循父级、子集和派生关系。第三阶段：依赖构建和协调。根据解析的身份格重新读取每个源批次，允许智能体使用格搜索工具将提及解析到证据支持的最具体节点并发出结构化操作。每个边记录上游和下游工件、自由形式的角色描述、粗略的依赖标签和支持源片段。合并描述相同关系的声明，聚合支持证据。递归扩展：将相同管道递归应用于发现的上游工件，每个新发现的模型或数据集都可以成为追踪目标，其官方工件被收集、解析、关联和协调到全局图中。用户可以选择广度优先搜索以获得最大覆盖、深度优先搜索以针对性调查特定链、或束搜索以在每个深度扩展前K个结构中心祖先。每步的输入是工件批次或身份格，输出是解析的实体或依赖边。具体操作包括元数据检索、身份格查找、证据锚定、冲突标记等。

ModSleuth的技术新颖性体现在多个层面。在问题形式化层面，这是首次明确提出递归LLM依赖追踪作为独立任务，区分直接依赖和间接依赖，并定义证据锚定的依赖图作为输出表示。在表示层面，身份格的概念用于建模工件身份的不确定性，这是处理异构、不一致文档中工件引用的关键创新。以操作为中心的依赖表示比固定类型标签更能捕获现代LLM流水线中多样化的、高度专业化的依赖关系。在算法层面，三阶段流水线设计将发现与规范化分离，防止过早解析引入错误；每个依赖声明必须锚定在源证据中并经过验证才能进入图，确保图的证据可审计性；递归扩展机制将分散的单跳证据转化为可审计的依赖图。在应用层面，ModSleuth首次在LLM生态系统中实现了大规模依赖审计，恢复了1060个验证的依赖关系和1654个前向可达关系，揭示了多跳许可证义务、训练-评估耦合、模型中介选择等审计模式。这些发现难以从任何单一来源获得，展示了递归依赖追踪的价值。与现有工作相比，ModSleuth不依赖参数谱系推断，而是从公开工件中重构声明的依赖，这能够捕获许多对模型参数没有或几乎没有痕迹的依赖，如过滤、OCR预处理、重写、评估判断和合成数据生成。

独立分析来看，ModSleuth存在几个弱点。首先，ModSleuth的评估指标依赖于验证依赖关系的数量，但没有明确报告假阳性率和假阴性率，这使得难以评估提取的准确性和完整性。具体场景是：ModSleuth可能错误地识别了不存在的依赖，或者遗漏了实际存在的依赖，而论文没有提供这些定量分析。改进方向是引入人工标注的小规模真值图，报告精确率、召回率和F1分数，或开发多验证器投票机制。其次，ModSleuth依赖Claude Code作为智能体框架和验证器，这引入了模型特定的偏差。具体场景是：Claude Code可能对某些类型的依赖描述或文档格式有偏好，导致依赖提取不均衡。改进方向是集成多个LLM家族（如GPT、Qwen、Gemini）作为提取器和验证器，比较结果的一致性。第三，ModSleuth只处理公开工件，无法访问私有或内部文档，这导致恢复的依赖图可能严重低估真实依赖。具体场景是：工业界发布的LLM可能使用大量内部工具和私有模型，这些依赖完全不可见。改进方向是开发半自动化工具，辅助开发者披露内部依赖，或基于模型行为推断未声明的依赖。第四，身份格虽然优雅，但在处理高度模糊的引用时可能仍然不足。具体场景是：当论文提到'32B模型'而不指定家族时，身份格可能无法正确解析。改进方向是引入更上下文感知的身份解析机制，利用周围文本和元数据。第五，递归扩展策略（BFS/DFS/束搜索）的选择影响图的覆盖范围，但论文没有系统比较这些策略的权衡。改进方向是进行消融实验，分析不同搜索策略在覆盖、效率和发现关键路径方面的表现。

作者提出的未来工作方向包括：评估在文档不太全面的生态系统中的覆盖，这可能涉及更多闭源或部分披露的模型；开发基于不同模型家族的独立验证管道以提供更强的提取质量评估；研究专家用户迭代引导通用智能体通过依赖追踪过程的人在环工作流。基于ModSleuth的成果可以延伸的研究方向包括：推断未报告的依赖，即从模型权重、行为信号或输出模式中推断未在公开文档中声明的依赖；扩展依赖语义，捕获更多类型的模型间影响，如架构借鉴、训练技巧采纳、超参数继承等；开发实时依赖监控工具，在新模型发布时自动追踪和更新依赖图；研究依赖图中的生态系统级模式，如中心性指标、模型家族的影响力传播、依赖链的长度分布等；开发许可证和条款合规性分析工具，自动追踪许可证义务在多跳依赖链中的传播；研究训练-评估耦合的检测和缓解方法，自动识别基准作为训练数据的转换使用；构建LLM生态系统知识图谱，将依赖图与其他关系（如作者、机构、引用、性能）整合，支持更复杂的查询和分析；开发依赖图的交互式可视化工具，支持审计者探索依赖链、识别风险路径、查询特定模式的依赖关系。

ModSleuth的开源情况良好，论文提供了代码和数据集。代码托管在https://github.com/cal-data-audit/modsleuth，依赖图和交互式演示在https://modsleuth.cal-data-audit.org。这表明核心算法和实现的细节是公开的。数据方面，ModSleuth使用的是公开工件，包括技术报告、模型卡、数据集卡、代码仓库等，这些都是可访问的。论文提到的四个目标模型（Olmo 3、Nemotron 3 Super、DR Tulu、SmolLM3）都是公开发布的，具有丰富的支持工件。算力方面，ModSleuth主要依赖Claude Code API，论文没有明确报告具体的算力消耗或成本。由于是使用商业API，复现可能需要相应的API访问权限和预算。难度方面，ModSleuth的三阶段流水线相对清晰，身份格和操作中心的依赖表示概念明确。主要的复现挑战可能在于：与Claude Code API的集成需要正确的配置和权限；身份解析逻辑需要正确处理Hugging Face等平台的元数据；验证管道需要独立实现或使用相同的Claude Sonnet 4.6模型；递归扩展策略需要正确实现以避免无限循环或重复处理。总体而言，ModSleuth的复现难度中等偏高，主要挑战在于API集成和复杂的身份解析逻辑，但开源的代码和数据集大大降低了复现门槛。