PhotoGuider：构图感知的图像裁剪与 360° 取景及可解释摄影评估 PhotoGuider: Composition-Aware Cropping and 360^{circ} View Framing with Explainable Photographic Assessments

完整流程分八步。(1) 特征提取：SAM、DINOv3、InSPyReNet、CLIP、LAION、FGAesQ 六个模型为每个视角/裁剪框产出 60 维特征，归入 S/C/I/A 四组。(2) 方向选择：24 pan × 5 tilt 网格重投影，逐视角提取特征，令牌分组加性网络输出总分并取 argmax，得到最优观看方向。(3) 候选生成：在工作视角内由基础网格、主体与显著性锚点、多尺度细化及对角线/负空间/引导线/边界四种构图先验生成约 300 个框，按 DPP 打分 $q_{dpp}(c) = q_{LGBM}(c) + \lambda_{vs} s_{sal}(c)\cdot\max(0, 1 - \lambda_a \log\frac{asp(c)}{asp^*})$ 选出 10 个多样候选，前 3 名进入排序。(4) 排序：17D 核心集与 60D 全集两对「回归+排序」LightGBM，混合为 $q = 0.4q_A + 0.4q_B + 0.2q_C$ 后取 argmax。(5) 门控精修：recenter 把中心向三分点与 CLIP 注意力目标的加权混合移动 $\beta = 0.20$；四个扩展门（主体覆盖、CLIP 宽紧响应、美学增量、黄金点增量）在尺度集 {1.1, 1.3, 1.5, 2.0} 上评估，预测 IoU 增益超过阈值才触发；无扩展时收缩门按 SAM 嵌入与全图相似度决定是否收紧。(6) MLLM 顾问（full 模式）：Venus 共 10 次解码取坐标中位数作提案，与候选 IoU ≥ 0.5 时生成孪生候选，冻结排序器仅在显著分数差时切换，最终有界插值。(7) 把裁剪框经针孔模型转换为 pan/tilt/FOV/宽高比，从全景原生重渲染成片。(8) 解释生成：微调后的 Qwen2.5-VL-7B 接收图像、裁剪、令牌分数、几何测量与归因列表，输出引用测量的构图解释。

技术新颖性体现在四个层面。(1) 任务层面：据作者所知，这是首个把 360° 场景中基于构图的方向选择、精细取景、相机参数输出与测量条件化解释整合为一个系统的工作，此前的 360° 方法（相机路径、snap 角度、美学奖励导航）要么缺可解释性，要么把取景与位姿目标混在一起。(2) 决策层设计：与端到端神经网络回归裁剪框不同，排序与门控全部用 LightGBM（合计约 6.3 万参数），视角打分用带成对项的神经加性模型，特征贡献是结构性的；TreeSHAP 对占 0.88 权重的未校准头是精确分解，仅 0.12 权重的保形校准头用割线近似。(3) Δ 信号的使用：扩展门控不读静态美学分数，而读「扩大画框后分数如何变化」与「主体到黄金分割点距离的变化」，作者假设这种变化量特征有助于跨数据集迁移。(4) 训练数据构造：解释器采用类似拒绝采样的蒸馏——Qwen2.5-VL-7B 起草，经 Silence/Consistency/Evidence/Wording 四道过滤器对照物理测量清洗后才交给学生模型，把幻觉治理内建进数据管线。

独立分析的弱点与改进方向：(1) 离散步长精修——recenter 每次只向目标移动 $\beta = 0.20$、扩展/收缩各只有 4 个离散尺度，面对需要严格三分对齐或精确留白的构图可能过冲或欠冲；改进方向是作者提到的连续精修，或加一个轻量回归头直接预测连续的 $(\Delta x, \Delta y, \Delta\mathrm{scale})$。(2) 单一 argmax 方向——摄影实践中「一景多机位」是常态（日落与建筑立面可能同时成立），单帧输出浪费了全景信息；改进方向是 top-k 方向生成组照，或接受文本偏好输入（「拍特写」「拍大场面」）做条件化方向选择。(3) 特征级联脆弱性——显著性/分割模型在低光、雨雾全景上失败时 S/I/A 特征同时失真且无降级机制；改进方向是为每个特征估计置信度并在门控中降权。(4) 候选生成偏置——约 300 个候选全部锚定于主体与显著性，对无明确主体的氛围场景（空景、抽象纹理、纯光影）覆盖不足；改进方向是增加无锚定的构图先验候选或学习式候选生成。(5) 评测以单一 GT 框的 IoU 为准，会惩罚合理的异构构图；可引入多参照或多解性感知指标。

作者提出的方向：以连续精修取代离散步长、允许用户引导的视角选择。基于本文成果还可延伸：(1) 实时取景器辅助——决策层已在 CPU 上毫秒级运行，若把特征提取压缩到端侧算力，四令牌分数可成为相机/手机取景器里的实时构图提示（结合 IMU 建议「向左移 5° 构图更好」）；(2) 从单帧到轨迹——把方向打分器从 argmax 扩展为时间平滑的轨迹优化，服务 360° 视频导览与 VR 场景；(3) 接地评估协议——「规则检测器测矛盾率 + 蒸馏过滤器清洗训练数据」可推广为 MLLM 视觉声明接地性的通用评估与训练范式；(4) 摄影教学反馈——四令牌天然对应摄影课程的四个检查点，可输出「哪条构图规则被违反、如何改进」的结构化讲评；(5) 扩展到视频重取景与多帧组照推荐，用同一组 60 维特征保持跨帧一致的构图语言。

复现评估：开源情况较好——作者承诺以 Apache-2.0 发布照片与全景两条推理入口（--mode fast|full、--explain）、训练好的决策层、QLoRA 适配器（记录 SHA-256）、特征缓存与全景演示素材；train.py --verify 可确定性重训 13 个决策层模型并逐字节比对，reproduce.py 从缓存复现 Table 1 的四项结果（容差 5×10⁻⁴）。依赖较多：需自行获取 SAM、DINOv3、InSPyReNet、CLIP、LAION 美学头、FGAesQ 六个基础模型，full 模式还需 4-bit 量化的 Venus；训练解释器用 Qwen2.5-VL-7B + QLoRA（仅 40.4M 可训练参数、占总量 0.8%，序列长度 3072），单张消费级 GPU 即可完成。决策层训练数据很小（FCDB train 1395 张 + GAICD 1000 张），LightGBM 训练分钟级即可收敛。360° 用户研究若要复刻需重新招募 120 名参与者，但论文完整报告了 Friedman/Wilcoxon/bootstrap 统计量便于对照。综合判断：组件多、环境搭建繁琐，但有确定性脚本与缓存兜底，复现难度中低，普通单 GPU 工作站足够。