← 返回 2026-04-13

基于符号学的生成艺术解释性评估 On Semiotic-Grounded Interpretive Evaluation of Generative Art

Ruixiang Jiang, Changwen Chen 📅 2026-04-09 👍 4 2026-07-13 08:36
基准构建 多模态大模型 意义理解 生成艺术评估 计算符号学

用皮尔士三元符号学重构人与生成艺术的意义流转,提出 SemJudge 和 HSG 图,让评估器真正看懂象征与暗示。

前置知识

Peircean 三元符号学 (Triadic Semiosis)

哲学家 Peirce 提出意义生成是 sign (可感形式)、object (所指对象) 与 interpretant (解释者构造出的意义) 三者的三元关系。本文将 sign 进一步分解为 sign、object、interpretant、ground 四个要素,并用 iconic (基于相似)、indexical (基于因果或语境关联)、symbolic (基于规约) 三类 ground 来刻画一个符号如何指向对象。一个艺术符号常常同时混合三种 ground。

本文的方法核心是用这套形式化体系来重新审视 GenArt 评估为什么失效——传统指标只看 iconic 层 (外貌相似度),忽略了象征与暗示。

Human-GenArt Interaction (HGI) 级联符号过程

作者把一次典型的文本生成艺术交互建模为 cascaded semiosis:创作者把意图 $o^{(1)}$ 编码进 prompt $s^{(1)}$,模型 $\eta_1$ 将 prompt 解读为内部表征 $i^{(1)}$,再物化(reify)为图像 $s^{(2)}$,最后由观众 $\eta_2$ 解释图像。这个 2 轮链条甚至可以延伸为多轮迭代。Semiosis 质量被定义为起点与终点动态对象之间的距离 $Q_{\mathcal{C}(N)} := -\Delta_o(o^{(1)}, o^{(N)})$,且只能通过解释者重构的立即对象 (immediate object) 来近似估计。

论文把整个 prompt-to-image 交互抽象成可计算的形式框架,并由此推导出传统指标为何会在象征性作品中失效——这是方法创新的理论根基。

Hierarchical Semiosis Graph (HSG)

HSG 是一个受 scene graph 启发的图结构,每个节点 $\xi = (o, s, i)$ 是一个原子符号过程,节点之间通过 supports / elaborates / contrasts 等边连接。根节点做全局语义分析,子节点刻画局部 sub-signs (可定位的元素绑到 bbox,不可定位的风格归为 non-localizable 节点),所有节点都用自然语言描述。HSG$(s(1))$ 与 HSG$(s(2))$ 之间的箭头就构成了一条 2 轮 cascaded semiosis 的可审计、可解释的物证链。

HSG 是 SemJudge 用来代替「直接打分」的核心表征,它让模型必须显式声明它看出了什么符号意义、对应到画面哪个区域,从而把评估从黑盒分数转为可质询的解释。

Iconicity 偏好 (Iconicity Bias)

作者为每个 2AFC 实例让 6 位专家按 7 点量表给出 iconicity、indexicality、symbolism 三类 ground 的强度,再汇总成 net iconicity score $\tilde{NI}_k$。当评估器只在高度 iconic (图像与所指对象强相似) 的样本上与人类一致,就定义为存在 iconicity bias,可通过 one-sided permutation test 验证 $H_1: \Delta > 0$,并报告 Cohen's d 效应量。

这是论文的核心实证工具,它把「传统指标偏向表面相似度」这一直觉变成了可证伪、能量化的统计命题。

2AFC 配对比较与 Elo 评分

SemiosisArt 采用 2-Alternative Forced Choice:在同一 prompt 下比较两幅生成图,由专家与 38155 次众包标注产生偏好;再利用所有有效配对比较累计得到每个生成模型的 Elo 评分序列,从而把单个 2AFC 的一致性 (Kendall/Spearman) 推广到全局的模型排名一致性 (SRCC on Elo ranks) 与连续分数一致性 (Lin's CCC)。

该评估协议比 Mean Opinion Score (Likert) 更稳定,避免单点绝对打分的尺度漂移,是 SemiosisArt 1870 个比较任务的统计底盘。

研究动机

当前生成艺术 (Generative Art, GenArt) 评估器主要分成两大家族:context-conditioned (CLIPScore、PickScore 等基于 prompt-image ground 距离) 与 context-free (FID、ArtFID、Aesthetic Predictor 等基于 ground prior 的全局质量)。这些方法都被「iconic mode」也就是「图像与所指对象在像素或表征上相似」这一假设主导。论文以 Picasso 的《Guernica》为例:当用户用「in the spirit of Guernica」这样间接、艺术方向的提示时,作品的精神冲击力来自色调、碎片化与扭曲人物的象征意义,而非与现实场景的相似度,传统指标却会因图像不「像」战场而给出低分。同理,当用户表达一个象征意图而被模型字面解读,或评估器自己带有 iconic 偏好时,GenArt 输出与用户预期会出现系统性偏离,已被多项研究 (Epstein 等 2023、Kirstain 等 2023、Van Hees 等 2025) 证伪。现有基准 (AGIQA-3k、GenAI-Bench) 又严重偏向 iconic prompt 与 surface quality 测试,无法覆盖 symbolic 与 indexical 形式;而艺术史数据集 (SemArt、VQArt-Bench) 里的画作早已被 MLLM 预训练语料记忆,难以分辨「真理解」与「回忆」。

本文的目标是本文的目标是建立一个以 cascaded semiosis 为理论基底、以 prompt-to-image 交互 (HGI) 为评估对象、以意义 (而非像素相似度) 为质量度量的人类对齐 GenArt 评估器。具体目标包含三件事:(1) 形式化 Peircean 计算符号学框架,并用 Proposition 1 (iconicity mismatch degrades semiosis quality) 解释传统指标的系统性失效;(2) 设计 SemJudge 评估器,借助 Hierarchical Semiosis Graph (HSG) 显式重构 prompt 与图像两侧的符号三元组,并在 object space (而非 ground space) 内比较两件作品;(3) 发布 SemiosisArt 基准,覆盖 187 个跨基督教、伊斯兰教、印度教、东亚文化与现代艺术传统的 canonical motif,生成 935 张图、1870 个 2AFC、600 个 VQA,并以专家与 38155 次众包标注锁定 ground truth。

与已有工作不同的是,已有 GenArt 评估沿两条路径:一是把 GenArt 简化为 text-to-image alignment regression,把提示误读为「完整配方」而非「艺术方向」;二是用对历史名画的检索/微调去理解「已经饱和在预训练语料中」的画作,难以迁移到 GenArt 的 open-ended symbolic 场景。本文首次把 Peircean triadic semiosis 与 cascaded semiosis 引入 GenArt 评估,把「意义生成」拆成 prompt 编码 → 模型解释 → 视觉物化 → 观众解码的多轮链,然后用 HSG 这种场景图风格的自然语言结构把每一轮都变成可审计、可引用的节点,从而既保留了 MLLM 的零样本推理能力,又强制其显式声明符号意图与物证 (text span 与 bbox),填补了「意义级评估 + 人类对齐 + 文化跨度」三者同时满足的方法真空。

核心方法

SemJudge 的直觉可以用一句话概括:与其让模型「给生成图打一个总分」,不如让它先把 prompt 与候选图像都翻译成一张显式的「意义地图」(HSG),再在意义地图之间比对哪一幅更忠实于创作者的意图。技术上,方法分三阶段:阶段 1 用 MLLM 解析 prompt 的全局与子级原子符号过程,得到 HSG$(s^{(1)})$;阶段 2 让同一个 MLLM 同时解析两幅候选图像,得到各自的 HSG$(s_a^{(2)})$ 与 HSG$(s_b^{(2)})$,并把可定位的 sub-sign 用 bounding box 锚定;阶段 3 把两张 HSG 与 prompt 的 HSG 一起交给 MLLM,让它回到 object space,基于重新构造的级联链 $\mathcal{C}_a^{(2)}, \mathcal{C}_b^{(2)}$ 给出 winner 与节点级证据 grounding $\mathcal{L}=\{(v, \ell_v)\}$。整个流程零样本、可审计、可视化。

与已有「text-image alignment regression」(CLIPScore、PickScore、VIEScore) 或「scene graph parsing」(DSG、ArtCoT) 的本质区别在于:SemJudge 不在 ground/feature space 比 ground 距离,而是显式 reconstructing the dynamic object——也就是读者最终解码出的「意义究竟是什么」。它用 HSG 把每个原子符号过程 $(o, s, i, \text{ground})$ 显式落地为自然语言节点,把 iconic / indexical / symbolic 三类 ground 全部纳入考量,再用 cascaded semiosis $\mathcal{C}^{(2)} \approx [\text{HSG}(s^{(1)}) \to \text{HSG}(s^{(2)})]$ 形式化地把 prompt 意图与图像物证对接。Proposition 1 进一步证明:只要 intended iconicity 与 interpreted iconicity 错位,semiosis 质量必然下降,因此一个真正的人类对齐评估器必须走出 iconic 单一模态。

方法步骤详情

整个 SemJudge 算法 (Algorithm C.1) 把任务分成三阶段:(1) 阶段 1 重构 prompt 语义空间——给 MLLM 系统指令 $p_\text{in}$ 要求它从 Peircean 视角分析 prompt,输出含 hsg_root 与 3–5 个 children 节点的 JSON 形式 HSG$(s^{(1)})$,初始化上下文 $H \leftarrow [(p_\text{in}, s^{(1)}), r_1]$;(2) 阶段 2 重构 artifact 语义空间——使用 $p_\text{out}$ 让 MLLM 并行分析两幅候选图,对每个图都给出 root semiosis (sign / object / interpretant / expected grounds) 与可定位子节点的 bbox (格式 [x_min, y_min, x_max, y_max]),不可定位子节点 (整体风格、抽象构图) 单独标注 non-localizable;(3) 阶段 3 证据 grounding 与裁决——把 prompt HSG 与两幅图 HSG 一起喂给 MLLM,要求它输出 discussion 字段逐节点比对 evidence,并给出 winner $\hat{y} \in \{a, b\}$ 与对每个 node $v \in \tilde{\mathcal{V}}$ 的可读解释 $\ell_v$,最终返回 $(\mathcal{C}_a^{(2)}, \mathcal{C}_b^{(2)}, \mathcal{L}, \hat{y})$。HSG 在 prompt 阶段使用 Standard HSG (节点 ≤ 3,描述更精简);在 artifact 阶段可启用 Complex HSG (节点 ≤ 5,描述更详尽) 以增强表达力。所有 MLLM 调用都是 zero-shot,不需要 fine-tune,bbox 坐标也由 MLLM 直接生成以保证开放词汇。

技术新颖性

技术新颖性体现在四个维度:(a) 形式层面,把 Peircean 三元符号学首次计算化为 cascaded semiosis 与 HSG,并将 semiosis quality 形式化为对象空间距离 $Q_{\mathcal{C}(N)}$,给出传统 ground-space 指标为何不可靠的可证伪命题 (Proposition 1: ikey mismatch degrades semiosis quality);(b) 表示层面,HSG 是首个把 scene graph 节点升级为「原子符号过程」并允许 non-localizable 节点的、面向意义而非实体的层次化图结构;(c) 系统层面,3-stage pipeline 让 prompt 编码与图像物化在同一架构内被联立解释,而不是把两者硬性塌缩到共享 embedding;(d) 评测层面,iconicity-bias permutation test 是首个把「评估器结构性偏见」变成可量化效应量 (Cohen's d) 的诊断工具。已有方法如 ArtCoT 把符号解释视为需抑制的幻觉、VIEScore / DSG 关注 scene graph 但不分 ground 类型、CLIP 系指标停留在 ground space——SemJudge 是第一个同时跨越所有三个差距的工作。

HSG of generated artifact
Figure 2: HSG of generated artifact
SemiosisArt Construction
Figure 3: SemiosisArt Construction
HSG Visualization for User Sign
Figure 10: HSG Visualization for User Sign
2AFC User Annotation Interface
Figure 12: 2AFC User Annotation Interface

实验结果

在 SemiosisArt 上的核心发现可总结为三点。第一,传统 scoring models 与人类判断几乎无相关:CLIPScore KRCC=0.041、PickScore KRCC=0.202、ImageReward KRCC=-0.002、Aesthetic Predictor KRCC=0.030,全部远低于「随机猜测」可参考的水平;并且在 iconicity-bias 测试 (Table 2) 中,ImageReward Δ=0.086 (Cohen's d=0.306, p<0.01)、PickScore Δ=0.126 (d=0.595, p<0.01) 都显著大于 0,确认传统指标确实偏向 iconic 图像。第二,structured rationale 评估器虽然好一点但仍有限:DSG KRCC=0.153、VIEScore KRCC=0.241、LMM4LMM KRCC=0.274、ArtCoT KRCC=0.294,它们同样存在 Δ>0 的 iconicity 偏好 (DSG Δ=0.087 p<0.05,ArtCoT Δ=0.182 d=0.848 p<0.01)。第三,SemJudge 在所有 backbone 下都显著领先:Qwen-9B 取得 KRCC=0.533、SRCC=0.856、CCC=0.808、VQA Acc=86.1%;Qwen-35B-A3B 升至 KRCC=0.674、SRCC=0.880、CCC=0.878、VQA Acc=91.0%;Gemini-Flash 进一步达 KRCC=0.746、SRCC=0.964、CCC=0.968、VQA Acc=92.4%,逼近 12 位专家人类参考 93.2% 的 VQA 准确率——并且其 iconicity-bias Δ=-0.010、d=-0.047,不显著大于 0,说明 SemJudge 的对齐不依赖于 iconic 子集。在 70 人 / 4943 份问卷的人类主观评估 (Figure 4) 上,SemJudge 在 Causal Factors (3.29)、Depth (3.74)、Edification (3.61)、Evidence Grounding (3.53) 四个维度全部显著优于 DSG、ArtCoT、ArtiMuse 与 GalleryGPT。消融 (Table 3) 表明:(A) 同一 judge 加入 Standard HSG 后 KRCC 从 0.48 升到 0.55,但「更复杂的 HSG」并不总是更好;(B) 即便是 Qwen-2B 这种弱 judge,叠加 Gemini-Flash 生成的 Complex HSG 后 KRCC 从 -0.04 跃升至 0.27,VQA Acc 从 24.1% 提升到 42.2%;(C) HSG 强到一定程度后,judge 还能继续放大约 5–10 个百分点,证明瓶颈在 HSG 重建而不仅是 final judge 容量。Bounding box 用户研究上,Gemini-Flash 的满意率 74.7%、Qwen-35B-A3B 56.0%、Qwen-9B 57.8%,与相关性表现一致。

Correlation analysis of all compared evaluation metrics
Table 1: Correlation analysis of all compared evaluation metrics
Iconicity-bias hypothesis test across evaluators
Table 2: Iconicity-bias hypothesis test across evaluators
Controlled ablation of SemJudge
Table 3: Controlled ablation of SemJudge
Glossary of Notations
Table 4: Glossary of Notations
Random sample of 15 prompts from the SemiosisArt
Table 5: Random sample of 15 prompts from the SemiosisArt
Subjective Interpretation Quality Experiment on Four Dimensions
Figure 4: Subjective Interpretation Quality Experiment on Four Dimensions
Net Iconicity Distribution of SemiosisArt
Figure 5: Net Iconicity Distribution of SemiosisArt
2AFC tasks with net iconicity annotation
Figure 11: 2AFC tasks with net iconicity annotation
查看结构化数据
任务指标本文基线提升
SemiosisArt 2AFC instance concordance Kendall's Tau-b (KRCC) SemJudge Gemini-Flash = 0.746; Qwen-35B-A3B = 0.674; Qwen-9B = 0.533 Random guess = -0.023; PickScore = 0.202; LMM4LMM = 0.274; ArtCoT = 0.294 相对最强 baseline ArtCoT 提升 +0.252 (Gemini-Flash) 至 +0.452
SemiosisArt 2AFC discrete rank correlation Spearman's rho on Elo ranks (SRCC) SemJudge Gemini-Flash = 0.964; Qwen-35B-A3B = 0.880; Qwen-9B = 0.856 PickScore = 0.605; DSG = 0.678; VIEScore = 0.641; LMM4LMM = 0.651 相对最强 baseline DSG 提升 +0.178 (Qwen-9B) 至 +0.286 (Gemini-Flash)
SemiosisArt 2AFC continuous Elo correlation Lin's Concordance Correlation Coefficient (CCC) SemJudge Gemini-Flash = 0.968; Qwen-35B-A3B = 0.878; Qwen-9B = 0.808 PickScore = 0.310; LMM4LMM = 0.547; ArtCoT = 0.609 相对 ArtCoT 提升 +0.199 至 +0.359
SemiosisArt VQA interpretation Multiple-choice Accuracy (%) SemJudge Gemini-Flash = 92.4; Qwen-35B-A3B = 91.0; Qwen-9B = 86.1 Human expert = 93.2; Human non-expert = 81.5; ArtCoT = 80.4; ArtiMuse = 67.7; GalleryGPT = 26.1 相对 ArtCoT 提升 +5.7 (Qwen-9B) 至 +12.0 (Gemini-Flash),并接近人类专家
Iconicity-bias hypothesis test Delta (net iconicity gap) & Cohen's d SemJudge Delta = -0.010, d = -0.047 (not significant) PickScore Delta = 0.126, d = 0.595 (p<0.01); ImageReward Delta = 0.086, d = 0.306 (p<0.01); ArtCoT Delta = 0.182, d = 0.848 (p<0.01) SemJudge 是唯一没有显著 iconic 偏好、与人类在非 iconic 区间同样对齐的评估器
Subjective interpretation quality (Human user study, n=70) 5-point Likert across 4 dimensions Causal=3.29, Depth=3.74, Edification=3.61, Evidence=3.53 ArtCoT Depth=3.09 Edification=3.13 Evidence=3.07; ArtiMuse Depth=3.14; DSG Causal=2.92; GalleryGPT Causal=2.35 在所有 4 个维度上 SemJudge 均显著高于 next-best baseline(用户研究显著性 p<0.05)
Ablation: weak judge + strong Complex HSG (HSG from Gemini-Flash) KRCC + VQA Acc Qwen-2B + Complex HSG: KRCC = 0.27, VQA = 42.2; Qwen-4B + Complex HSG: KRCC = 0.52, VQA = 86.8 Qwen-2B no HSG: KRCC = -0.04, VQA = 24.1; Qwen-4B no HSG: KRCC = 0.28, VQA = 56.8 通过迁移 Gemini-Flash 的 HSG,弱 judge 的 VQA Acc 提升 18.1–34.9 个百分点,KRCC 转负为正

局限与改进

作者在 Limitations 章节指出三点:(1) SemiosisArt 的 motif 锚定在基督教、东亚、印度教、伊斯兰教传统以及现代艺术样式 (vanitas、triptych、manga、outsider art 等),覆盖了较强的可共享文化共识但对文化少数派与高度概念性当代艺术 (conceptual art) 的覆盖仍不足,因为这些类别本身的解释共识较弱,难以形成 inter-subjective 标注;(2) MLLM 直接生成 bounding box 在开放词汇设置下并不强,论文附录 B.1 报告 Gemini-Flash 满意率仅 74.7%,Qwen 系列更低 (56–58%),建议未来集成 GroundingDINO 等专用 grounding module;(3) 评估主要依赖英文与少量翻译 prompt,对低资源语言下的间接艺术指示推广性需要进一步测试。我的额外观察:(a) SemiosisArt 共 187 个 motif、935 张图、1870 个 2AFC,规模偏小,作者坦承构建代价高 (12 位专家跨文化合作 + 38155 众包),且为节约 API 成本做了固定切片,未来 scaling 仍需观察相关性能否保持;(b) Method 用零样本 MLLM 替代 supervised fine-tune,可解释性强但要求 MLLM 本身具备较强的符号学先验,例如 Qwen-2B + HSG 后 VQA 仅 42.2%,提示该方法在 reasoning 能力较弱的开源 MLLM 上仍受限;(c) 评测指标 CCC、SRCC、KRCC 在 16 个模型上的离散度有限,文章自己也指出 SRCC on 16 ranks 容易因小扰动翻转,依赖 CCC 做连续比较是更稳健的选择。

独立分析的弱点

独立分析可归纳为四个可改进点:(1)「HSG 建构是否符号学正确」目前没有自动校验——节点标注的 ground 类型 (iconic / indexical / symbolic) 完全由 MLLM 自报,没有专门的 ground classifier 复核,导致 Complex HSG 不一定更准反而引入幻觉 (消融 A 显示 Complex HSG KRCC 反而比 Standard 略低)。改进方向:可设计 symbolic-ground verifier,让 MLLM 对每个节点的 ground 类型再交叉自评,或借鉴 self-consistency 多次采样投票;(2) 文化代表性偏差——论文坦白基督教与东亚条目偏多 (样本 Table 5 中 15 条 prompt 涵盖了基督教 Triptych、东亚文学、动漫、波斯苏菲、塞拉莱等),但非洲原住民、拉丁美洲、东南亚民俗等符号体系未被覆盖,HSG prompt 是英文写成的,翻译到「非欧洲中心」的符号语境可能丢失约定。改进方向:把 motif 库扩展到非西方传统,并邀请本土专家共建 HSG 黄金标准;(3) bbox 与符号意义的对齐粒度——抽象符号常常跨越多个区域或本体模糊 (例如「碎片化」「节奏感」),硬套 bbox 反而会误导用户研究满意率 (Gemini-Flash 74.7%,Qwen-35B-A3B 仅 56.0%)。改进方向:引入 GroundingDINO 等定位模型做 coarse-to-fine grounding,或允许 semantic mask 替代 bbox;(4) Single-round HGI 假设——论文 default 是 2 轮 cascaded semiosis,但实际艺术创作常是多轮对话、意图漂移 (创作者在看到第一版图后才修正 prompt)。改进方向:扩展 Equation 2 到 N 轮,让 SemJudge 累积 previous HSG 作为 history embedding,再做对齐判断。

未来方向

作者明确给出的未来方向是引入更强的 grounding 模块 (GroundingDINO 等) 来降低对 MLLM 坐标精度的依赖。基于成果可延伸的方向有三:(a) 把 SemJudge 从「评估器」扩展为「生成反馈信号」——HSG 中被识别为缺失或不匹配的 sub-sign 可反向指导 Text-to-Image 模型的 prompt embedding 或 reward shaping,从而在训练阶段就注入符号约束;(b) SemiosisArt 当前覆盖 16 个商业/开源生成模型,可扩展到 diffusion-based editing / video GenArt / 3D art,研究意义传达在不同模态下的一致性;(c) 把 Peircean semiosis 与其他理论 (如 Panofsky 图像学、Hongmann 视觉语法) 联合,让 HSG 节点同时挂上风格、构图、修辞三层标签,做更细的解释性评估或艺术史数据库构建;(d) 探索 SemiJudge 作为 reward model 在 DPO/RLHF 中的使用,由于它能产生节点级 evidence grounding,可解释的 RLHF 比传统偏好模型更适合艺术对齐。

复现评估

可复现性整体良好但有中等门槛:(1) 代码与项目页已开源 (https://github.com/songrise/SemJudge),但 MLLM 调用绝大多数依赖 API (Qwen-3.5-9B、Qwen-3.5-35B-A3B、Gemini-3.1-Flash-Lite),复现者需自备 API key 与相应额度;(2) 数据集 SemiosisArt 共 187 initiatives + 935 图像 + 1870 2AFC + 600 VQA,规模适中可直接分发,但 16 个生成模型 (GPT-Image-1.5、Nano-Banana-Pro、SeedDream-4.0、Kling-Image-O1 等) 大多是闭源商用,复现者只能用当时可用的等价模型重新生成 935 张图,难以 byte-exact 重现;微调类基线 (ArtiMuse、GalleryGPT) 论文未提供 checkpoint,复现略困难;(3) 计算量上,每个 2AFC 实例需要 3 次 MLLM 调用 (prompt HSG + 双图 HSG + judgment),1870 × 3 ≈ 5610 次调用,按 Gemini-Flash 单价估计在数百美元量级;(4) 人类评估部分涉及 70 名用户 × 70 题左右,需要重新招募评价者,附录 B.1 还给出了用户研究界面截图 (Figure 12、13) 便于复现;(5) 评估协议 (KRCC / SRCC / CCC / VQA Acc / iconicity-bias Δ) 在论文中公式完整 (Table 4 + Appendix B.2),可独立代码化。