基于符号学的生成艺术解释性评估 On Semiotic-Grounded Interpretive Evaluation of Generative Art
用皮尔士三元符号学重构人与生成艺术的意义流转,提出 SemJudge 和 HSG 图,让评估器真正看懂象征与暗示。
前置知识
Peircean 三元符号学 (Triadic Semiosis)
哲学家 Peirce 提出意义生成是 sign (可感形式)、object (所指对象) 与 interpretant (解释者构造出的意义) 三者的三元关系。本文将 sign 进一步分解为 sign、object、interpretant、ground 四个要素,并用 iconic (基于相似)、indexical (基于因果或语境关联)、symbolic (基于规约) 三类 ground 来刻画一个符号如何指向对象。一个艺术符号常常同时混合三种 ground。
本文的方法核心是用这套形式化体系来重新审视 GenArt 评估为什么失效——传统指标只看 iconic 层 (外貌相似度),忽略了象征与暗示。
Human-GenArt Interaction (HGI) 级联符号过程
作者把一次典型的文本生成艺术交互建模为 cascaded semiosis:创作者把意图 $o^{(1)}$ 编码进 prompt $s^{(1)}$,模型 $\eta_1$ 将 prompt 解读为内部表征 $i^{(1)}$,再物化(reify)为图像 $s^{(2)}$,最后由观众 $\eta_2$ 解释图像。这个 2 轮链条甚至可以延伸为多轮迭代。Semiosis 质量被定义为起点与终点动态对象之间的距离 $Q_{\mathcal{C}(N)} := -\Delta_o(o^{(1)}, o^{(N)})$,且只能通过解释者重构的立即对象 (immediate object) 来近似估计。
论文把整个 prompt-to-image 交互抽象成可计算的形式框架,并由此推导出传统指标为何会在象征性作品中失效——这是方法创新的理论根基。
Hierarchical Semiosis Graph (HSG)
HSG 是一个受 scene graph 启发的图结构,每个节点 $\xi = (o, s, i)$ 是一个原子符号过程,节点之间通过 supports / elaborates / contrasts 等边连接。根节点做全局语义分析,子节点刻画局部 sub-signs (可定位的元素绑到 bbox,不可定位的风格归为 non-localizable 节点),所有节点都用自然语言描述。HSG$(s(1))$ 与 HSG$(s(2))$ 之间的箭头就构成了一条 2 轮 cascaded semiosis 的可审计、可解释的物证链。
HSG 是 SemJudge 用来代替「直接打分」的核心表征,它让模型必须显式声明它看出了什么符号意义、对应到画面哪个区域,从而把评估从黑盒分数转为可质询的解释。
Iconicity 偏好 (Iconicity Bias)
作者为每个 2AFC 实例让 6 位专家按 7 点量表给出 iconicity、indexicality、symbolism 三类 ground 的强度,再汇总成 net iconicity score $\tilde{NI}_k$。当评估器只在高度 iconic (图像与所指对象强相似) 的样本上与人类一致,就定义为存在 iconicity bias,可通过 one-sided permutation test 验证 $H_1: \Delta > 0$,并报告 Cohen's d 效应量。
这是论文的核心实证工具,它把「传统指标偏向表面相似度」这一直觉变成了可证伪、能量化的统计命题。
2AFC 配对比较与 Elo 评分
SemiosisArt 采用 2-Alternative Forced Choice:在同一 prompt 下比较两幅生成图,由专家与 38155 次众包标注产生偏好;再利用所有有效配对比较累计得到每个生成模型的 Elo 评分序列,从而把单个 2AFC 的一致性 (Kendall/Spearman) 推广到全局的模型排名一致性 (SRCC on Elo ranks) 与连续分数一致性 (Lin's CCC)。
该评估协议比 Mean Opinion Score (Likert) 更稳定,避免单点绝对打分的尺度漂移,是 SemiosisArt 1870 个比较任务的统计底盘。
研究动机
当前生成艺术 (Generative Art, GenArt) 评估器主要分成两大家族:context-conditioned (CLIPScore、PickScore 等基于 prompt-image ground 距离) 与 context-free (FID、ArtFID、Aesthetic Predictor 等基于 ground prior 的全局质量)。这些方法都被「iconic mode」也就是「图像与所指对象在像素或表征上相似」这一假设主导。论文以 Picasso 的《Guernica》为例:当用户用「in the spirit of Guernica」这样间接、艺术方向的提示时,作品的精神冲击力来自色调、碎片化与扭曲人物的象征意义,而非与现实场景的相似度,传统指标却会因图像不「像」战场而给出低分。同理,当用户表达一个象征意图而被模型字面解读,或评估器自己带有 iconic 偏好时,GenArt 输出与用户预期会出现系统性偏离,已被多项研究 (Epstein 等 2023、Kirstain 等 2023、Van Hees 等 2025) 证伪。现有基准 (AGIQA-3k、GenAI-Bench) 又严重偏向 iconic prompt 与 surface quality 测试,无法覆盖 symbolic 与 indexical 形式;而艺术史数据集 (SemArt、VQArt-Bench) 里的画作早已被 MLLM 预训练语料记忆,难以分辨「真理解」与「回忆」。
本文的目标是本文的目标是建立一个以 cascaded semiosis 为理论基底、以 prompt-to-image 交互 (HGI) 为评估对象、以意义 (而非像素相似度) 为质量度量的人类对齐 GenArt 评估器。具体目标包含三件事:(1) 形式化 Peircean 计算符号学框架,并用 Proposition 1 (iconicity mismatch degrades semiosis quality) 解释传统指标的系统性失效;(2) 设计 SemJudge 评估器,借助 Hierarchical Semiosis Graph (HSG) 显式重构 prompt 与图像两侧的符号三元组,并在 object space (而非 ground space) 内比较两件作品;(3) 发布 SemiosisArt 基准,覆盖 187 个跨基督教、伊斯兰教、印度教、东亚文化与现代艺术传统的 canonical motif,生成 935 张图、1870 个 2AFC、600 个 VQA,并以专家与 38155 次众包标注锁定 ground truth。
与已有工作不同的是,已有 GenArt 评估沿两条路径:一是把 GenArt 简化为 text-to-image alignment regression,把提示误读为「完整配方」而非「艺术方向」;二是用对历史名画的检索/微调去理解「已经饱和在预训练语料中」的画作,难以迁移到 GenArt 的 open-ended symbolic 场景。本文首次把 Peircean triadic semiosis 与 cascaded semiosis 引入 GenArt 评估,把「意义生成」拆成 prompt 编码 → 模型解释 → 视觉物化 → 观众解码的多轮链,然后用 HSG 这种场景图风格的自然语言结构把每一轮都变成可审计、可引用的节点,从而既保留了 MLLM 的零样本推理能力,又强制其显式声明符号意图与物证 (text span 与 bbox),填补了「意义级评估 + 人类对齐 + 文化跨度」三者同时满足的方法真空。
核心方法
SemJudge 的直觉可以用一句话概括:与其让模型「给生成图打一个总分」,不如让它先把 prompt 与候选图像都翻译成一张显式的「意义地图」(HSG),再在意义地图之间比对哪一幅更忠实于创作者的意图。技术上,方法分三阶段:阶段 1 用 MLLM 解析 prompt 的全局与子级原子符号过程,得到 HSG$(s^{(1)})$;阶段 2 让同一个 MLLM 同时解析两幅候选图像,得到各自的 HSG$(s_a^{(2)})$ 与 HSG$(s_b^{(2)})$,并把可定位的 sub-sign 用 bounding box 锚定;阶段 3 把两张 HSG 与 prompt 的 HSG 一起交给 MLLM,让它回到 object space,基于重新构造的级联链 $\mathcal{C}_a^{(2)}, \mathcal{C}_b^{(2)}$ 给出 winner 与节点级证据 grounding $\mathcal{L}=\{(v, \ell_v)\}$。整个流程零样本、可审计、可视化。
与已有「text-image alignment regression」(CLIPScore、PickScore、VIEScore) 或「scene graph parsing」(DSG、ArtCoT) 的本质区别在于:SemJudge 不在 ground/feature space 比 ground 距离,而是显式 reconstructing the dynamic object——也就是读者最终解码出的「意义究竟是什么」。它用 HSG 把每个原子符号过程 $(o, s, i, \text{ground})$ 显式落地为自然语言节点,把 iconic / indexical / symbolic 三类 ground 全部纳入考量,再用 cascaded semiosis $\mathcal{C}^{(2)} \approx [\text{HSG}(s^{(1)}) \to \text{HSG}(s^{(2)})]$ 形式化地把 prompt 意图与图像物证对接。Proposition 1 进一步证明:只要 intended iconicity 与 interpreted iconicity 错位,semiosis 质量必然下降,因此一个真正的人类对齐评估器必须走出 iconic 单一模态。
方法步骤详情
整个 SemJudge 算法 (Algorithm C.1) 把任务分成三阶段:(1) 阶段 1 重构 prompt 语义空间——给 MLLM 系统指令 $p_\text{in}$ 要求它从 Peircean 视角分析 prompt,输出含 hsg_root 与 3–5 个 children 节点的 JSON 形式 HSG$(s^{(1)})$,初始化上下文 $H \leftarrow [(p_\text{in}, s^{(1)}), r_1]$;(2) 阶段 2 重构 artifact 语义空间——使用 $p_\text{out}$ 让 MLLM 并行分析两幅候选图,对每个图都给出 root semiosis (sign / object / interpretant / expected grounds) 与可定位子节点的 bbox (格式 [x_min, y_min, x_max, y_max]),不可定位子节点 (整体风格、抽象构图) 单独标注 non-localizable;(3) 阶段 3 证据 grounding 与裁决——把 prompt HSG 与两幅图 HSG 一起喂给 MLLM,要求它输出 discussion 字段逐节点比对 evidence,并给出 winner $\hat{y} \in \{a, b\}$ 与对每个 node $v \in \tilde{\mathcal{V}}$ 的可读解释 $\ell_v$,最终返回 $(\mathcal{C}_a^{(2)}, \mathcal{C}_b^{(2)}, \mathcal{L}, \hat{y})$。HSG 在 prompt 阶段使用 Standard HSG (节点 ≤ 3,描述更精简);在 artifact 阶段可启用 Complex HSG (节点 ≤ 5,描述更详尽) 以增强表达力。所有 MLLM 调用都是 zero-shot,不需要 fine-tune,bbox 坐标也由 MLLM 直接生成以保证开放词汇。
技术新颖性
技术新颖性体现在四个维度:(a) 形式层面,把 Peircean 三元符号学首次计算化为 cascaded semiosis 与 HSG,并将 semiosis quality 形式化为对象空间距离 $Q_{\mathcal{C}(N)}$,给出传统 ground-space 指标为何不可靠的可证伪命题 (Proposition 1: ikey mismatch degrades semiosis quality);(b) 表示层面,HSG 是首个把 scene graph 节点升级为「原子符号过程」并允许 non-localizable 节点的、面向意义而非实体的层次化图结构;(c) 系统层面,3-stage pipeline 让 prompt 编码与图像物化在同一架构内被联立解释,而不是把两者硬性塌缩到共享 embedding;(d) 评测层面,iconicity-bias permutation test 是首个把「评估器结构性偏见」变成可量化效应量 (Cohen's d) 的诊断工具。已有方法如 ArtCoT 把符号解释视为需抑制的幻觉、VIEScore / DSG 关注 scene graph 但不分 ground 类型、CLIP 系指标停留在 ground space——SemJudge 是第一个同时跨越所有三个差距的工作。
实验结果
在 SemiosisArt 上的核心发现可总结为三点。第一,传统 scoring models 与人类判断几乎无相关:CLIPScore KRCC=0.041、PickScore KRCC=0.202、ImageReward KRCC=-0.002、Aesthetic Predictor KRCC=0.030,全部远低于「随机猜测」可参考的水平;并且在 iconicity-bias 测试 (Table 2) 中,ImageReward Δ=0.086 (Cohen's d=0.306, p<0.01)、PickScore Δ=0.126 (d=0.595, p<0.01) 都显著大于 0,确认传统指标确实偏向 iconic 图像。第二,structured rationale 评估器虽然好一点但仍有限:DSG KRCC=0.153、VIEScore KRCC=0.241、LMM4LMM KRCC=0.274、ArtCoT KRCC=0.294,它们同样存在 Δ>0 的 iconicity 偏好 (DSG Δ=0.087 p<0.05,ArtCoT Δ=0.182 d=0.848 p<0.01)。第三,SemJudge 在所有 backbone 下都显著领先:Qwen-9B 取得 KRCC=0.533、SRCC=0.856、CCC=0.808、VQA Acc=86.1%;Qwen-35B-A3B 升至 KRCC=0.674、SRCC=0.880、CCC=0.878、VQA Acc=91.0%;Gemini-Flash 进一步达 KRCC=0.746、SRCC=0.964、CCC=0.968、VQA Acc=92.4%,逼近 12 位专家人类参考 93.2% 的 VQA 准确率——并且其 iconicity-bias Δ=-0.010、d=-0.047,不显著大于 0,说明 SemJudge 的对齐不依赖于 iconic 子集。在 70 人 / 4943 份问卷的人类主观评估 (Figure 4) 上,SemJudge 在 Causal Factors (3.29)、Depth (3.74)、Edification (3.61)、Evidence Grounding (3.53) 四个维度全部显著优于 DSG、ArtCoT、ArtiMuse 与 GalleryGPT。消融 (Table 3) 表明:(A) 同一 judge 加入 Standard HSG 后 KRCC 从 0.48 升到 0.55,但「更复杂的 HSG」并不总是更好;(B) 即便是 Qwen-2B 这种弱 judge,叠加 Gemini-Flash 生成的 Complex HSG 后 KRCC 从 -0.04 跃升至 0.27,VQA Acc 从 24.1% 提升到 42.2%;(C) HSG 强到一定程度后,judge 还能继续放大约 5–10 个百分点,证明瓶颈在 HSG 重建而不仅是 final judge 容量。Bounding box 用户研究上,Gemini-Flash 的满意率 74.7%、Qwen-35B-A3B 56.0%、Qwen-9B 57.8%,与相关性表现一致。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SemiosisArt 2AFC instance concordance | Kendall's Tau-b (KRCC) | SemJudge Gemini-Flash = 0.746; Qwen-35B-A3B = 0.674; Qwen-9B = 0.533 | Random guess = -0.023; PickScore = 0.202; LMM4LMM = 0.274; ArtCoT = 0.294 | 相对最强 baseline ArtCoT 提升 +0.252 (Gemini-Flash) 至 +0.452 |
| SemiosisArt 2AFC discrete rank correlation | Spearman's rho on Elo ranks (SRCC) | SemJudge Gemini-Flash = 0.964; Qwen-35B-A3B = 0.880; Qwen-9B = 0.856 | PickScore = 0.605; DSG = 0.678; VIEScore = 0.641; LMM4LMM = 0.651 | 相对最强 baseline DSG 提升 +0.178 (Qwen-9B) 至 +0.286 (Gemini-Flash) |
| SemiosisArt 2AFC continuous Elo correlation | Lin's Concordance Correlation Coefficient (CCC) | SemJudge Gemini-Flash = 0.968; Qwen-35B-A3B = 0.878; Qwen-9B = 0.808 | PickScore = 0.310; LMM4LMM = 0.547; ArtCoT = 0.609 | 相对 ArtCoT 提升 +0.199 至 +0.359 |
| SemiosisArt VQA interpretation | Multiple-choice Accuracy (%) | SemJudge Gemini-Flash = 92.4; Qwen-35B-A3B = 91.0; Qwen-9B = 86.1 | Human expert = 93.2; Human non-expert = 81.5; ArtCoT = 80.4; ArtiMuse = 67.7; GalleryGPT = 26.1 | 相对 ArtCoT 提升 +5.7 (Qwen-9B) 至 +12.0 (Gemini-Flash),并接近人类专家 |
| Iconicity-bias hypothesis test | Delta (net iconicity gap) & Cohen's d | SemJudge Delta = -0.010, d = -0.047 (not significant) | PickScore Delta = 0.126, d = 0.595 (p<0.01); ImageReward Delta = 0.086, d = 0.306 (p<0.01); ArtCoT Delta = 0.182, d = 0.848 (p<0.01) | SemJudge 是唯一没有显著 iconic 偏好、与人类在非 iconic 区间同样对齐的评估器 |
| Subjective interpretation quality (Human user study, n=70) | 5-point Likert across 4 dimensions | Causal=3.29, Depth=3.74, Edification=3.61, Evidence=3.53 | ArtCoT Depth=3.09 Edification=3.13 Evidence=3.07; ArtiMuse Depth=3.14; DSG Causal=2.92; GalleryGPT Causal=2.35 | 在所有 4 个维度上 SemJudge 均显著高于 next-best baseline(用户研究显著性 p<0.05) |
| Ablation: weak judge + strong Complex HSG (HSG from Gemini-Flash) | KRCC + VQA Acc | Qwen-2B + Complex HSG: KRCC = 0.27, VQA = 42.2; Qwen-4B + Complex HSG: KRCC = 0.52, VQA = 86.8 | Qwen-2B no HSG: KRCC = -0.04, VQA = 24.1; Qwen-4B no HSG: KRCC = 0.28, VQA = 56.8 | 通过迁移 Gemini-Flash 的 HSG,弱 judge 的 VQA Acc 提升 18.1–34.9 个百分点,KRCC 转负为正 |
局限与改进
作者在 Limitations 章节指出三点:(1) SemiosisArt 的 motif 锚定在基督教、东亚、印度教、伊斯兰教传统以及现代艺术样式 (vanitas、triptych、manga、outsider art 等),覆盖了较强的可共享文化共识但对文化少数派与高度概念性当代艺术 (conceptual art) 的覆盖仍不足,因为这些类别本身的解释共识较弱,难以形成 inter-subjective 标注;(2) MLLM 直接生成 bounding box 在开放词汇设置下并不强,论文附录 B.1 报告 Gemini-Flash 满意率仅 74.7%,Qwen 系列更低 (56–58%),建议未来集成 GroundingDINO 等专用 grounding module;(3) 评估主要依赖英文与少量翻译 prompt,对低资源语言下的间接艺术指示推广性需要进一步测试。我的额外观察:(a) SemiosisArt 共 187 个 motif、935 张图、1870 个 2AFC,规模偏小,作者坦承构建代价高 (12 位专家跨文化合作 + 38155 众包),且为节约 API 成本做了固定切片,未来 scaling 仍需观察相关性能否保持;(b) Method 用零样本 MLLM 替代 supervised fine-tune,可解释性强但要求 MLLM 本身具备较强的符号学先验,例如 Qwen-2B + HSG 后 VQA 仅 42.2%,提示该方法在 reasoning 能力较弱的开源 MLLM 上仍受限;(c) 评测指标 CCC、SRCC、KRCC 在 16 个模型上的离散度有限,文章自己也指出 SRCC on 16 ranks 容易因小扰动翻转,依赖 CCC 做连续比较是更稳健的选择。
独立分析的弱点
独立分析可归纳为四个可改进点:(1)「HSG 建构是否符号学正确」目前没有自动校验——节点标注的 ground 类型 (iconic / indexical / symbolic) 完全由 MLLM 自报,没有专门的 ground classifier 复核,导致 Complex HSG 不一定更准反而引入幻觉 (消融 A 显示 Complex HSG KRCC 反而比 Standard 略低)。改进方向:可设计 symbolic-ground verifier,让 MLLM 对每个节点的 ground 类型再交叉自评,或借鉴 self-consistency 多次采样投票;(2) 文化代表性偏差——论文坦白基督教与东亚条目偏多 (样本 Table 5 中 15 条 prompt 涵盖了基督教 Triptych、东亚文学、动漫、波斯苏菲、塞拉莱等),但非洲原住民、拉丁美洲、东南亚民俗等符号体系未被覆盖,HSG prompt 是英文写成的,翻译到「非欧洲中心」的符号语境可能丢失约定。改进方向:把 motif 库扩展到非西方传统,并邀请本土专家共建 HSG 黄金标准;(3) bbox 与符号意义的对齐粒度——抽象符号常常跨越多个区域或本体模糊 (例如「碎片化」「节奏感」),硬套 bbox 反而会误导用户研究满意率 (Gemini-Flash 74.7%,Qwen-35B-A3B 仅 56.0%)。改进方向:引入 GroundingDINO 等定位模型做 coarse-to-fine grounding,或允许 semantic mask 替代 bbox;(4) Single-round HGI 假设——论文 default 是 2 轮 cascaded semiosis,但实际艺术创作常是多轮对话、意图漂移 (创作者在看到第一版图后才修正 prompt)。改进方向:扩展 Equation 2 到 N 轮,让 SemJudge 累积 previous HSG 作为 history embedding,再做对齐判断。
未来方向
作者明确给出的未来方向是引入更强的 grounding 模块 (GroundingDINO 等) 来降低对 MLLM 坐标精度的依赖。基于成果可延伸的方向有三:(a) 把 SemJudge 从「评估器」扩展为「生成反馈信号」——HSG 中被识别为缺失或不匹配的 sub-sign 可反向指导 Text-to-Image 模型的 prompt embedding 或 reward shaping,从而在训练阶段就注入符号约束;(b) SemiosisArt 当前覆盖 16 个商业/开源生成模型,可扩展到 diffusion-based editing / video GenArt / 3D art,研究意义传达在不同模态下的一致性;(c) 把 Peircean semiosis 与其他理论 (如 Panofsky 图像学、Hongmann 视觉语法) 联合,让 HSG 节点同时挂上风格、构图、修辞三层标签,做更细的解释性评估或艺术史数据库构建;(d) 探索 SemiJudge 作为 reward model 在 DPO/RLHF 中的使用,由于它能产生节点级 evidence grounding,可解释的 RLHF 比传统偏好模型更适合艺术对齐。
复现评估
可复现性整体良好但有中等门槛:(1) 代码与项目页已开源 (https://github.com/songrise/SemJudge),但 MLLM 调用绝大多数依赖 API (Qwen-3.5-9B、Qwen-3.5-35B-A3B、Gemini-3.1-Flash-Lite),复现者需自备 API key 与相应额度;(2) 数据集 SemiosisArt 共 187 initiatives + 935 图像 + 1870 2AFC + 600 VQA,规模适中可直接分发,但 16 个生成模型 (GPT-Image-1.5、Nano-Banana-Pro、SeedDream-4.0、Kling-Image-O1 等) 大多是闭源商用,复现者只能用当时可用的等价模型重新生成 935 张图,难以 byte-exact 重现;微调类基线 (ArtiMuse、GalleryGPT) 论文未提供 checkpoint,复现略困难;(3) 计算量上,每个 2AFC 实例需要 3 次 MLLM 调用 (prompt HSG + 双图 HSG + judgment),1870 × 3 ≈ 5610 次调用,按 Gemini-Flash 单价估计在数百美元量级;(4) 人类评估部分涉及 70 名用户 × 70 题左右,需要重新招募评价者,附录 B.1 还给出了用户研究界面截图 (Figure 12、13) 便于复现;(5) 评估协议 (KRCC / SRCC / CCC / VQA Acc / iconicity-bias Δ) 在论文中公式完整 (Table 4 + Appendix B.2),可独立代码化。
论文图表
将人类-生成艺术交互建模为级联符号过程的链条示意图:左侧创作者意图 o^(1) 编码为 prompt s^(1),模型 η1 解释为 i^(1),再物化(reification ρ)为图像 s^(2),最后观众 η2 对图像再解释,重构意义 o^(2),并与 o^(1) 之间形成 Semiosis Gap。
建立全文最核心的理论框架,让读者一眼看清符号学三元组是如何从创作者延伸到观众的,是理解 Proposition 1 与 SemJudge object-space 比较的入门钥匙。
对一幅「以蒋捷《虞美人·听雨》词意为题的中国写意水墨三联画」生成的 HSG:Global semiosis 标出横向三联、calligraphy 等结构,子节点 Left_Panel_Youth (b [0,0,440,930])、Center_Panel_Middle_Age (b [450,0,890,930])、Calligraphy_Text (Multiple Boxes) 分别给出古典词句对应、青年-中年-老年的人生阶段并标注 iconic / indexical / symbolic grounds。下方对比 GalleryGPT、ArtiMuse、ArtCoT 的文本分析。
可视化 SemJudge 在中国古典文学-水墨艺术跨模态解释中的具体表现,是它在文化多样性上的一个高质量案例。
对「以 Half-Life 1 风格呈现《马太福音 2:11》朝拜圣婴场景」生成的 HSG:识别出 Holy Family 与 Three Wise Men 子图、底部 HUD 状态条 (b [0,830,1536,1024])、整体 Retro Pixel Style (non-localizable),并把『HEALTH 100 / AMMO 0 / MATT 2:11』解读为游戏化符号 (gamification of the sacred),下方对比同样 prompt 下 GalleryGPT、ArtiMuse、ArtCoT 的解读。
展示 SemJudge 在高度 indexical (FPS 游戏 HUD + 圣经故事) 与多模态冲突场景下的解读深度,是其优于 ArtCoT 的代表性样本。
对「以现代矢量插画风格呈现 Farid al-Din Attar 的《神书》」生成的 HSG:根节点标出 Ilahinama 苏菲神秘主题,子节点包括中央读书人物 (b [447,565,552,996])、Sufi Bird 鸟群 (b [0,70,350,750])、Swirling Patterns (b [650,70,1000,930]),分别解释为 intellect 追求、灵魂之旅与宇宙 divine realm。
是 SemJudge 在伊斯兰苏菲传统符号下的代表性表现,证明方法能跨文化落地。
对「以 Jain 经典 Kalpasutra 抄本风格表达 Anekāntavāda (部分真理)」生成的 HSG:识别出 7 位不同色域内的僧侣、不同矩形位置 bounding box、红色背景与平面侧面绘画风格 (non-localizable),并将其解读为多视角汇聚于中央「解放之 Jiva」的哲学命题。
在印度教-耆那教传统的精细场景下,展示 SemJudge 对漫画学复杂性的解析能力,也是补充传统模型不足的范例。
用户评估某个评估器输出时,看到 2AFC 结果、HSG 可视化 (前端支持点击节点查 interpretant 与 object) 以及底部 Likert 打分面板的截图。
展示 70 位用户在主观解释质量评估 (Figure 4) 中实际看到的界面,让 5 点打分与 HSG 节点引用直接绑定,确保 Evidence Grounding 维度的可比性。