← 返回 2026-05-26

PRISM: 位置编码的回归式逆向光谱模型——用于多层薄膜设计 PRISM: Position-encoded Regressive Inverse Spectral Model for Multilayer Thin-Film Design

Runtian Wang, Renhao Xue, Baige Chen, Hao Wu 📅 2026-05-26 👍 7 2026-07-13 08:36
RoPE 位置编码 光学优化 多层薄膜 自回归 Transformer 逆向设计

用累积深度 RoPE 的 Transformer 联合预测材料与厚度,MAE 降至 0.010。

前置知识

传输矩阵法 (TMM)

Transfer Matrix Method 是计算多层薄膜光学响应(反射率与透射率)的解析方法。它把每一层(给定折射率 $n+ik$ 与厚度 $d$)表示为一个 $2\times 2$ 矩阵,将入射边界条件逐层相乘即可得到整个堆栈在每个波长下的复振幅,从而解析地算出反射与透射谱。

PRISM 训练数据的标签、推理时的 TMM 重排(re-ranking)以及最终性能评估都依赖 TMM 仿真,不理解 TMM 就无法看懂其训练信号与评估协议。

RoPE (Rotary Position Embedding)

RoPE 通过在复平面上对 query/key 向量按与位置成正比的角度做旋转来编码位置信息,使两个 token 的注意力点积只依赖于它们的相对位置,因而能自然地外推到不同长度,是现代 LLM 最常用的位置编码方式。

PRISM 的核心创新点之一就是把 RoPE 的位置变量从整数 token 索引换成累积物理深度(nm),从而把连续厚度直接嵌入位置表征——不懂标准 RoPE 就无法理解这一替换的意义。

自回归序列生成

自回归模型按时间步从左到右生成序列,每一步的条件概率为 $p(x_\ell \mid x_{<\ell})$,通常用 decoder-only Transformer 加因果掩码实现。终止时由模型在每步预测一个特殊 EOS 标记决定序列长度。

PRISM 把薄膜设计视作 EOS 终止的变长序列生成,材料是离散类别、厚度是连续回归,二者由同一 decoder 主干在自回归框架下联合预测,是理解其方法路线图的基础。

多层薄膜光学涂层

由若干不同介质/金属薄膜按特定厚度顺序沉积在基底(如玻璃)上构成的功能器件,通过层间干涉实现抗反射、带通、二向色镜、中性密度滤光等功能,应用遍及激光、光通信与显示领域。

这是 PRISM 要解决的物理问题域,其离散(材料选择)+ 连续(厚度)的混合优化空间以及多波长相干干涉特性直接决定了算法设计的两个创新点。

研究动机

多层薄膜光学涂层(抗反射镜、带通滤光片、二向色镜等)的逆向设计是一个混合离散-连续优化问题:材料选自有限离散集合,厚度则是连续正实数。整个设计空间高度非凸且存在大量退化解,传统数值方法(模拟退火 SA、遗传算法、针优化)需要为每一个目标谱单独运行数分钟到数小时,吞吐量极低。论文中 SA 在 8 次重启 × 5000 步下评估一个目标都需要可观算力,即便 L-BFGS 等可微 TMM 优化也因固定材料序列而无法探索整个离散空间,因而都无法满足实时或高通量设计的工业需求。

本文的目标是本文旨在用单一神经网络 amortize 这一设计成本,使得任意给定目标谱都能在毫秒级获得一个高质量多层结构。论文设定的具体可量化目标是:在包含 17 种材料、1-20 层、厚度 10-500 nm 的设计空间内,PRISM 模型在 10000 个分布内生成目标上达到 MAE ≤ 0.012,并超越包括 SA 在内的所有基线方法;同时在 84 个实际滤光片目标的 OOD 评测上保持竞争力,并保持参数效率(13M 模型即胜过 64M OptoGPT)。

与已有工作不同的是,现有两条神经路线各有明显短板:OptoGPT 用一个 token 同时编码材料和离散化厚度(10 nm 粒度),导致联合词表膨胀到约 904 个 token 且厚度精度被网格宽度锁死;OptoFormer 用 encoder + 双 decoder 把材料与厚度流分开,虽避免词表爆炸却带来显著架构冗余。PRISM 抓住了第三种空间——在单一 decoder 主干内做“分解式材料预测 + 连续厚度回归”,并创造性地提出累积物理深度 RoPE,使连续厚度自然融入位置编码;这种“用物理量替代 token 索引”的切入角度在之前的工作中完全没有出现。

核心方法

PRISM 的整体思路是把逆向设计视为一个变长序列生成任务:给定目标谱 $s^*$,自回归地逐层采样 (材料, 厚度) 对,遇到 EOS 停止。技术上采用 decoder-only Transformer 为主干,前缀处嵌入一个由目标谱线性投影出的特殊 token,位置编码使用本文提出的累积物理深度 RoPE;主干末端并联两个输出头——一个产生 19 类(含 PAD/EOS)的材料分布,另一个在每个材料槽位上同时预测一个连续厚度(用 softplus + exp 映射回 nm 区间),从而把“选材料”和“估厚度”解耦但共享表征。

本文两个关键创新区别于既有方法的本质在于:其一,spectrum prefix conditioning——把目标谱 $s^*$ 经 $W_{spec}$ 线性投影为单个 $d_{model}$ 维 token 并置于序列最前,在因果掩码下始终处于后续所有 layer token 的注意力窗口中,取代了 encoder-decoder 或 cross-attention 设计;其二,cumulative-depth RoPE——将 RoPE 的旋转角度与每层累积物理深度 $p_\ell = \sum_{j=1}^{\ell} d_j$(单位 nm)而非 token 整数索引绑定,让注意力点积直接反映干涉物理距离;再加上 per-material thickness head(对每个材料同时输出一个厚度),使 beam search 可以在 (材料, 厚度) 联合空间展开,并以廉价 TMM 重仿真对候选进行频谱误差重排。

方法步骤详情

六步流程。① 目标谱 $s^*\in\mathbb{R}^{142}$ 经 $h_{spec}=W_{spec}s^*+b_{spec}$ 投成 prefix token。② 材料 ID 查表嵌入,厚度通过累积深度 $p_\ell=\sum_{j\le\ell}d_j$ 注入 RoPE。③ decoder-only Transformer 跑 N 层,query/key 按 $p_\ell$ 旋转,输出 $h_\ell$ 共享两输出头。④ 材料头给 19 类分布;厚度头用 $\hat{d}_\ell(m)=d_{MIN}\exp(\mathrm{softplus}(\mathrm{MLP}(h_\ell))_m)$ 对每个材料同步预测厚度。⑤ 损失 $\mathcal{L}=(\mathcal{L}_{mat}+\alpha\mathcal{L}_{thk})/N$,$\alpha=1$,AdamW+cosine 训 30-60 epoch;材料用 KL(平滑 0.1),厚度用对数空间 MSE。⑥ 推理 beam width 5,并用 TMM 重仿真按真实频谱 MAE 重排候选。

技术新颖性

技术新颖性体现在三处系统性重设计:(1)位置编码语义迁移——把 RoPE 从语言模型的整数 token 位置重映射到纳米级物理深度,是位置编码在物理科学问题中的非平凡重新利用;(2)双头解耦但共享 backbone 的输出设计——既避免 OptoGPT 的组合词表爆炸,又保留 per-材料厚度条件化这一关键信息(材料不同,合适厚度通常不同);(3)TMM 重排机制——把物理可微仿真器以零成本方式纳入神经解码,绕开模型置信度与物理真实度之间的错位。形式上 PRISM-13M 仅用 OptoGPT 1/5 参数量就 MAE 减半(0.027 vs 0.059),充分证明架构选择的边际收益。

PRISM architecture (left) and cumulative-depth RoPE positional encoding (right).
Figure 1: PRISM architecture (left) and cumulative-depth RoPE positional encoding (right).

实验结果

Table 1 是核心实验。在 10000 个分布内生成目标上,PRISM-44M TMM-reranked 取得 MAE=0.010、R²=0.992,首次在严格 in-distribution 评测下超越模拟退火(SA MAE=0.016),比次佳神经基线 OptoGPT(0.059)降低 83%;PRISM-13M(13M 参数,仅 OptoGPT 64M 的 1/5)也以 MAE=0.027 显著领先所有神经基线,TMM-reranked 后再降至 0.024。Figure 2 显示两个规模模型在层数外推到训练上限 2.5× 时 MAE 几乎不退化,证明累积深度 RoPE 的连续位置天然支持变长生成。在 84 个 OOD 实际目标上 SA 因逐目标优化而 MAE 仍最优,但 PRISM-44M 拿到 EMD=72.20 反而低于 SA 的 75.41,Figure 3 直观显示其曲线在通带边缘、峰位上的形状恢复更忠实于目标。

Comparison on in-distribution validation and out-of-distribution practical targets.
Table 1: Comparison on in-distribution validation and out-of-distribution practical targets.
Out-of-distribution generalization to longer sequences (n = 10,000 per condition, 10 nm thickness steps).
Figure 2: Out-of-distribution generalization to longer sequences (n = 10,000 per condition, 10 nm thickness steps).
Qualitative comparison on practical target spectra.
Figure 3: Qualitative comparison on practical target spectra.
查看结构化数据
任务指标本文基线提升
In-distribution 生成目标 (n=10000) MAE (142维谱) ↓ PRISM-44M TMM-reranked: 0.010 SA: 0.016;OptoGPT: 0.059;Diff-TMM: 0.031 相对 SA 降低 37.5%,相对 OptoGPT 降低 83%
In-distribution 生成目标 (n=10000) R² ↑ PRISM-44M TMM-reranked: 0.992 SA: 0.978;OptoGPT: 0.715;Tandem: 0.771 相对 SA 提升 0.014,相对 OptoGPT 提升 0.277
Out-of-distribution 实际滤光片目标 (n=84) EMD (谱形敏感) ↓ PRISM-44M TMM-reranked: 72.20 SA: 75.41;OptoGPT: 97.25 比 SA 低 3.21,比 OptoGPT 低 25.05
Out-of-distribution 实际滤光片目标 (n=84) MAE ↓ PRISM-44M TMM-reranked: 0.228 SA: 0.146 SA 在点 MAE 仍领先 0.082,但 PRISM 的 EMD 更优
参数效率对比 (vs OptoGPT 64M) 参数量 / MAE 双重对比 PRISM-13M: 13M 参数, MAE 0.027 OptoGPT: 64M, MAE 0.059 参数量减少 4.9×,MAE 仍减半(>50% 改进)

局限与改进

作者明确指出三点限制:(1)目标必须是 71 个波长全覆盖的完整谱,无法只指定子区间而让其余波段自由——但这恰恰是工程里常见需求;(2)只支持正入射,不接收入射角作为条件,因而不能做角度选择性或宽入射角设计;(3)实际目标 MAE 仍输给 SA,说明仅靠监督学习对长尾分布外的实际谱泛化不足。独立观察的局限还包括:训练数据全部由均匀随机 + TMM 仿真生成,没有覆盖典型工业约束(如最小层数、可用材料子集、成本权重),模型对工程约束的可控生成能力未验证;per-material thickness head 对所有 17 个材料并行预测厚度,对小数据样本稀少的材料会造成参数浪费;TMM-reranking 依赖物理仿真器可调用,迁移到 TMM 不可微或无解析解的物理设计场景时收益无法复现。

独立分析的弱点

逐点列出三个独立判断的弱点及其改进方向:(1)谱条件接口过于刚性——目前 prefix 是固定 142 维连续谱 token,无法接受“400-500nm 高透、其它无要求”这种区间级工程表述;改进方向是改用区间稀疏编码或 text-style 约束描述,并对 prefix 引入可学习 mask 机制让模型学会忽略未指定区域。(2)实际目标 MAE 仍弱于 SA——说明仅以随机合成数据做监督学习在 OOD 上不够;改进方向是引入 RLVR 后训练,把 TMM 频谱误差直接作为奖励信号对 PRISM-44M 微调,论文在第 7 节已点名这是有前途的方向。(3)缺少对角度与偏振的物理可扩展性——当前位置编码只用累积标量深度 nm,对 3D 几何(如楔形膜、倾斜入射)无能为力;改进方向是把 RoPE 替换为多维位置编码(同时编码深度、入射角偏振态),或对角度使用额外的条件化 token。

未来方向

作者在第 7 节给出的未来方向:基于 TMM 频谱奖励的 RLVR 后训练以提升对实际目标 MAE;支持子波段条件与角度入射条件;目前只覆盖 400-1100nm 可见-近红外窗口,可拓展到中远红外、太赫兹。论文成果天然可延伸的方向还包括:(1)把 PRISM 的累积深度 RoPE 思路推广到其他物理序贯结构,例如光子超表面层叠、电池叠层、光学薄膜滤波组;(2)把 prefix 编码器换成更丰富的条件信息(如入射光角度、偏振态、温度、目标成本),使模型成为通用“光学设计基础模型”;(3)将 TMM-reranking 思路推广到可微仿真器不易获得但快速可计算的领域(射频、天线),让神经解码 + 物理重排成为通用模式。

复现评估

复现条件非常友好。论文在第 3、4 节完整披露了模型架构(dmodel/dff/头数/层数)、训练流程(AdamW + cosine、batch 1024、$\alpha=1$、30-60 epoch、label smoothing 0.1)、数据生成(30M 样本、$P(L)\propto L$ 层数采样、71 波长 10nm 间隔 TMM 仿真)、17 种材料折射率来源和 SA、L-BFGS 等基线配置。作者在第 7 节末尾明确给出代码仓库 https://github.com/wang-henry4/prism 与 44M 预训练权重 https://huggingface.co/flying-iwik/Prism-44M-Mixed。主要算力开销在 30M 样本的 TMM 仿真与 PRISM-44M 60 epoch 训练,13M/44M 模型在单卡 A100 上可数日完成;OptoFormer 因代码与权重未公开只能做定性比较。