使用传统爪哇甘美兰音阶对ENSO进行初步声音化 Preliminary sonification of ENSO using traditional Javanese gamelan scales
用爪哇甘美兰音阶将ENSO气候数据转化为音频，并用非线性动力学方法分析声学相空间轨迹
前置知识
声音化（Sonification）
声音化是将数据系统性地映射为非语音音频的技术，与可视化相对应。核心思想是利用人类听觉系统对时间结构、模式重复和多流处理的敏感性来传达信息。在本文中，声音化特指参数映射声音化（parameter-mapping sonification），即通过映射函数 $M: \mathbb{R} \to \{0, \ldots, 127\}$ 将ENSO异常值转化为MIDI音符参数（音高、力度等），再通过合成器渲染为可听音频。
本文的核心就是构建从ENSO数据到音频的声音化流水线，理解这一概念是理解全文方法论的基础
ENSO（厄尔尼诺-南方涛动）
ENSO是太平洋热带地区海洋-大气耦合系统中最显著的年际变率模态，表现为厄尔尼诺（暖相）和拉尼娜（冷相）的不规则交替，周期约2-7年。它由Bjerknes正反馈机制、延迟振子动力学和充放电过程等非线性物理过程驱动。本文使用Niño 3.4海表温度异常指数（5°N-5°S, 170°W-120°W区域平均）作为ENSO的量化指标，该指数均值 $\bar{\theta} = -0.098$°C，标准差 $\sigma = 0.775$°C，偏度 $\gamma_1 = 0.474$（暖相振幅不对称）。
ENSO是本文声音化的源信号，理解其动力学特征（准周期性、振幅不对称、相位锁定等）对于评估声音化是否保留了这些特征至关重要
甘美兰（Gamelan）音阶系统
爪哇甘美兰是印度尼西亚的传统合奏音乐，拥有超过千年历史。它使用两个主要的五声音阶系统：pelog音阶的半音间隔为 $\Phi_{\text{pelog}} = \{0, 1, 3, 7, 8\}$（不等间距：1, 2, 4, 1个半音），slendro音阶为 $\Phi_{\text{slendro}} = \{0, 2, 3, 7, 9\}$（较均匀间距：2, 1, 4, 2个半音）。甘美兰音乐的三个关键结构特征是：嵌套循环时间组织（而非线性推进）、分层复调（不同乐器以不同时间密度演奏同一旋律骨架）、以及非均匀间隔的音阶结构。
两种音阶是本文的核心自变量，它们的间隔结构差异导致了声音化输出在声学相空间中产生质性不同的耦合特性
递归量化分析（Recurrence Quantification Analysis, RQA）
RQA是非线性时间序列分析的核心工具，通过构建递归图（recurrence plot）来刻画动力系统轨迹在相空间中的回归行为。基本思想是检测轨迹点对是否在阈值 $\epsilon$ 内返回相近状态。本文简化使用了递归率（revisit rate）$R_\epsilon$，计算相空间中距离小于 $\epsilon = 0.05$ 的点对比例，排除 $\tau_{\min} = 5$ 帧的连续递归，并通过每10帧子采样将 $O(M^2)$ 计算复杂度降至 $O((M/10)^2)$。
RQA指标是本文评估声音化是否保留ENSO准周期性的核心工具，特别是递归率 $R_\epsilon$ 直接量化了声学轨迹的准周期特征
相空间轨迹分析
将声音化输出表示为二维声学相空间中的轨迹 $\Gamma(m) = [\tilde{C}_{\text{norm}}(m), \tilde{E}_{\text{norm}}(m)]$，其中 $\tilde{C}_{\text{norm}}$ 是归一化频谱质心（感知亮度），$\tilde{E}_{\text{norm}}$ 是归一化RMS能量（感知强度）。通过凸包面积 $A$（探索的相空间区域）、总路径长度 $L$（累积变化量）、探索效率 $\eta = A/L$、亮度-能量相关系数 $\rho_{CE}$ 和递归率 $R_\epsilon$ 等几何指标来刻画轨迹的动力学特性。
这是本文最核心的分析框架，将声学信号转化为动力学轨迹，使得可以用非线性动力学工具系统比较不同声音化设计
研究动机
当前气候数据的声音化研究几乎完全局限于西方音乐框架——十二平均律、共性实践和声、管弦乐音色——而从未探讨不同音系如何以不同方式编码动力学结构。这是一个被忽视的机会，因为音乐本身就表现出复杂系统特性：音高和响度波动的1/f频谱标度、长程相关性、层次化时间组织等。不同音乐传统通过不同的结构机制实现这些特性，而西方音乐的线性推进组织方式与ENSO等气候系统的准周期动力学之间的映射关系并非唯一选择。此外，现有声音化研究缺乏严格的定量评估框架，无法判断声音化流水线是否保留了源数据的动力学特征。
本文的目标是本文的具体目标是：（1）构建基于爪哇甘美兰音阶的ENSO参数映射声音化流水线，使用pelog和slendro两种五声音阶以及四种作曲策略（层叠、交替、旋律、频谱），生成八种声音化变体；（2）将声音化输出表示为二维声学相空间轨迹，使用递归量化分析、凸包几何和耦合分析等非线性动力学工具进行严格表征；（3）回答一个核心科学问题：源系统的哪些动力学特征在声音化映射后得以保留。
与已有工作不同的是，本文的独特切入角度体现在三个层面：首先，这是首次将非西方音乐框架（甘美兰）系统性地应用于气候数据声音化，利用甘美兰固有的多尺度层次结构和循环时间组织来编码ENSO的多时间尺度变率；其次，将声音化本身视为一个复杂的非线性映射 $S: X \to Y$（从ENSO状态空间 $X$ 到声学参数空间 $Y$），其输出动力学取决于源信号、映射函数和音乐框架的联合效应，这是一个可以用复杂系统科学工具研究的问题；第三，提出相空间轨迹分析作为声音化设计的几何表征工具包，这超越了传统的感知评估范式，提供了一种原理性的方法来系统比较不同声音化方案的动力学特性。
核心方法
本文方法的整体思路可以概括为三个阶段：数据预处理与特征提取、声音化映射与音频生成、声学相空间分析。首先，对1870-2024年的Niño 3.4海表温度异常指数进行统计表征（均值、偏度、峰度、自相关），并识别ENSO事件。然后，通过参数映射将异常值转化为MIDI音符：将 $[-3, 3]$°C的温度异常归一化到 $[0, 1]$，量化为10个离散音高级别，通过模运算分解为八度偏移和音阶度数，再编码为MIDI音符号。同时计算多时间尺度移动平均（窗口 $\omega \in \{3, 12, 24, 36\}$ 个月），将每个尺度分配到独立的MIDI轨道。最后，用FluidSynth渲染音频，用Librosa提取声学特征（频谱质心、RMS能量等），构建二维相空间轨迹并计算动力学指标。
本文的核心创新在于将声音化设计评估从主观感知层面提升到客观动力学层面。关键思想是：声音化输出可以被表示为声学相空间中的轨迹，其几何特性（凸包面积、路径长度、递归率、耦合相关）构成了声音化设计的动力学指纹。这意味着两种音阶系统不仅仅是听感不同——它们在相空间中产生质性不同的轨迹结构：pelog家族产生强反相耦合（$\bar{\rho}_{CE} = -0.558$），而slendro家族产生近独立耦合（$\bar{\rho}_{CE} = -0.074$），这种耦合特性的分叉是音阶结构与映射算法交互产生的涌现属性，无法从任何单一组分预测。这与已有方法的本质区别在于：已有研究要么只关注听感评估，要么只做信号处理层面的分析，而本文首次将非线性动力学的完整工具包引入声音化评估。
方法步骤详情
方法分为五个步骤：（1）数据表征：对Niño 3.4时间序列计算统计量——均值 $\bar{\theta} = -0.098$°C、偏度 $\gamma_1 = 0.474$、峰度 $\gamma_2 = 0.382$、滞后-1自相关 $\rho_1 = 0.926$；使用 $\pm 0.5$°C阈值识别El Niño（377个月，20.3%）和La Niña（597个月，32.1%）事件。（2）音高映射：通过公式 $\xi(t) = \frac{\theta(t)+3}{6}$ 将异常归一化，$\psi(t) = \xi(t) \cdot 9$ 量化为10级，$s(t) = \lfloor\psi(t)+0.5\rfloor$ 四舍五入，再通过 $o(t) = \lfloor s(t)/|\Phi|\rfloor$ 和 $d(t) = s(t) \mod |\Phi|$ 分解为八度和音阶度数，最终MIDI音符号 $\nu(t) = 60 + 12 \cdot o(t) + \Phi_{d(t)}$。（3）力度与多尺度编码：MIDI力度 $v(t) = \text{clip}(80 + 20|\theta(t)| + 30|\Delta\theta(t)|, 40, 127)$，其中速率项权重 $\beta_2=30$ 大于幅值项 $\beta_1=20$；计算4个时间尺度的移动平均分配到独立MIDI轨道。（4）音频生成：8种变体（2种音阶×4种作曲策略），120 BPM，每月0.5拍，总时长约7.75分钟，FluidSynth渲染为44.1kHz WAV。（5）声学分析：Librosa提取频谱质心 $C[m]$ 和RMS能量 $E[m]$，全局归一化，20帧移动平均平滑，构建轨迹 $\Gamma(m) = [\tilde{C}_{\text{norm}}(m), \tilde{E}_{\text{norm}}(m)]$，计算凸包面积、路径长度、探索效率、递归率和耦合相关。
技术新颖性
本文的技术新颖性体现在多个方面：第一，首次将非西方音阶系统（甘美兰pelog和slendro）系统性地应用于气候数据声音化，并揭示音阶间隔结构对声学输出动力学特性的定量影响——slendro产生更高平均亮度（1447 Hz vs pelog的1095 Hz）且变异系数更低（0.132 vs 0.215），这是音阶均匀性的直接后果。第二，提出声学相空间轨迹分析框架，将声学信号视为动力学轨迹并应用非线性动力学工具，这在声音化研究中是首创。第三，发现音阶选择不是纯美学问题，而是引入了声学输出动力学特性的结构性约束——两种音阶诱导出质性不同的亮度-能量耦合机制（pelog反相 vs slendro独立），这是音阶结构与映射算法交互的涌现属性。第四，多时间尺度分解（$\omega \in \{3, 12, 24, 36\}$ 个月）映射到甘美兰的分层复调结构，短窗口捕获快速波动，长窗口隔离慢动力学，这种时间分离类似于不同甘美兰乐器与colotomic周期的关系。
实验结果
本文的核心发现可以从三个维度阐述。首先在声学特征层面，8种声音化变体展现出系统性差异：slendro家族在所有作曲模式下产生更高亮度（平均1447 Hz vs pelog的1095 Hz），这是其更均匀间隔分布将音高内容分布在更宽频谱范围的结果；层叠模式无论音阶家族都产生最高强度（pelog层叠0.021，slendro层叠0.022），与其复调纹理一致。所有模式的滞后-1自相关在亮度上超过0.958、能量上超过0.981，表明声学特征的高持久性平行于源ENSO信号的强持久性（$\rho_1 = 0.926$）。其次在递归结构层面，交替模式在两个音阶家族中都展现最高递归率（pelog 0.240，slendro 0.230），而层叠模式最低（0.119，0.123）——轮询作曲策略引入了声学空间中的周期-4强迫，有效放大了ENSO输入的准周期特征。层叠复调通过同时叠加所有时间尺度产生更高维声学信号，投影到二维亮度-能量平面后表现为更低递归、更填充空间的轨迹。第三在耦合特性层面，最引人注目的是亮度-能量耦合的质性分叉：pelog家族展现强反相耦合（$\bar{\rho}_{CE} = -0.558$，交替模式达-0.790），而slendro家族展现弱相关（$\bar{\rho}_{CE} = -0.074$），层叠模式甚至呈正耦合（+0.317）。这种分叉是音阶结构与映射算法交互的涌现属性。轨迹几何指标方面，凸包面积从0.211（slendro旋律）到0.529（pelog层叠），探索效率 $\eta$ 均匀低（0.001-0.004），表明所有轨迹都高度迂回——穿越的路径长度远超覆盖相空间足迹所需，与源信号的准振荡特性一致。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ENSO声音化相空间分析 | 凸包面积 A | Pelog层叠0.529，Slendro层叠0.488 | 无先验基线（首创框架） | 建立首个声音化相空间比较基准 |
| 声学轨迹递归率 | 递归率 R_ε (ε=0.05) | 交替模式最高（Pelog 0.240，Slendro 0.230） | 层叠模式最低（0.119，0.123） | 交替模式递归率是层叠模式的约2倍 |
| 亮度-能量耦合分析 | Pearson相关系数 ρ_CE | Pelog平均-0.558，Slendro平均-0.074 | 无先验基线 | 发现音阶家族间的质性耦合分叉 |
| 声学特征持久性 | 滞后-1自相关 ρ₁ | 亮度>0.958，能量>0.981 | 源ENSO信号ρ₁=0.926 | 声音化流水线保留了源信号的时间相关结构 |
局限与改进
作者坦诚地指出了多重局限。最核心的是缺乏感知验证：定量声学表征无法替代听众研究对模式识别、事件识别和数据理解的评估，音乐复杂性可能阻碍而非促进参与。技术层面，12平均律近似丢弃了使每个甘美兰组独特的微音分embat；General MIDI合成缺乏青铜金属琴的音色特性；pathet调式系统（控制时间进展并携带情感意义）未被纳入。方法论层面，相空间分析表征的是声音化输出，而非数据-声音映射的保真度——互信息或传递熵等指标可加强分析；RQA使用了简化版递归率，完整RQA（确定性、层流性、最长对角线）会提供更丰富表征；阈值 $\epsilon = 0.05$ 固定而非系统优化；10级音高量化（约0.6°C分辨率）较粗糙。155年记录压缩到7.75分钟导致所有模式都出现显著负能量趋势（p<0.001），可能是合成引擎效应而非保留的ENSO特性。此外，作者未与印尼社区交流以评估文化共鸣。
独立分析的弱点
本文存在几个值得深入分析的弱点。首先，音高量化粒度粗糙：10级离散化意味着约0.6°C的分辨率，这可能丢弃有意义的气候变率细节，特别是对于弱ENSO事件（异常在 $\pm 0.5$-1.0°C之间），改进方向是增加八度数或使用连续音高映射。其次，时间压缩比率（155年压缩到7.75分钟）产生的系统性伪影未被充分控制——所有模式都出现显著负能量趋势，说明合成引擎或听觉感知特性引入了与输入数据无关的非平稳性，可通过调整压缩比或应用反趋势校正来改进。第三，二维相空间（亮度-能量）可能过度简化了声学信号的维度，丢失了零交叉率、频谱通量等其他声学特征的信息，扩展到更高维相空间或使用流形学习降维可提供更完整表征。第四，递归率计算中固定阈值 $\epsilon = 0.05$ 和子采样步长10的选择缺乏敏感性分析，不同参数可能导致不同的递归率排序。第五，8种变体的作曲策略设计中，层叠模式的音符持续时间系数 $\alpha$（pelog 1.2，slendro 1.0）不同，引入了额外的混杂变量。
未来方向
作者和基于本文成果可延伸的未来方向包括：（1）信息论评估：用互信息和传递熵量化输入ENSO信号与输出声学信号之间的信息传递效率，这是评估映射保真度的更严格方法；（2）完整RQA分析：扩展到确定性（determinism）、层流性（laminarity）和最长对角线等指标，提供更丰富的动力学刻画，并系统优化嵌入参数选择；（3）感知实验：设计对照实验比较不同作曲模式对ENSO事件识别、准周期性感知和数据理解的效果；（4）多元ENSO表示：将SST空间型、大气压力和温跃层深度映射到甘美兰的多层乐器架构，实现真正的多变量声音化；（5）跨文化比较：将相同的相空间分析框架应用于其他音乐传统（如印度拉格、阿拉伯木卡姆），比较不同音系对动力学结构的编码差异；（6）实时交互声音化：利用甘美兰的循环结构特性开发交互式界面，允许用户探索不同时间尺度的ENSO动态。
复现评估
本文的复现性评估如下：代码和数据方面，ENSO数据来自NOAA公开的Niño 3.4指数（HadISST 1.1数据集），完全可获取；音频生成使用开源工具FluidSynth和MIDIUtil，声学分析使用开源的Librosa，相空间分析使用NumPy和SciPy，所有依赖均为标准Python科学计算栈。但作者未明确声明是否公开了完整的代码仓库，这限制了精确复现的便利性。计算资源需求较低：单进程即可完成全部分析，无需GPU或大规模计算集群。复现的主要难点在于：（1）FluidR3 GM SoundFont的具体版本可能影响渲染结果；（2）多时间尺度移动平均的窗口选择 $\omega \in \{3, 12, 24, 36\}$ 以及层叠模式的持续时间系数 $\alpha$ 的具体取值需要从论文中精确提取；（3）全局归一化使用的1st/99th百分位数是数据相关的，需要完整运行流水线才能获得。总体而言，复现难度中等，具备基本Python编程能力的研究者可在数天内完成。
论文图表
包含8种变体（2种音阶×4种作曲模式）的5个声学指标：亮度（频谱质心Hz）、强度（RMS能量）、动态范围比、打击性（零交叉率）和频谱通量。Slendro层叠亮度最高（1,863 Hz），Pelog旋律亮度最低（809 Hz）；Slendro旋律动态范围最宽（3.63）。
这是声学特征的定量汇总表，为后续相空间分析提供基础数据，直观展示了音阶类型和作曲模式对声学输出的系统性影响。
展示代表性变体的详细时间序列统计：均值 $\bar{x}$、标准差 $\sigma_x$、变异系数 $\gamma_x$、趋势斜率 $\beta$（每帧）、决定系数 $R^2$ 和滞后-1自相关 $\rho_1$。关键发现：所有模式的自相关系数极高（亮度>0.958，能量>0.981），平行于源ENSO的 $\rho_1=0.926$；Slendro亮度变异系数（0.112-0.127）低于Pelog（0.123-0.251），表明更稳定的相对亮度。
量化展示了声学特征的时间统计特性，特别是高自相关系数证明声音化流水线部分保留了源ENSO信号的时间相关结构，这是评估映射保真度的关键证据。
包含8种变体的7个相空间指标：凸包面积A、路径长度L、探索效率η=A/L、质心坐标 $(\bar{C}_n, \bar{E}_n)$、亮度-能量相关系数 $\rho_{CE}$ 和递归率 $R_\epsilon$（$\epsilon=0.05$）。关键发现：交替模式递归率最高（Pelog 0.240, Slendro 0.230）；Pelog展现强反相耦合（$\bar{\rho}_{CE}=-0.558$）而Slendro近独立（$\bar{\rho}_{CE}=-0.074$）；探索效率均匀低（0.001-0.004）表明所有轨迹高度迂回。
这是本文最核心的结果表，将声学轨迹的动力学特性浓缩为可比较的数字，直接支撑了三个核心发现：递归结构差异、耦合机制分叉和音阶家族分离。