Real-TurnTurk：面向话轮转换预测的多模态土耳其语语料库 Real-TurnTurk: A Multimodal Turkish Corpus for Turn-Taking Prediction

流程分五步。第一步数据采集：录制11段双人无剧本对话，每说话人一路48kHz WebM音频，1080p/16fps视频，VTT转写含说话人与毫秒级时间戳，共5,383段、35,728词，语音占87.6%。第二步话轮标注：按公式(1)，$t$处为转换当且仅当说话人更替（$S_i \neq S_{i+1}$）、后续片段时长$d_{i+1} \geq 0.5$s、文本非填充词且长度>3字符，得1,750个正样本。第三步负采样：分层随机抽3,500个非转换点（正负比1:2，seed=42），正样本周围设$\pm 1.0$s排除缓冲。第四步特征提取：MediaPipe Face Mesh与Py-Feat提9个视觉特征（landmark运动、AU强度、眨眼率等），openSMILE按eGeMAPSv02提12个声学特征（F0、能量、频谱统计量），转写派生7个语言特征（词长、音节数、is filler等），全部只描述持轮者$t$前2秒窗口。第五步GA优化与评估：DEAP实现，会话级5折（3/2/2/2/2段），每折5个种子，按Table IV配置搜索，报告5折平均精度/召回/F1。

技术新颖性体现在四个层面。表示层：AND-OR编码把「多通路触发」这一会话学知识直接编码进模型结构，而非寄望黑盒模型自行学出，这在话轮预测领域少见。搜索层：以F1为适应度是刻意选择——只优化精度会得到错过真实转换的保守规则，只优化召回则误报泛滥；变异算子分阈值/特征/逻辑三类各占1/3，交叉按条件块单点重组，精英保留防止最优规则退化。评估层：会话级（而非样本级）划分消除对话内泄漏，真正例判定采用0.5秒时间容差并统一用于所有基线，且作者诚实指出因user 01和user 03贯穿全部对话而无法做说话人全分离评估，报告值应读作对未见说话人泛化的上界。透明性层：最终规则只选中28个特征中的5个（视觉模态仅贡献1个条件，三个模态贡献并不均等），可直接人工审查，与该领域以RNN、VAP、Moshi等黑盒模型为主的路线形成鲜明对照。

第一，枢纽说话人设计是最大软肋：模型可能部分记住了user 01/03的个人风格（66.2%/72.9%的说话时间占比、个人停顿与语速习惯），而非普适转换线索，改进方向是每人至多出现一次的录制设计或留一说话人评估。第二，静音线索在重叠密集语料中失效（静音基线F1≤25.8），但该对话风格不代表所有场景——客服问答等低重叠场景中停顿仍可能是强信号，应报告按重叠率分层的性能。第三，46.1%的精度对部署不够：可将GA适应度改为代价敏感目标，或输出校准置信度供下游系统做风险决策。第四，缺少与Random Forest、XGBoost、transformer等有监督基线的对比（作者亦列为未来工作），无法量化「可解释性换掉了多少精度」。第五，视觉模态只看持轮者crop，浪费了听者注视与点头这一公认最强的转换前兆；且特征窗口固定2秒，长短语流的自适应窗口值得探索。

作者提出的方向：采用均衡、非枢纽的录制设计；引入说话人归一化的声学特征；与Random Forest、XGBoost及transformer类分类器对比；把规则集成进实时LLM智能体。基于本文成果可延伸：执行留一说话人协议量化真实泛化差距；把听者模态（注视、点头、backchannel）纳入特征池，预期对精度提升显著；从固定点二分类扩展为连续帧级预测以对齐VAP等实时范式；用多语言平行设计验证规则结构（韵律收尾、注视转移）是否跨语言可迁移；对最终规则做消融分析——三个OR分支的独立贡献与两两组合效应目前未知；探索符号规则与LLM结合，例如把学到的规则转译为对话智能体的策略提示或安全约束。

复现条件总体较好。数据：子集已发布于Hugging Face（tugrulbayrak/Real-TurnTurk），含视频、分说话人音轨与时间戳转写，但论文未说明4.23小时是否全量开放。工具链全部开源且指明版本：MediaPipe Face Mesh、Py-Feat、openSMILE（eGeMAPSv02）、Silero VAD、wav2vec 2.0强制对齐、DEAP。GA超参数在Table IV完整给出（种群500、900代、锦标赛5、交叉0.85、变异0.10、精英5%、条件数U{3,...,7}），负采样固定seed=42并按会话分层，每折种子1-5共5次运行。特征不缩放、阈值仅从训练折采样，方法节描述足以重写实现。算力门槛低：特征提取为CPU密集型，GA单机数小时可跑完。主要缺口是论文未附代码链接，若干特征的确切计算细节（如AU强度变化的聚合方式）需自行推断，总体属中等复现难度。