近日，计算机技术与应用学院绿色算力创新与应用团队在人工智能方向的研究成果被国际顶级会议The Fortieth Annual Conference on Neural Information Processing Systems (NeurIPS 2026) 接收。该成果由计算机技术与应用学院作为第一单位，并联合清华大学计算机系共同完成，我院2023级硕士生桑文迪作为第一作者，黄建强教授和胡晓林教授担任共同通讯作者，此项工作展现了青海大学计算机技术与应用学院和清华大学计算机科学与技术系在研究生培养上的深入合作。该研究为视频会议、听觉辅助、移动端语音交互等场景中的低延迟语音处理提供了新的技术路径，也为视听语音研究建立了更接近真实部署条件的训练与评测基准，对推动目标语音提取技术在真实场景中的应用具有重要价值。

图1 RealSSA覆盖的四类真实声学场景

针对真实场景数据不足的问题，团队提出了《Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes》，构建了RealSSA基准，包括可控仿真数据集RealSSA-Sim和真实录音评测集RealSSA-Real。RealSSA-Sim覆盖小型会议室、中型室内空间、大型公共空间和户外环境四类场景，设置2至6名动态近场或远场说话人，并联合变化说话人距离、房间混响、环境噪声和突发噪声等因素。该数据集包含100,826个训练样本、9,133个验证样本和9,169个测试样本，总时长约153小时。RealSSA-Real则收集了10名参与者在8类真实环境中的录音，总时长约84分钟，仅用于独立测试模型从仿真场景到真实环境的泛化能力。

图2 Falcon视听目标说话人提取整体流程

在模型方面，研究团队提出了轻量级因果视听目标说话人提取模型Falcon。该模型通过一次编码器—解码器前向传播完成多尺度时频建模，避免轻量模型反复调用分离器所带来的额外计算开销。在效率方面，相较对比方法的AV-TFGridNet，Falcon参数量减少91.9%，计算量减少95.0%，GPU推理延迟减少91.0%。在真实录音评测中，使用RealSSA-Sim训练后，Falcon的NISQA和DNSMOS均得到提升，说明覆盖真实声学变化的训练数据有助于提升模型的实际泛化能力。该研究为视频会议、听觉辅助、移动端语音交互等场景中的低延迟语音处理提供了新的技术路径，也为视听语音研究建立了更接近真实部署条件的训练与评测基准。

NeurIPS于1987年创办，被中国计算机学会列为人工智能领域A类会议，其H5-index长期保持在330以上，以其严谨的评审流程和前瞻性的研究议题享誉全球，并与ICML、ICLR并称为人工智能领域三大“难度最大、水平最高、影响力最强的”顶级会议。今年的NeurIPS 2026大会将于2026年12月6日至12日在澳大利亚悉尼召开，同时设有亚特兰大（美国）和巴黎（法国）两个Satellite会场举行，届时，论文作者将应邀在会议上展示其研究成果。