这项由英伟达NVIDIA与台湾中央研究院Academia Sinica联合完成的研究以arXiv预印本形式于2026年6月发布论文编号为arXiv:2606.25621。感兴趣的读者可以通过该编号在arXiv平台上查阅完整论文模型权重则已开放在英伟达的Hugging Face主页供公众下载。**一通电话背后藏着一道几乎不可能完成的题**每次打语音电话时你可能都遇到过这样的场景对方的声音里夹杂着街道噪声、空调嗡鸣甚至因为信号不好而出现断断续续的卡顿。为了解决这个问题手机、电脑、会议软件里都内置了语音增强技术——它的工作就像一个实时的声音魔法师在你说话的同时悄悄过滤掉所有杂音把干净清晰的声音传送给对方。但这个魔法师面临着一个让工程师们头疼不已的困境不同的应用场景对反应速度的要求差异巨大。用于日常语音通话的软件要求系统在50到150毫秒内给出响应而自动语音识别也就是让机器听懂人说话的技术则可以稍微宽松一些允许100到200毫秒的延迟。这听起来差距不大但对于追求极致体验的工程师来说每一毫秒都是一场博弈。更麻烦的是同样一套语音增强系统跑在高性能服务器上和跑在普通笔记本上处理速度也截然不同。过去的解决方案就像是为每种场景单独聘请一位魔法师——针对低延迟场景训练一个模型针对高延迟场景训练另一个模型针对高性能机器再训练一个。这不仅费时费力还让系统维护变得异常复杂。英伟达与中央研究院的研究团队决定打破这种局面他们的目标是训练出一个万能魔法师能根据不同场景的需要随时调整自己的工作模式而不需要重新训练。**一、延迟到底是什么在拖后腿**在深入了解研究团队的解决方案之前有必要先搞清楚语音增强系统中延迟到底从哪里来。研究团队将总延迟拆分成了两个部分就像一道快递从发货到收货的全程时间可以分成打包时间和运输时间两段。第一段叫做算法延迟也就是系统在开始工作之前必须先攒够足够多的音频数据。这是因为语音增强模型在处理音频时需要把声音切成一段段的窗口来分析就像你要读懂一句话至少得先看完这句话的开头几个字。具体来说算法延迟等于音频窗口的长度研究中固定为40毫秒加上向前看的帧数乘以每帧的时长每帧20毫秒。所谓向前看是指模型在处理当前这帧音频时是否被允许偷看一下后面还没发生的音频。向前看得越多模型掌握的上下文信息越丰富处理效果越好但等待时间也越长。第二段叫做计算延迟是指模型拿到足够的输入数据之后真正跑完计算、吐出结果所需要的时间。这取决于模型本身有多复杂以及运行它的硬件有多强大。哪怕算法延迟相同在A100这样的顶级显卡上跑和在普通消费级显卡上跑计算延迟可能相差数倍。这两段时间加在一起就是用户实际感受到的总延迟。研究团队还特别强调了一个容易被忽视的硬性约束系统每处理一帧音频20毫秒的计算时间必须短于20毫秒本身否则处理速度赶不上音频输入速度系统就会越来越跟不上延迟不断积累。这个比值被称为实时率实时率必须小于1系统才能真正做到实时处理。值得一提的是研究团队还指出学术界存在一种容易误导人的测量方式——把整段录音一次性喂给模型利用大规模并行计算来测速这会大幅低估真实场景下逐帧处理的延迟。**二、三把钥匙解锁三十种工作模式**研究团队给这个万能模型配备了三种核心机制分别用来控制向前看几帧和算得有多深以及如何让这两种控制同时生效而不相互干扰。第一把钥匙是用于控制算法延迟的可调节向前看帧数。模型的底层是基于短时傅里叶变换STFT可以理解为一种把声音波形转化成频谱图的技术在这个频谱图上进行处理。模型中的卷积层可以理解为一种专门提取局部特征的计算单元就像一个小窗口在频谱图上滑动扫描可以通过调整左右填充的比例来决定它到底往前看多少、往后看多少。向前看0帧、1帧还是2帧对应的总算法延迟分别是40毫秒、60毫秒和80毫秒。然而直接对同一个卷积层改来改去是有问题的。卷积操作有一个数学特性叫做平移等变性简单说就是如果输入信号整体往左移一位输出信号也会整体往左移一位。但当你通过改变填充方式来调整向前看的范围时相当于人为地给输入信号加了一个不对称的偏移量这会让模型内部的计算逻辑产生混乱就像一个惯用右手的人被强迫换成左手写字——动作是一样的但整个协调系统都乱了。实验结果也印证了这一点单纯用一个卷积层动态改变填充模型的学习效率明显下降验证集上的语音质量评分UTMOS长时间停留在低位。研究团队的解决方法颇具巧思借鉴了人工智能领域专家混合MoE的思路。他们不再用一个卷积层来应付所有情况而是并排放置三个独立的卷积层每个卷积层固定负责一种向前看的设定0帧、1帧或2帧。训练时每次随机从这三个卷积层中选一个来参与计算部署时用户根据自己的延迟需求直接选定对应的那一个卷积层。这样一来每个卷积层始终在自己固定的填充配置下运作不会因为配置切换而产生干扰学习效率大幅提升。第二把钥匙是用于控制计算延迟的早退机制。模型的主体由12层处理模块堆叠而成层数越深模型的理解能力越强但计算量也越大、花费时间越长。早退的意思是给每一层都配上一个输出接口允许模型在任意一层提前交卷输出当前层次的处理结果。这样一来在计算资源有限的硬件上可以只用3到6层就得出结果在高性能机器上则可以跑完全部12层追求最优质量。通过10个不同的退出层位从第3层到第12层和3种向前看设定的组合这一个模型合计支持30种不同的延迟配置。**三、两阶段训练策略先统一规范再各自发挥**早退机制听起来很美但实际训练时却遭遇了一个棘手的问题每一个中间层都需要身兼二职——既要产出当前层次的高质量结果又要为后续更深的层次提供良好的特征基础。这两个目标有时会相互拉扯导致中间层的输出质量远不如专门为某一固定深度训练的模型。一种看似合理的解法是给每一层都配上一个独立的解码器解码器可以理解为把模型内部的草稿翻译成最终音频输出的翻译机。但实验结果出乎意料地令人失望——独立解码器反而让模型的学习变得更混乱不同层次之间缺乏共同语言整体性能显著下降学习曲线在图表上表现得平平无奇。研究团队由此发现强迫所有中间层共享同一个解码器反而能形成一种统一表示空间的约束——就像一个班级的所有学生都被要求用同一套答题格式虽然限制了个性化发挥但保证了彼此之间能够相互理解、协调配合。共享解码器的学习曲线明显优于独立解码器。但共享解码器也有其局限一旦所有层都共用同一套翻译规则每一层就没有机会根据自身深度的特点做个性化优化。于是研究团队设计了一套两阶段训练策略第一阶段叫做共享解码器阶段。在这一阶段模型的所有中间层共享同一个解码器进行训练每次训练时随机抽取一个退出层来参与计算。这一阶段一直训练到模型收敛为止目的是让所有中间层都在同一套语言体系下建立起良好的特征表达能力。第二阶段叫做多解码器阶段。当第一阶段训练稳定之后研究团队把共享解码器的权重复制多份分别分配给每一个退出层让每一层拥有自己的专属解码器。但为了防止乱改破坏第一阶段积累的共同表示空间编码器和序列建模模块也就是解码器之前的所有部分在这一阶段以一个更小的学习率进行微调变化幅度被刻意压低。解码器则正常学习专门优化本层的输出质量。这种先统一语言、再各自打磨的策略在验证集的学习曲线图上体现得非常直观两阶段训练的曲线在后期稳步超越了早期退出的基准并逐渐逼近专为单一深度训练的专用模型的性能上限。**四、模型的骨架为实时而生的架构设计**研究团队选用的基础架构是USEMamba这是一种基于Mamba序列模型的通用语音增强框架。Mamba的特点在于它支持类似RNN循环神经网络的推理方式也就是说它可以像一个有记忆的处理机一样逐帧接收输入、逐帧输出结果非常适合实时流式处理的场景。为了让模型既支持因果处理又保持灵活的向前看控制研究团队对原始架构进行了几处改造。首先把标准卷积层替换为因果卷积层并通过左填充数量的多少来精确控制向前看的帧数。其次把原本同时处理前向和后向信息的双向时序Mamba模块换成了只处理前向信息的单向版本彻底杜绝了提前看到未来的可能性。第三把实例归一化一种对数据进行标准化的技术替换为只沿通道维度计算的层归一化避免了跨时间步的信息泄露。最终模型的层数设定为12层总参数量约为370万。在处理速度的考量上研究团队发现12层全跑完的计算延迟约为25毫秒超过了20毫秒的单帧时长实时率达到1.25意味着在A100显卡上无法满足严格实时处理的要求需要更快的硬件或更少的层数。这一发现也从侧面说明了早退机制的实用价值——在普通硬件上用8层或更少的层数退出才是保证实时性的务实选择。模型还采用了一种叫做采样频率无关STFT的技术使得同一个模型能够处理从8kHz到48kHz各种采样率的音频输入。具体做法是无论输入是什么采样率都统一使用40毫秒的窗口长度和20毫秒的帧移长度只是对应的FFT点数会随采样率变化而调整。这样一来模型看到的始终是时间尺度一致的频谱图不会因为采样率变化而产生混乱。训练过程分两大阶段先用回归损失让输出尽量接近干净语音进行预训练再用对抗损失加入判别器让输出听起来更自然、更高质量进行微调。优化器选用AdamW学习率为0.0002多解码器阶段前置模块的学习率降为十分之一。**五、实验结果数字背后的性能故事**研究团队在两个测试集上评估了模型的表现使用了多达八种评测指标覆盖了感知质量、语音清晰度、下游任务表现等多个维度。在URGENT 2025挑战赛的测试集上研究团队对比了四种方案专用模型针对单一深度和固定向前看设置训练代表性能上限、普通早退、加入并行卷积层MoE的早退、以及进一步加入多解码器阶段的完整方案。以8层退出、0帧向前看为例专用模型的UTMOS得分为2.36普通早退为2.32加入并行卷积层后为2.28加入多解码器阶段后回升到2.31。ASR字符准确率方面专用模型达到83.71%普通早退为81.84%加入MoE后升至82.72%加入多解码器阶段后进一步升至83.10%已非常接近专用模型的水平。在增加向前看帧数的场景下差距更为明显。以8层退出、1帧向前看为例专用模型的UTMOS为2.42、ASR准确率为84.93%。普通早退方法在这一配置下完全无法工作标记为N/A因为它根本不支持调整向前看帧数。而加入并行卷积层MoE后UTMOS达到2.34ASR准确率达到84.06%再叠加多解码器阶段UTMOS升至2.37ASR准确率升至84.62%与专用模型的差距已经非常小。从总延迟与性能的关系图来看UTMOS评分随模型深度增加的提升明显大于随向前看帧数增加的提升。而ASR准确率对向前看帧数更敏感——从0帧增加到1帧时准确率有明显跳跃但从1帧继续增加到2帧收益就变得微乎其微了。这一发现对实际部署具有指导意义如果目标是提升语音识别效果增加1帧向前看就够了不必为了第2帧牺牲额外的20毫秒延迟。在VoiceBank-DEMAND这个语音增强领域的经典测试集上研究团队与Diffusion Buffer、DEMUCS、DeepFilterNet3、Stream.FM等主流实时语音增强模型进行了对比。值得注意的是这个测试集并不在研究团队的训练数据中因此这次对比同时也是对模型泛化能力的检验。以8层退出、0帧向前看的配置研究团队的模型在PESQ语音感知质量、ESTOI语音清晰度、SI-SDR信噪比三个指标上均优于所有对比模型且参数量只有290万远少于DEMUCS的3350万和Stream.FM的5250万。将向前看设定为1帧后三项指标进一步提升展现出了框架的灵活性带来的实际收益。**六、从研究室到你的设备部署的实用逻辑**研究团队还特别描述了这套框架在实际部署时的操作逻辑。用户只需下载完整模型然后在自己的目标硬件上分别测试不同退出层和向前看组合的实际延迟找到在满足自身延迟预算前提下性能最好的那个配置。一旦确定配置就可以把多余的层和多余的卷积分支都裁剪掉只保留所需部分——这样得到的模型大小和专用模型完全相同没有任何额外的参数冗余。研究团队还提醒了一个实用的决策原则计算延迟既要满足总延迟预算又必须满足实时率小于1的硬性约束而算法延迟只需满足总延迟预算。因此当用户所用的硬件计算能力有限时可以优先考虑牺牲一点算法延迟增加向前看帧数来换取更好的音质而不是一味追求更深的模型层数。在未来工作方面研究团队提到了几个潜在的改进方向模型剪枝和量化可以进一步压缩计算量与现有框架自然兼容借鉴大型语言模型压缩领域的知识蒸馏技术让浅层退出的性能进一步逼近深层退出也是一条值得探索的路径。归根结底这项研究做的事情可以用一句话概括用一个模型覆盖了过去需要几十个模型才能覆盖的应用场景。它不是某一个单一指标上的突破而是在灵活性与性能之间找到了一条务实的平衡路径——既不像专用模型那样死板也不像纯粹的通用模型那样以牺牲质量为代价。对于那些需要在各种设备和各种场景下部署语音增强功能的工程师来说这套框架提供了一个真正可以落地的一体化解决方案。你可能会想既然参数量只有370万比许多竞争对手小得多它究竟是怎么做到在这么多指标上超过体量大几十倍的对手的答案或许就藏在两阶段训练策略和并行卷积层设计的协同效果里——有时候训练方式的巧妙比模型本身的规模更能决定最终的成败。对这背后的细节感兴趣的读者不妨通过arXiv编号2606.25621找到原论文深入探索其中的技术细节。---QAQ1语音增强模型中的算法延迟和计算延迟有什么区别A算法延迟是指模型在开始处理之前必须先积累足够多的输入音频数据所产生的等待时间由音频窗口长度和向前看帧数决定与硬件无关。计算延迟则是拿到输入数据后模型真正跑完计算所需的时间取决于模型复杂度和运行硬件的性能。两者加在一起才是用户实际感受到的总延迟。Q2早退机制为什么能控制计算延迟直接用小模型不行吗A早退机制的优势在于用一个模型覆盖多种计算深度无需为每种硬件条件单独训练一个小模型。部署时只需在同一个模型内选择退出层浅层退出计算量小、延迟低深层退出质量好、延迟高。直接用独立的小模型虽然也能减少计算量但需要为每种场景分别训练和维护灵活性和工程效率远不如早退机制。Q3并行卷积层MoE方案和直接切换单个卷积层的填充方式有什么本质差别A核心差别在于学习稳定性。直接切换同一个卷积层的填充方式会因为卷积的平移等变性而在不同填充配置之间产生特征偏移干扰后续序列建模模块的学习导致训练效率下降。而并行卷积层方案让每个卷积层始终固定在一种填充配置下工作各自独立学习互不干扰训练过程更稳定最终性能也更好。