跳转至

一、语音唤醒

人人都是产品经理-加饭-智能座舱之语音唤醒

从网上收集的新息和项目上不敏感角度出发,引用如下指标,并进行一定的评价:

  • 误唤醒率(单位通常为次 / 小时)下,目前商用误唤醒一般要求1-2次/12h。指标是按高强度压测下进行的,因此一般这个指标不会进行特别的变化。考虑到新需求的引入,这个指标能不增加已经是不易的事情。正如甲方提过的,你要多少,我就能给你测出多少,因此不能抛开用户的实际体验,而大谈特谈误唤醒。csdn-ai360-引用
  • 唤醒率(通常用百分比表示),商用唤醒率一般要求90%以上,尽可能降低漏唤醒率。实际这几年不可能90%这么低的指标,实际场景中,会按快语速、方言vs普通话、噪声、干扰、回声作为影响因素,设置不同的指标。从项目上的迭代速度上看,唤醒优化并不难,难得是客户的预期往往存在偏差,对于相似词过分要求、对普通话口音要关注到什么程度、对日常天天含唤醒词下经常发音不标准,要优化的什么程度,这些问题是很考验一个产品经理的判断能力的。舆情也是对这类问题有很大的影响,一些用户习惯暴力说一些脏话或搞笑的话,处理了对正常效果一般就是有影响,所以也涉及到平衡的艺术。近年来新增的车厂增加,稍不留意,就能用其他厂商的唤醒词来唤醒自己的,虽然无辜,但也是不得不处理的事实。
  • 响应时间:一般设备的唤醒检测模块都是放在本地的,这是为了可以快速响应,本地响应可以将响应时间控制在300-700ms之间。如果进行云端2次确认,这个识别降低唤醒的响应时长,会被延长到900ms~1.2S之间,如果网络环境差,这个时间可能更久。知乎涂鸦卧龙-引用
  • 功耗: 看应用场景,大多数场景下一般是不考虑。
  • 自激:一般不允许出现。
  • 定位率:对于车载场景,基于波束分离技术、模型得分、信号能量等新息实现,定位是用户基础体验的一环,一般指标会定的比较高。

从家用智能音响领域上看,很明显的可以感觉夜间会刻意压误唤醒,而导致唤醒率降低。 近年来,唤醒词还承载了另外一个功能那就是声纹检测,从而提供个性化的服务,对唤醒和声纹的应用也带来了很大的挑战。

二、技术原理

知乎-语音唤醒技术的原理 知乎-52AI-语音唤醒技术的原理 csdn-嗹国学长-CTC语音唤醒

  • OpenWakeWord — 开源,家居场景,支持多唤醒词
  • MicroWakeWord — 专为 ESP32 等 MCU 设计
  • NanoWakeWord — 11 种架构可选,模型极小(40KB)

2.1 相似词抑制

Fable5.1 大模型结果

2.1.1 数据层

  • 2020 年的 Training Wake Word Detection with Synthesized Speech Data on Confusion Words 直接针对这个问题,用多说话人 TTS 合成混淆词加入训练,验证了合成负样本对相似词误唤醒的压制效果。
  • 2022 年 Generating Adversarial Samples for Training Wake-up Word Detection Systems Against Confusing Words 进一步让生成过程对抗化,专挑当前模型最容易误触发的相似词合成。
  • 2025 年 GraphemeAug 系统化地按编辑距离生成相似词,给出了实用结论:把负样本里 10% 替换成相似词就有明显收益,并研究了编辑距离和相似词数量对效果的影响。
  • 2025 年 LLM-Synth4KWS 用大模型自动生成相似词列表再合成,解决自定义唤醒词无法人工枚举相似词的问题。
  • 微软 ICASSP 2020 的 Mining Effective Negative Training Samples for Keyword Spotting 从真实数据里按后验排序挖最难的负帧来训练。

2.1.2 损失层

损失层:让模型只在关键词结束处尖峰输出

  • Amazon 2017 年的 Max-pooling Loss Training of LSTM for Small-footprint KWS 让网络自己挑关键词内最有信息量的帧来学,负样本则压制其最高帧,直接优化"相似词不能触发"。
  • 2020 年 Smoothed Max Pooling 放宽对强制对齐精度的依赖,同时学关键词的部分和整体。
  • 2024 年 Contrastive Learning with Audio Discrimination for Customizable KWS 用对比学习把关键词和相似词在嵌入空间拉开,专为自定义唤醒词设计。

2.1.3 判决层

判决层:两阶段,第二阶段专门做验证

  • Amazon ICASSP 2018 的 Monophone-based Background Modeling for Two-stage On-device Wake Word Detection 用单音素背景模型和关键词路径竞争,第一阶段粗检、第二阶段细验,固定漏报时误唤醒相对下降 37%。
  • Amazon 2020 年的 Building a Robust Word-level Wakeword Verification Network 在候选段上跑一个独立的词级验证网络,它看的是整段而不是逐帧,对相似词的判别力比解码器强。

现在引擎里的音节判决头就是这一类,我前面建议保留 1333 维音节头做二次判决,依据就在这里。

2.1.4 解码层

解码层:似然比而不是绝对得分

关键词路径得分减去背景路径得分,相似词在关键词路径上得分也不低,但在背景路径上得分更高,比值把它压下去。Amazon 2018 那篇的背景建模就是在做这件事。

Training Wake Word Detection with Synthesized Speech Data on Confusion Words (arXiv 2011.01460) Generating Adversarial Samples For Training Wake-up Word Detection Systems Against Confusing Words (arXiv 2201.00167) GraphemeAug: A Systematic Approach to Synthesized Hard Negative Keyword Spotting Examples (arXiv 2505.14814) LLM-Synth4KWS: Scalable Automatic Generation and Synthesis of Confusable Data for Custom Keyword Spotting (arXiv 2505.22995) Mining Effective Negative Training Samples for Keyword Spotting (Microsoft, ICASSP 2020) Max-pooling Loss Training of LSTM Networks for Small-footprint Keyword Spotting (arXiv 1705.02411) Learning To Detect Keyword Parts And Whole By Smoothed Max Pooling (arXiv 2001.09246) Contrastive Learning with Audio Discrimination for Customizable Keyword Spotting in Continuous Speech (arXiv 2401.06485) Monophone-based Background Modeling for Two-stage On-device Wake Word Detection (Amazon, ICASSP 2018) Building a Robust Word-level Wakeword Verification Network (Amazon Science)