语音识别与语音合成

语音技术处理随时间变化的声学信号。完整语音交互通常不只有一个模型，而是语音活动检测、降噪、识别、语言理解、回答生成和语音合成的组合。

三类核心能力

能力	输入	输出
ASR 语音识别	音频	文本和时间戳
TTS 语音合成	文本和声音条件	音频
说话人技术	音频	身份、分段或声纹表示

语音识别链路

麦克风音频 -> VAD -> 降噪/回声消除 -> 声学特征 -> 识别模型 -> 解码 -> 标点和热词

• VAD 判断哪里有人声，减少无效计算。
• 声学模型把音频映射到文字单位或表示。
• 解码器结合模型分数和语言约束形成文本。
• 热词用于提高产品名、人名和专业词识别率。

流式识别需要边接收边输出，延迟低但上下文有限；离线识别可以看完整音频，通常准确率更高。

语音合成链路

现代 TTS 通常包括文本规范化、语言特征建模和声码器：

文本 -> 数字/符号规范化 -> 音素和韵律 -> 声学表示 -> 声码器 -> 波形

“2026-07-10”“¥19.9”和英文缩写如何读，属于文本规范化问题；停顿、重音和情绪属于韵律问题；声音是否自然、是否有噪声，与声学模型和声码器都有关。

评估

• ASR：WER、CER、关键词召回率、实时因子、首字延迟。
• TTS：自然度、可懂度、说话人相似度、韵律、生成速度。
• 语音交互：端到端任务成功率和用户打断响应。

总体字符错误率可能掩盖专有名词问题，应单独评估数字、地址、人名、产品名和业务关键词。

常见工程问题

• 远场、噪声、混响和多人重叠说话。
• 方言、口音和中英文混说。
• 音频采样率、声道和编码不一致。
• 流式分段切断完整语义。
• 合成声音机械，停顿和重音不自然。
• 声音克隆涉及授权、冒用和隐私风险。

实时语音助手

端到端体验取决于整条链路，而不只是模型准确率：

1. 快速判断用户开始和结束说话。
2. 流式转写并保留可修正空间。
3. 根据上下文理解意图。
4. 生成简洁、适合口语的回答。
5. 流式合成并支持用户打断。
6. 对关键操作再次确认。

语音系统的质量来自正确率、延迟和交互节奏三者共同平衡。