语音识别与合成原理

语音 AI 主要包含两个方向：语音识别 ASR 和语音合成 TTS。ASR 把人说的话转换成文字，TTS 把文字转换成自然语音。

语音识别ASR在做什么

当你对手机说“明天早上八点叫我起床”，系统首先要把声音信号变成文字。这个过程不是简单录音，而是要处理采样、降噪、特征提取、声学建模和语言理解。

现实语音很复杂：有人说话快，有人口音重，有背景噪声，还有停顿、重复和口头禅。ASR 系统要在这些干扰下尽量识别正确文字。

ASR的基本流程

1. 麦克风采集音频。
2. 对音频做降噪、分段和格式转换。
3. 模型把声音片段映射成文字 token。
4. 根据上下文修正可能的词语。
5. 输出带标点或时间戳的文本。

会议转写、字幕生成、语音输入法都依赖这个流程。

语音合成TTS在做什么

TTS 的目标是让机器把文字读出来，而且尽量自然。早期 TTS 声音机械，现在的神经网络 TTS 可以生成更接近真人的语调、节奏和情绪。

一个 TTS 系统通常要处理：文本规范化、分词、发音预测、韵律预测、声学特征生成和声码器合成。

音色克隆是什么

音色克隆是根据少量语音样本生成相似音色。它可以用于有声书、虚拟主播、辅助无障碍沟通，但也有很高风险：未经授权模仿他人声音可能侵犯权益，甚至用于诈骗。

因此语音克隆必须明确授权，并加水印、审核和使用限制。

常见评价指标

ASR 常看字错误率或词错误率，也要看专有名词、数字和标点是否正确。TTS 常看自然度、清晰度、情感表达和听感疲劳。

在真实项目中，单一指标不够。客服场景更重视关键词识别，字幕场景更重视时间戳，播客场景更重视自然度。

实际项目注意事项

• 噪声环境要单独测试；
• 方言和口音需要覆盖；
• 专有名词要建立词表；
• 长音频要分段处理；
• 隐私音频要加密和授权；
• 合成语音要防止冒用。

小结

语音 AI 让人机交互从键盘走向自然语言。ASR 解决“听懂”，TTS 解决“说出来”。真正好用的语音系统，不只看模型，还要处理噪声、延迟、隐私、授权和场景适配。