简介一份基于HMM与MFCC特征实现数字0-9语音识别的完整项目GMMHMM混合建模与MFCC特征提取为核心脉络适合计算机相关专业学生用于课程设计、期末大作业或项目实战练习。资源包共含34个文件以Python脚本hmm_gmm.py、实验报告PDF、README说明、data_zh语音样本、wav音频及多种配置与索引文件为主体积仅1.54MB结构精简。已有76人浏览学习适合需要快速搭建数字语音识别实验环境的读者。内容覆盖MFCC特征处理、HMM/GMMHMM模型训练与识别流程提供可直接运行的代码、规范实验报告和配套数据样本能够帮助理解语音识别从特征提取到模型解码的完整链路也可作为答辩演示与代码复现的参考依据。1. 把“0-9”听明白为什么偏偏是HMM和MFCC当你对着麦克风说“三”电脑听到的只是一串每秒16000个采样点的浮点数。要把这串数字变成文本“3”本质上是解决一个模式识别问题这串声学信号属于哪个发音类别在深度学习普及之前HMM隐马尔可夫模型加MFCC梅尔频率倒谱系数是工业界和学术界最成熟的开源方案直到今天很多轻量级语音识别模块、嵌入式离线唤醒词、甚至ESP32这类MCU上的关键词检测内核依然是这套组合。HMM擅长建模语音随时间变化的动态过程MFCC则把一帧帧的波形压缩成对人耳更友好的声学特征两者搭配正好覆盖了“特征提取”和“时序建模”两大环节。这篇博文不假设你有语音识别基础但会默认你懂Python、numpy和基本的概率论我会从MFCC怎么算开始一路写到GMM-HMM的训练、解码和调参最后给你一组能直接跑通的数字识别最小实现。2. MFCC特征提取从波形到一帧帧“声纹”2.1 为什么不用原始波形而要转成MFCC原始波形采样率16kHz一秒钟就是16000个点直接扔给模型维度太高而且波形里大量信息与发音内容无关比如音量大小、说话人音色。MFCC的核心思想是模拟人耳对频率的非线性感知人耳对低频更敏感对高频的分辨率随频率升高而降低。MFCC通过梅尔滤波器组把线性频率映射到梅尔刻度再取对数、做DCT得到一组彼此相关性低的倒谱系数。通常取12~13个系数再加上一阶差分、二阶差分组成39维或40维的特征向量。这样一秒钟语音变成约100帧每帧25毫秒帧移10毫秒每帧一个39维向量模型处理起来就非常规整了。2.2 用Python和librosa提取MFCC的最小代码librosa是最常用的音频特征库。如果你用的是Python环境先安装依赖pip install librosa numpy scipy python_speech_features下面这段代码把一段“0”的录音转换成MFCC特征矩阵import librosa import numpy as np def extract_mfcc(file_path, n_mfcc13, n_fft512, hop_length160): # 加载音频sr16000表示强制重采样到16kHz y, sr librosa.load(file_path, sr16000) # 提取MFCC返回形状为 (n_mfcc, n_frames) 的矩阵 mfcc librosa.feature.mfcc( yy, srsr, n_mfccn_mfcc, # 倒谱系数个数 n_fftn_fft, # FFT窗口大小512点对应32ms hop_lengthhop_length, # 帧移160点对应10ms windowhamming ) # 转置成 (n_frames, n_mfcc) 方便后续按帧处理 return mfcc.T # 示例提取单个音频文件 feat extract_mfcc(recordings/0_001.wav) print(feat.shape) # 期望输出类似 (120, 13)代码说明n_mfcc13是标准倒谱系数个数n_fft512在16kHz采样率下对应约32毫秒窗长hop_length160对应10毫秒帧移一秒钟语音约100帧。librosa默认使用hamming窗这个窗函数能减少频谱泄漏。提取后得到的矩阵每一行是一帧每一列是一个倒谱维度后续输入HMM的观测序列就是由这些帧向量组成。2.3 差分特征与特征归一化的实际作用只用13维静态MFCC模型无法捕捉发音的动态变化比如“一”的声调从高到低。实践中常用librosa.feature.delta计算一阶差分再对一阶差分算一次差分得到二阶差分。拼接后特征维度为3913静态 13一阶 13二阶。另外不同录音的响度差异会影响MFCC绝对值一般要做倒谱均值归一化CMVN即把每一维特征减去该维度在整个语音段上的均值def extract_mfcc_delta(file_path): mfcc extract_mfcc(file_path) # (frames, 13) # 一阶差分和二阶差分宽度9是常用窗口 delta1 librosa.feature.delta(mfcc, width9, order1) delta2 librosa.feature.delta(mfcc, width9, order2) feat np.hstack([mfcc, delta1, delta2]) # (frames, 39) # CMVN按列做均值归零 feat (feat - feat.mean(axis0, keepdimsTrue)) return feat提示CMVN在训练和测试时都要做并且要分别对每句话做不能在整个数据集上混着算否则测试时会偷看未来信息。3. HMM与GMM-HMM用状态转移描述发音过程3.1 HMM如何建模一个数字的读音一个数字的发音不是静止的比如“四”是“s”接“ì”声母韵母之间有明显的状态变化。HMM把每个数字建模成一个带隐状态的生成模型隐状态代表发音的“位置”比如开始、中间、结束状态之间按转移概率跳转每个状态按发射概率生成一帧MFCC特征。识别“0”零这个数字就是用训练好的“0”的HMM去计算这段语音的似然概率数字识别就是挑出似然最大的那个模型。对于孤立词识别每个数字单独说最常见的是每个数字用5个状态的从左到右拓扑只能从当前状态跳到自身或下一个状态强制描述发音的时间顺序。3.2 从单高斯到GMM为什么需要混合高斯如果每个状态只用一个高斯分布描述MFCC特征分布表达能力太弱。同一句话“五”有人读得快、音色低沉特征分布往往不是单峰。GMM-HMM的意思是每个状态的发射概率用多个高斯分量的加权和表示[ b_j(o_t) \sum_{m1}^{M} w_{jm} \mathcal{N}(o_t; \mu_{jm}, \Sigma_{jm}) ]其中M是高斯分量数w是混合权重。分量数越多描述复杂分布的能力越强但参数量也越大容易过拟合。数字0-9这类小词表每个状态用3到5个高斯分量就足够。GMM-HMM的参数包括初始状态概率π、状态转移矩阵A、每个状态的高斯权重、均值和协方差矩阵这些参数通过EM算法前向-后向算法 高斯参数重估迭代训练。3.3 用hmmlearn实现一个数字的GMM-HMMhmmlearn是Python里最常用的HMM库支持GaussianHMM和GMMHMM。这里用GMMHMM直接实现高斯混合发射概率from hmmlearn import hmm import numpy as np def train_digit_hmm(features_list, n_states5, n_mix3, n_iter50): features_list: 一个列表每个元素是 (n_frames_i, 39) 的特征矩阵 返回训练好的 GMMHMM 模型 model hmm.GMMHMM( n_componentsn_states, # 隐状态数量 n_mixn_mix, # 每个状态的高斯混合分量数 covariance_typediag, # 对角协方差参数少训练稳定 n_itern_iter, # EM最大迭代次数 tol1e-3, # 对数似然增益低于该值停止 random_state42 ) # hmmlearn要求输入为二维数组所有句子按帧拼接 X np.vstack(features_list) lengths [len(f) for f in features_list] # 每句话的帧数 model.fit(X, lengths) return model参数说明n_components5对应“开始-过渡-元音-过渡-结束”这种5段状态n_mix3表示每个状态用3个高斯分量covariance_typediag强制每个特征维度独立建模大大减少协方差矩阵参数量。lengths必须传给fit方法否则模型会把所有句子当成一个连续的观测序列来训练。3.4 为什么要用GMMHMM而不是GaussianHMMGaussianHMM每个状态只有一个高斯分布协方差类型可以选full或diag。对于数字识别一个状态内部的特征分布往往有明显的多峰性质同一个数字不同人的共振峰位置不同单高斯会把这些峰平均掉导致区分力下降。GMMHMM用多个高斯分量拟合多峰效果显著提升。但要注意GMMHMM的训练时间比GaussianHMM长很多且对初始值敏感。我的建议是先用GaussianHMM跑通流程再换成GMMHMM调参这样能更快定位问题是出在数据还是出在模型复杂度。4. 数字0-9的训练与识别完整实现4.1 数据集准备录音目录与标签这里不依赖任何公开大数据集而是自己录一段“0到9”各10遍或者用speech_commands这类开源数据集里包涵数字的部分。目录结构这样组织recordings/ 0/ 0_001.wav 0_002.wav ... 1/ 1_001.wav ...注意每个数字的音频最好时长在0.3秒到1.5秒之间太长会引入静音帧干扰模型太短则HMM状态数不足。录音用麦克风直接采集16kHz、16bit、单声道即可。如果手头有不均匀的音频先做静音切除import librosa def trim_silence(y, top_db30): # 用能量阈值切掉首尾静音top_db表示低于峰值30dB的音频视为静音 y_trim, _ librosa.effects.trim(y, top_dbtop_db) return y_trim4.2 训练全体数字模型并保存对每个数字单独训练一个GMMHMM然后统一保存到一个字典里import os import joblib from collections import defaultdict def load_features_by_digit(rootrecordings): data defaultdict(list) for digit in range(10): folder os.path.join(root, str(digit)) for fname in os.listdir(folder): if not fname.endswith(.wav): continue path os.path.join(folder, fname) y, sr librosa.load(path, sr16000) y trim_silence(y) if len(y) 800: # 少于50ms的音频直接丢弃 continue feat extract_mfcc_delta(path) data[digit].append(feat) return data # 训练所有数字模型 all_data load_features_by_digit() models {} for digit in range(10): models[digit] train_digit_hmm(all_data[digit]) print(fdigit {digit} trained, log like: {models[digit].score(np.vstack(all_data[digit]), [len(f) for f in all_data[digit]])}) # 保存模型和特征配置 joblib.dump(models, digit_hmm_models.pkl)读取时用joblib.load即可。注意trim_silence会改变音频长度所以必须在提取MFCC之前裁剪不能先提取再裁剪因为帧的位置会错位。4.3 识别单个音频计算所有模型的得分并取最大识别时把待识别音频提取MFCC特征序列然后分别计算每个模型的对数似然取最高分对应的数字作为识别结果def predict_digit(file_path, models): # 和训练时完全相同的特征提取流程 y, sr librosa.load(file_path, sr16000) y trim_silence(y) feat extract_mfcc_delta(file_path) # 注意内部重新load了可以优化成传入y scores {} for digit, model in models.items(): # score返回对数似然 scores[digit] model.score(feat) best max(scores, keyscores.get) return best, scores # 测试 result, scores predict_digit(recordings/5/test_5_001.wav, models) print(识别结果:, result) print(各数字得分:, scores)这里有一个关键点model.score(feat)要求feat是二维数组形状为(n_frames, n_features)。如果某个模型的特征维度与训练时不匹配比如训练时用了39维测试时不小心用了13维score会直接报错所以特征提取函数的参数必须全局统一。我通常把extract_mfcc_delta封装成唯一入口避免各处参数漂移。4.4 性能评估与混淆矩阵训练完模型后你需要一个独立的测试集与训练集不同人录制或同人但不同批次。评估指标主要是准确率、每类的召回率。下面这段代码输出混淆矩阵from sklearn.metrics import confusion_matrix, accuracy_score, classification_report y_true [] y_pred [] for digit in range(10): test_folder os.path.join(test_recordings, str(digit)) for fname in os.listdir(test_folder): if not fname.endswith(.wav): continue path os.path.join(test_folder, fname) pred, _ predict_digit(path, models) y_true.append(digit) y_pred.append(pred) print(准确率:, accuracy_score(y_true, y_pred)) print(classification_report(y_true, y_pred, digits4)) cm confusion_matrix(y_true, y_pred) print(混淆矩阵:\n, cm)classification_report给出每个数字的precision、recall、f1-score。如果发现“4”和“10”容易混实际上“四”和“十”声母相近需要检查是不是录音里的口音问题或是MFCC维度过低丢失了韵母差异。常见混淆还有“1”和“7”因为元音部分相似这时可以尝试增加状态数或高斯分量数看看是否能提升。4.5 参数表从经验值出发调优下面这组参数是我在多次实验后的常用起点覆盖绝大多数数字词表任务参数推荐值说明采样率16000 Hz人声频带主要能量在4kHz内16k足够帧长25 ms (n_fft400/512)过短频率分辨率差过长时间分辨率差帧移10 ms (hop_length160)标准配置每帧间有重叠MFCC维度130-9孤立词不用太高过高引入噪声差分阶数2一阶二阶共39维HMM状态数5数字发音平均0.5秒5状态足够高斯分量数3训练样本少时用3样本多可到5协方差类型diagfull在样本少时数值不稳定EM迭代次数50一般20-30次收敛50是安全值CMVN每句做必须做不做准确率下降5-10%提示状态数和分量数不是越大越好。每增加一个状态就需要更多训练数据来估计转移概率否则会出现欠拟合现象测试集上的准确率不升反降。5. 提升识别率的四个关键技巧与踩坑清单5.1 用多个发音模板做“模型插值”一个数字的HMM是单模型但当训练数据只有每人一两遍时模型对说话人的音色非常敏感。常见做法是训练时对每个数字的音频做速度扰动将音频拉伸到0.9倍和1.1倍生成三个版本一起训练。这样模型学到的状态转移概率更健壮能容忍语速变化。实现速度扰动用librosa.effects.time_stretchdef augment_speed(y, rate): # rate 1 加速 1 减速 return librosa.effects.time_stretch(y, raterate)在load_features_by_digit里对每段原始音频生成rate0.9和rate1.1两份连同原始版本一起提取MFCC。这个操作能显著提高同一个人不同语速下的识别率。5.2 识别时用“前向算法”的log似然做归一化不同长度音频的对数似然可比性差因为帧数越多对数似然的绝对值越大。在一个词表固定的情况下如果你的待识别语音里混杂了静音或非数字词简单比较score会偏向长音频。一种改进是计算“平均对数似然”即score除以帧数def predict_digit_avg(file_path, models): feat extract_mfcc_delta(file_path) scores {} for digit, model in models.items(): log_lik model.score(feat) scores[digit] log_lik / len(feat) # 平均帧对数似然 return max(scores, keyscores.get)这个技巧对等长数字识别提升不大但对“数字前有呼吸声”或“句尾拖音”的情况很有效因为那些多余的帧会拉低平均得分而真实数字模型的平均得分相对稳定。5.3 遇到“开箱即用”的语音识别模块时怎么对接市面上很多语音识别模块如LD3320、讯飞离线识别模块内部方案并非HMMMFCC但它们输出的识别结果都是文本。如果你用本文训练的HMM模型想嵌入到嵌入式设备上比如ESP32常见路径是用C语言重写MFCC和Viterbi解码把模型参数导出成C数组。这里有个简单的导出方法import json # 将模型参数转成Python字典方便手动实现 params {} for digit, model in models.items(): params[digit] { startprob: model.startprob_.tolist(), transmat: model.transmat_.tolist(), means: [m.ravel().tolist() for m in model.means_], covars: [c.ravel().tolist() for c in model.covars_], weights: [w.ravel().tolist() for w in model.weights_], # GMMHMM的混合权重 } with open(hmm_params.json, w) as f: json.dump(params, f)在嵌入式端你需要自己实现前向算法或Viterbi算法来计算对数似然特征提取段用定点或浮点模拟MFCC。这个过程工作量不小但能让你完全掌握模型内部也方便在资源受限设备上部署。5.4 经典踩坑维度不一致、静音处理、状态数过少最后整理三个高频问题方便你对照排查。第一个坑训练和测试提取的MFCC维度不一致。很多人训练时用13维MFCC不带差分测试时又加了差分或者反过来导致model.score直接抛异常。我的建议是把特征提取函数写成一个独立模块用参数控制n_mfcc、use_delta并把特征维度打印出来。第二个坑没有做静音切除。长音频开头的静音帧会给HMM初始状态增加不必要的概率冲击导致第一个状态的均值和方差被静音污染。静音帧的MFCC特征全是低频能量和真实发音差异很大模型会为了拟合静音而扭曲状态分布。第三个坑状态数设成20甚至更多。虽然HMM理论上可以建模任意长度时序但数字只有0.3-1秒状态数过多会导致每个状态只对应几帧训练时转移概率估计方差极大测试时轻微语速变化就导致路径偏移。先固定5状态确认效果后再逐步加每次加1-2个状态观察测试集准确率变化。本文还有配套的精品资源点击获取
基于MFCC和GMM-HMM的数字语音识别从零实现
简介一份基于HMM与MFCC特征实现数字0-9语音识别的完整项目GMMHMM混合建模与MFCC特征提取为核心脉络适合计算机相关专业学生用于课程设计、期末大作业或项目实战练习。资源包共含34个文件以Python脚本hmm_gmm.py、实验报告PDF、README说明、data_zh语音样本、wav音频及多种配置与索引文件为主体积仅1.54MB结构精简。已有76人浏览学习适合需要快速搭建数字语音识别实验环境的读者。内容覆盖MFCC特征处理、HMM/GMMHMM模型训练与识别流程提供可直接运行的代码、规范实验报告和配套数据样本能够帮助理解语音识别从特征提取到模型解码的完整链路也可作为答辩演示与代码复现的参考依据。1. 把“0-9”听明白为什么偏偏是HMM和MFCC当你对着麦克风说“三”电脑听到的只是一串每秒16000个采样点的浮点数。要把这串数字变成文本“3”本质上是解决一个模式识别问题这串声学信号属于哪个发音类别在深度学习普及之前HMM隐马尔可夫模型加MFCC梅尔频率倒谱系数是工业界和学术界最成熟的开源方案直到今天很多轻量级语音识别模块、嵌入式离线唤醒词、甚至ESP32这类MCU上的关键词检测内核依然是这套组合。HMM擅长建模语音随时间变化的动态过程MFCC则把一帧帧的波形压缩成对人耳更友好的声学特征两者搭配正好覆盖了“特征提取”和“时序建模”两大环节。这篇博文不假设你有语音识别基础但会默认你懂Python、numpy和基本的概率论我会从MFCC怎么算开始一路写到GMM-HMM的训练、解码和调参最后给你一组能直接跑通的数字识别最小实现。2. MFCC特征提取从波形到一帧帧“声纹”2.1 为什么不用原始波形而要转成MFCC原始波形采样率16kHz一秒钟就是16000个点直接扔给模型维度太高而且波形里大量信息与发音内容无关比如音量大小、说话人音色。MFCC的核心思想是模拟人耳对频率的非线性感知人耳对低频更敏感对高频的分辨率随频率升高而降低。MFCC通过梅尔滤波器组把线性频率映射到梅尔刻度再取对数、做DCT得到一组彼此相关性低的倒谱系数。通常取12~13个系数再加上一阶差分、二阶差分组成39维或40维的特征向量。这样一秒钟语音变成约100帧每帧25毫秒帧移10毫秒每帧一个39维向量模型处理起来就非常规整了。2.2 用Python和librosa提取MFCC的最小代码librosa是最常用的音频特征库。如果你用的是Python环境先安装依赖pip install librosa numpy scipy python_speech_features下面这段代码把一段“0”的录音转换成MFCC特征矩阵import librosa import numpy as np def extract_mfcc(file_path, n_mfcc13, n_fft512, hop_length160): # 加载音频sr16000表示强制重采样到16kHz y, sr librosa.load(file_path, sr16000) # 提取MFCC返回形状为 (n_mfcc, n_frames) 的矩阵 mfcc librosa.feature.mfcc( yy, srsr, n_mfccn_mfcc, # 倒谱系数个数 n_fftn_fft, # FFT窗口大小512点对应32ms hop_lengthhop_length, # 帧移160点对应10ms windowhamming ) # 转置成 (n_frames, n_mfcc) 方便后续按帧处理 return mfcc.T # 示例提取单个音频文件 feat extract_mfcc(recordings/0_001.wav) print(feat.shape) # 期望输出类似 (120, 13)代码说明n_mfcc13是标准倒谱系数个数n_fft512在16kHz采样率下对应约32毫秒窗长hop_length160对应10毫秒帧移一秒钟语音约100帧。librosa默认使用hamming窗这个窗函数能减少频谱泄漏。提取后得到的矩阵每一行是一帧每一列是一个倒谱维度后续输入HMM的观测序列就是由这些帧向量组成。2.3 差分特征与特征归一化的实际作用只用13维静态MFCC模型无法捕捉发音的动态变化比如“一”的声调从高到低。实践中常用librosa.feature.delta计算一阶差分再对一阶差分算一次差分得到二阶差分。拼接后特征维度为3913静态 13一阶 13二阶。另外不同录音的响度差异会影响MFCC绝对值一般要做倒谱均值归一化CMVN即把每一维特征减去该维度在整个语音段上的均值def extract_mfcc_delta(file_path): mfcc extract_mfcc(file_path) # (frames, 13) # 一阶差分和二阶差分宽度9是常用窗口 delta1 librosa.feature.delta(mfcc, width9, order1) delta2 librosa.feature.delta(mfcc, width9, order2) feat np.hstack([mfcc, delta1, delta2]) # (frames, 39) # CMVN按列做均值归零 feat (feat - feat.mean(axis0, keepdimsTrue)) return feat提示CMVN在训练和测试时都要做并且要分别对每句话做不能在整个数据集上混着算否则测试时会偷看未来信息。3. HMM与GMM-HMM用状态转移描述发音过程3.1 HMM如何建模一个数字的读音一个数字的发音不是静止的比如“四”是“s”接“ì”声母韵母之间有明显的状态变化。HMM把每个数字建模成一个带隐状态的生成模型隐状态代表发音的“位置”比如开始、中间、结束状态之间按转移概率跳转每个状态按发射概率生成一帧MFCC特征。识别“0”零这个数字就是用训练好的“0”的HMM去计算这段语音的似然概率数字识别就是挑出似然最大的那个模型。对于孤立词识别每个数字单独说最常见的是每个数字用5个状态的从左到右拓扑只能从当前状态跳到自身或下一个状态强制描述发音的时间顺序。3.2 从单高斯到GMM为什么需要混合高斯如果每个状态只用一个高斯分布描述MFCC特征分布表达能力太弱。同一句话“五”有人读得快、音色低沉特征分布往往不是单峰。GMM-HMM的意思是每个状态的发射概率用多个高斯分量的加权和表示[ b_j(o_t) \sum_{m1}^{M} w_{jm} \mathcal{N}(o_t; \mu_{jm}, \Sigma_{jm}) ]其中M是高斯分量数w是混合权重。分量数越多描述复杂分布的能力越强但参数量也越大容易过拟合。数字0-9这类小词表每个状态用3到5个高斯分量就足够。GMM-HMM的参数包括初始状态概率π、状态转移矩阵A、每个状态的高斯权重、均值和协方差矩阵这些参数通过EM算法前向-后向算法 高斯参数重估迭代训练。3.3 用hmmlearn实现一个数字的GMM-HMMhmmlearn是Python里最常用的HMM库支持GaussianHMM和GMMHMM。这里用GMMHMM直接实现高斯混合发射概率from hmmlearn import hmm import numpy as np def train_digit_hmm(features_list, n_states5, n_mix3, n_iter50): features_list: 一个列表每个元素是 (n_frames_i, 39) 的特征矩阵 返回训练好的 GMMHMM 模型 model hmm.GMMHMM( n_componentsn_states, # 隐状态数量 n_mixn_mix, # 每个状态的高斯混合分量数 covariance_typediag, # 对角协方差参数少训练稳定 n_itern_iter, # EM最大迭代次数 tol1e-3, # 对数似然增益低于该值停止 random_state42 ) # hmmlearn要求输入为二维数组所有句子按帧拼接 X np.vstack(features_list) lengths [len(f) for f in features_list] # 每句话的帧数 model.fit(X, lengths) return model参数说明n_components5对应“开始-过渡-元音-过渡-结束”这种5段状态n_mix3表示每个状态用3个高斯分量covariance_typediag强制每个特征维度独立建模大大减少协方差矩阵参数量。lengths必须传给fit方法否则模型会把所有句子当成一个连续的观测序列来训练。3.4 为什么要用GMMHMM而不是GaussianHMMGaussianHMM每个状态只有一个高斯分布协方差类型可以选full或diag。对于数字识别一个状态内部的特征分布往往有明显的多峰性质同一个数字不同人的共振峰位置不同单高斯会把这些峰平均掉导致区分力下降。GMMHMM用多个高斯分量拟合多峰效果显著提升。但要注意GMMHMM的训练时间比GaussianHMM长很多且对初始值敏感。我的建议是先用GaussianHMM跑通流程再换成GMMHMM调参这样能更快定位问题是出在数据还是出在模型复杂度。4. 数字0-9的训练与识别完整实现4.1 数据集准备录音目录与标签这里不依赖任何公开大数据集而是自己录一段“0到9”各10遍或者用speech_commands这类开源数据集里包涵数字的部分。目录结构这样组织recordings/ 0/ 0_001.wav 0_002.wav ... 1/ 1_001.wav ...注意每个数字的音频最好时长在0.3秒到1.5秒之间太长会引入静音帧干扰模型太短则HMM状态数不足。录音用麦克风直接采集16kHz、16bit、单声道即可。如果手头有不均匀的音频先做静音切除import librosa def trim_silence(y, top_db30): # 用能量阈值切掉首尾静音top_db表示低于峰值30dB的音频视为静音 y_trim, _ librosa.effects.trim(y, top_dbtop_db) return y_trim4.2 训练全体数字模型并保存对每个数字单独训练一个GMMHMM然后统一保存到一个字典里import os import joblib from collections import defaultdict def load_features_by_digit(rootrecordings): data defaultdict(list) for digit in range(10): folder os.path.join(root, str(digit)) for fname in os.listdir(folder): if not fname.endswith(.wav): continue path os.path.join(folder, fname) y, sr librosa.load(path, sr16000) y trim_silence(y) if len(y) 800: # 少于50ms的音频直接丢弃 continue feat extract_mfcc_delta(path) data[digit].append(feat) return data # 训练所有数字模型 all_data load_features_by_digit() models {} for digit in range(10): models[digit] train_digit_hmm(all_data[digit]) print(fdigit {digit} trained, log like: {models[digit].score(np.vstack(all_data[digit]), [len(f) for f in all_data[digit]])}) # 保存模型和特征配置 joblib.dump(models, digit_hmm_models.pkl)读取时用joblib.load即可。注意trim_silence会改变音频长度所以必须在提取MFCC之前裁剪不能先提取再裁剪因为帧的位置会错位。4.3 识别单个音频计算所有模型的得分并取最大识别时把待识别音频提取MFCC特征序列然后分别计算每个模型的对数似然取最高分对应的数字作为识别结果def predict_digit(file_path, models): # 和训练时完全相同的特征提取流程 y, sr librosa.load(file_path, sr16000) y trim_silence(y) feat extract_mfcc_delta(file_path) # 注意内部重新load了可以优化成传入y scores {} for digit, model in models.items(): # score返回对数似然 scores[digit] model.score(feat) best max(scores, keyscores.get) return best, scores # 测试 result, scores predict_digit(recordings/5/test_5_001.wav, models) print(识别结果:, result) print(各数字得分:, scores)这里有一个关键点model.score(feat)要求feat是二维数组形状为(n_frames, n_features)。如果某个模型的特征维度与训练时不匹配比如训练时用了39维测试时不小心用了13维score会直接报错所以特征提取函数的参数必须全局统一。我通常把extract_mfcc_delta封装成唯一入口避免各处参数漂移。4.4 性能评估与混淆矩阵训练完模型后你需要一个独立的测试集与训练集不同人录制或同人但不同批次。评估指标主要是准确率、每类的召回率。下面这段代码输出混淆矩阵from sklearn.metrics import confusion_matrix, accuracy_score, classification_report y_true [] y_pred [] for digit in range(10): test_folder os.path.join(test_recordings, str(digit)) for fname in os.listdir(test_folder): if not fname.endswith(.wav): continue path os.path.join(test_folder, fname) pred, _ predict_digit(path, models) y_true.append(digit) y_pred.append(pred) print(准确率:, accuracy_score(y_true, y_pred)) print(classification_report(y_true, y_pred, digits4)) cm confusion_matrix(y_true, y_pred) print(混淆矩阵:\n, cm)classification_report给出每个数字的precision、recall、f1-score。如果发现“4”和“10”容易混实际上“四”和“十”声母相近需要检查是不是录音里的口音问题或是MFCC维度过低丢失了韵母差异。常见混淆还有“1”和“7”因为元音部分相似这时可以尝试增加状态数或高斯分量数看看是否能提升。4.5 参数表从经验值出发调优下面这组参数是我在多次实验后的常用起点覆盖绝大多数数字词表任务参数推荐值说明采样率16000 Hz人声频带主要能量在4kHz内16k足够帧长25 ms (n_fft400/512)过短频率分辨率差过长时间分辨率差帧移10 ms (hop_length160)标准配置每帧间有重叠MFCC维度130-9孤立词不用太高过高引入噪声差分阶数2一阶二阶共39维HMM状态数5数字发音平均0.5秒5状态足够高斯分量数3训练样本少时用3样本多可到5协方差类型diagfull在样本少时数值不稳定EM迭代次数50一般20-30次收敛50是安全值CMVN每句做必须做不做准确率下降5-10%提示状态数和分量数不是越大越好。每增加一个状态就需要更多训练数据来估计转移概率否则会出现欠拟合现象测试集上的准确率不升反降。5. 提升识别率的四个关键技巧与踩坑清单5.1 用多个发音模板做“模型插值”一个数字的HMM是单模型但当训练数据只有每人一两遍时模型对说话人的音色非常敏感。常见做法是训练时对每个数字的音频做速度扰动将音频拉伸到0.9倍和1.1倍生成三个版本一起训练。这样模型学到的状态转移概率更健壮能容忍语速变化。实现速度扰动用librosa.effects.time_stretchdef augment_speed(y, rate): # rate 1 加速 1 减速 return librosa.effects.time_stretch(y, raterate)在load_features_by_digit里对每段原始音频生成rate0.9和rate1.1两份连同原始版本一起提取MFCC。这个操作能显著提高同一个人不同语速下的识别率。5.2 识别时用“前向算法”的log似然做归一化不同长度音频的对数似然可比性差因为帧数越多对数似然的绝对值越大。在一个词表固定的情况下如果你的待识别语音里混杂了静音或非数字词简单比较score会偏向长音频。一种改进是计算“平均对数似然”即score除以帧数def predict_digit_avg(file_path, models): feat extract_mfcc_delta(file_path) scores {} for digit, model in models.items(): log_lik model.score(feat) scores[digit] log_lik / len(feat) # 平均帧对数似然 return max(scores, keyscores.get)这个技巧对等长数字识别提升不大但对“数字前有呼吸声”或“句尾拖音”的情况很有效因为那些多余的帧会拉低平均得分而真实数字模型的平均得分相对稳定。5.3 遇到“开箱即用”的语音识别模块时怎么对接市面上很多语音识别模块如LD3320、讯飞离线识别模块内部方案并非HMMMFCC但它们输出的识别结果都是文本。如果你用本文训练的HMM模型想嵌入到嵌入式设备上比如ESP32常见路径是用C语言重写MFCC和Viterbi解码把模型参数导出成C数组。这里有个简单的导出方法import json # 将模型参数转成Python字典方便手动实现 params {} for digit, model in models.items(): params[digit] { startprob: model.startprob_.tolist(), transmat: model.transmat_.tolist(), means: [m.ravel().tolist() for m in model.means_], covars: [c.ravel().tolist() for c in model.covars_], weights: [w.ravel().tolist() for w in model.weights_], # GMMHMM的混合权重 } with open(hmm_params.json, w) as f: json.dump(params, f)在嵌入式端你需要自己实现前向算法或Viterbi算法来计算对数似然特征提取段用定点或浮点模拟MFCC。这个过程工作量不小但能让你完全掌握模型内部也方便在资源受限设备上部署。5.4 经典踩坑维度不一致、静音处理、状态数过少最后整理三个高频问题方便你对照排查。第一个坑训练和测试提取的MFCC维度不一致。很多人训练时用13维MFCC不带差分测试时又加了差分或者反过来导致model.score直接抛异常。我的建议是把特征提取函数写成一个独立模块用参数控制n_mfcc、use_delta并把特征维度打印出来。第二个坑没有做静音切除。长音频开头的静音帧会给HMM初始状态增加不必要的概率冲击导致第一个状态的均值和方差被静音污染。静音帧的MFCC特征全是低频能量和真实发音差异很大模型会为了拟合静音而扭曲状态分布。第三个坑状态数设成20甚至更多。虽然HMM理论上可以建模任意长度时序但数字只有0.3-1秒状态数过多会导致每个状态只对应几帧训练时转移概率估计方差极大测试时轻微语速变化就导致路径偏移。先固定5状态确认效果后再逐步加每次加1-2个状态观察测试集准确率变化。本文还有配套的精品资源点击获取