人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载导读paddlespeech.s2t.frontend.featurizer是飞桨 PaddleSpeech 语音识别S2T训练与推理流水线的入口关卡它负责把原始音频波形与文本转写统一转换为模型可消费的特征张量涵盖线性频谱图linear spectrogram、MFCC、FBank 三类音频特征以及 char/word/sentencepiece 三种粒度的文本 token 化。本文以该包的 API 文档与源码为主体深入讲解三大特征提取器类的构造参数、调用链与底层实现并给出真实配置文件中的接入方式帮助你理解 PaddleSpeech 数据管线从wav 文本到特征 token id的完整过程。1. 包结构与职责划分featurizer包位于 paddlespeech/s2t/frontend/featurizer由三个子模块构成并在init.py 中统一导出模块导出类职责audio_featurizerAudioFeaturizer从音频片段AudioSegment/SpeechSegment中提取线性频谱、MFCC、FBank 特征speech_featurizerSpeechFeaturizer组合音频特征与文本特征是训练数据管线的主入口text_featurizerTextFeaturizer将文本转写转换为 token 索引序列或反向还原为文本三者关系清晰SpeechFeaturizer内部持有AudioFeaturizer与TextFeaturizer各一个实例对外提供统一的featurize()接口。从源码结构看AudioFeaturizer只关心信号处理TextFeaturizer只关心词表与 token 化而SpeechFeaturizer负责调度与组合这种分层设计使得音频特征与文本特征可以独立替换和演进。2. AudioFeaturizer音频特征提取核心2.1 构造参数与默认值AudioFeaturizer 的构造函数完整签名如下含源码默认值AudioFeaturizer( spectrum_type: str linear, # 特征类型linear | mfcc | fbank feat_dim: int None, # MFCC/FBank 使用如 13、40、80 delta_delta: bool False, # 是否拼接 delta 与 delta-delta维度 ×3 stride_ms 10.0, # 帧移毫秒 window_ms 20.0, # 窗长毫秒 n_fft None, # 自定义 FFT 点数None 时由窗长推导 max_freq None, # 最大频率linear 截断 FFT binmfcc/fbank 为 mel 滤波器最高边 target_sample_rate 16000, # 目标采样率输入音频会先重采样到此值 use_dB_normalization True, # 是否做分贝归一化 target_dB -20, # 归一化目标分贝 dither 1.0) # 加性噪声抖动用于 mfcc/fbank各参数对特征结果的影响spectrum_typelinear输出 log 幅度线性频谱mfcc输出梅尔倒谱系数fbank输出 log 梅尔滤波器组能量。三者对feat_dim、n_fft、dither的依赖不同见下文实现细节。delta_delta开启后MFCC/FBank 会拼接[原特征, delta, delta-delta]特征维度变为原来的 3 倍为模型提供动态信息。stride_ms/window_ms控制分帧的步长与窗长直接决定时间帧数与频谱分辨率源码在_compute_linear_specgram、_compute_mfcc、_compute_fbank中均校验stride_ms window_ms违反会抛出ValueError。max_freqNone时默认取sample_rate / 2奈奎斯特频率若显式设置超过采样率一半源码会抛ValueError。target_sample_ratefeaturize()中若输入片段采样率与目标不一致会调用audio_segment.resample()重采样受allow_downsampling/allow_upsampling开关控制重采样后仍不匹配则抛异常提示打开对应开关。use_dB_normalization/target_dB归一化通过audio_segment.normalize(target_dbtarget_dB)实现将音频幅度对齐到固定分贝降低录音响度差异带来的特征漂移。2.2 featurize() 主流程featurize(audio_segment, allow_downsamplingTrue, allow_upsamplingTrue)是核心入口audio_featurizer.py#L77-L108执行三步重采样采样率高于目标且允许降采样、或低于目标且允许升采样时调用resample(target_sample_rate)分贝归一化开启时执行normalize(target_dbtarget_dB)特征计算按spectrum_type分发到_compute_linear_specgram/_compute_mfcc/_compute_fbank返回形状为(时间帧 T, 特征维度 D)的 2D ndarray。2.3 feature_size特征维度的推导规则feature_size属性audio_featurizer.py#L114-L133是模型输入维度的重要依据其计算规则linearfeat_dim int(fft_point * (target_sample_rate / 1000) / 2 1)其中fft_point在n_fft为None时取window_ms。以 16kHz、20ms 窗长为例FFT 点数为 320特征维度为320 * 16 / 2 1 2561rfft 仅保留非负频率 bin故约半。mfcc / fbankfeat_dim feat_dim * 3开启delta_delta或feat_dim未开启。其他类型抛ValueError提示仅支持linear。这也解释了为何 Aishell 等中文 ASR 配置中feat_dim: 80配合fbank80 维 FBank 加上 10ms 帧移、25ms 窗长是当前仓库中 Conformer/U2 等模型的默认前端配置。2.4 三种特征的底层实现线性频谱linear_compute_linear_specgramaudio_featurizer.py#L196-L238通过_specgram_real完成核心计算用np.lib.stride_tricks.as_strided对采样点构造滑窗视图不做数据拷贝使用np.hanning汉宁窗加权后执行np.fft.rfft取幅度平方得到功率谱按窗能量sum(weighting^2) * sample_rate缩放频点能量归一化根据max_freq截取频率 bin取log(spec eps)eps1e-14防止对数下溢最终转置为(T, D)输出。MFCC_compute_mfccaudio_featurizer.py#L257-L312依赖python_speech_features.mfcc关键参数固定为mfcc(signalsamples, sampleratesample_rate, winlen0.001 * window_ms, winstep0.001 * stride_ms, numcepfeat_dim, nfilt23, nfft512, lowfreq20, highfreqmax_freq, ditherdither, remove_dc_offsetTrue, preemph0.97, ceplifter22, useEnergyTrue, winfuncpovey)注意其中useEnergyTrue会用 log 帧能量替换第一个倒谱系数输入音频先被转为int16。开启delta_delta时调用_concat_delta_delta拼接一阶、二阶差分audio_featurizer.py#L240-L255。FBank_compute_fbankaudio_featurizer.py#L314-L363走的是 Kaldi 兼容路径——调用paddlespeech.audio.compliance.kaldi.fbank将波形转为 Paddle Tensor 后计算mat kaldi.fbank(waveform, n_melsfeat_dim, frame_lengthwindow_ms, frame_shiftstride_ms, ditherdither, energy_floor0.0, srsample_rate)这一实现与 Kaldi 的 fbank 计算约定对齐使 PaddleSpeech 提取的特征可与 Kaldi 工具链的 CMVN 统计compute-cmvn-stats.py、apply-cmvn.py互通是仓库中fbank类型被 ASR 配方广泛采用的技术基础。3. TextFeaturizer文本 token 化与词表管理3.1 构造与词表加载TextFeaturizer 的构造参数为TextFeaturizer(unit_type, vocab, spm_model_prefixNone, maskctcFalse)unit_type必须是char、spm、word三者之一源码assert强制校验vocab词表文件路径或词表 list为空时仅能 tokenize无法转换为 token id源码会打印 warningspm_model_prefixunit_type spm时必填实际加载prefix .model作为 sentencepiece 模型maskctc用于 Mask CTC 训练影响词表加载时是否注入mask特殊 token。词表加载走 utility.py 的load_dict词表文件每行一个 token支持token id双列格式取第一列并保证blank、eos等特殊 token 存在缺失时自动插入到词表头部。加载后同时生成token2id、id2token两个映射并解析出blank_id、unk_id、eos_id等供训练与解码使用。3.2 特殊 token 约定特殊 token 常量定义在 paddlespeech/s2t/frontend/utility.py#L37-L44常量取值含义IGNORE_ID-1忽略位 idSOS/EOSeos起始与结束共用同一 tokenUNKunk未登录词BLANKblankCTC 的 blank 符号MASKCTCmaskMask CTC 掩码符号SPACEspace空格占位符字符级分词用这些约定与 CTC 解码、注意力解码器的序列建模直接相关例如defeaturize()在遇到eos_id时即停止还原与解码器的终止条件一致。3.3 核心方法tokenize / detokenize / featurize / defeaturizetokenize(text)/detokenize(tokens)按unit_type分发到char/word/spm三种实现。featurize(text) - List[int]tokenize 后逐 token 查词表未登录 token 替换为UNKdebug 日志记录最终返回 token id 列表。defeaturize(idxs) - strid 列表还原为文本自动兼容[[1,2,3]]形式的嵌套输入遇eos_id截断。三种 tokenizer 的实现要点charchar_tokenize将文本 strip 后逐字符拆分空格替换为spacereplace_spaceTrue时char_detokenize反向把space还原为空格后拼接。replace_spaceFalse仅用于build_vocab.py建词表场景。word按空格split()/join()适用于英文等以空格分隔的语言。spmspm_tokenize通过 sentencepiece 的EncodeAsPieces得到子词序列spm_detokenize支持piece与id两种输入格式用DecodePieces/DecodeIds还原文本。4. SpeechFeaturizer音频 文本的统一入口SpeechFeaturizer 聚合了两大子特征器构造参数是AudioFeaturizer与TextFeaturizer参数的并集unit_type、vocab_filepath、spm_model_prefix、spectrum_type、feat_dim、delta_delta、stride_ms、window_ms、n_fft、max_freq、target_sample_rate、use_dB_normalization、target_dB、dither、maskctc并在初始化时暴露两个关键属性feature_size转发自audio_feature.feature_size即模型音频输入维度vocab_size转发自text_feature.vocab_size即模型输出类别数。它对外提供两个方法def featurize(self, speech_segment, keep_transcription_text): # 1) 音频特征spec_feature audio_feature.featurize(speech_segment) # 2) 文本部分 # keep_transcription_textTrue - 直接返回原文 transcript # False 且 segment 已有 token_ids - 返回 token_ids # 否则 - text_feature.featurize(transcript) 得到 token id 列表 # 返回 (spec_feature, text_ids_or_text) def text_featurize(self, text, keep_transcription_text): # 仅处理文本返回原文或 token id 列表keep_transcription_text开关决定了流水线输出的是训练用的 token id还是推理/评估用的原始文本训练与解码阶段因此可以复用同一套特征器。5. 在数据管线与配置文件中的实际接入5.1 Collator 中的调用链SpeechFeaturizer的实际消费方是 paddlespeech/s2t/io/collator.py 中的CollateFNcollator.py#L111-L131 构造、collator.py#L133-L172 使用从 manifest 读取音频文件构建SpeechSegment经AugmentationPipeline.transform_audio做音频增强调用speech_featurizer.featurize(speech_segment, keep_transcription_text)得到(spectrum, transcript_part)若有 CMVN 统计文件对频谱执行FeatureNormalizer.apply归一化再经transform_feature做频谱域增强最终产出模型输入 batch。此外模型端如 u2/model.py、hubert/model.py、wav2vec2/model.py、deepspeech2/model.py 等也会直接引用TextFeaturizer完成推理时的文本编码足见该包在训练与推理两侧的复用程度。5.2 真实配置示例以 examples/aishell/asr1/conf/conformer.yaml 为例Dataloader 一节完整展示了特征器相关配置vocab_filepath: data/lang_char/vocab.txt # 词表文件TextFeaturizer 加载 spm_model_prefix: # 空表示不使用 spmunit_type 为 char unit_type: char # 字符级分词 preprocess_config: conf/preprocess.yaml # 数据增强/预处理配置 feat_dim: 80 # FBank 维度fbank 特征 stride_ms: 10.0 # 帧移 10ms window_ms: 25.0 # 窗长 25ms对应地examples/aishell/asr0/local/data.sh 在生成数据时使用--spectrum_typefbank与--unit_typechar两者保持一致才能保证AudioFeaturizer.feature_size此处为 80与模型输入、TextFeaturizer.vocab_size与模型输出类别数严格对齐。5.3 训练管线中的整体流程结合上述代码一次 utterance 的特征化可概括为wav transcript │ ├─ SpeechSegment.from_file ├─ transform_audio (增强) ├─ AudioFeaturizer.featurize │ ├─ resample(16k) ── dB normalize(-20dB) ── 分帧加窗 ── FFT │ └─ 输出 (T, feat_dim) 频谱 ├─ TextFeaturizer.featurize │ └─ char/spm/word tokenize ── 查词表 ── 输出 List[int] └─ 输出 (spectrum, token_ids) → CMVN → 特征增强 → 模型6. 小结与扩展阅读paddlespeech.s2t.frontend.featurizer是 PaddleSpeech S2T 体系中音频前端与文本前端的统一抽象AudioFeaturizer提供 linear/MFCC/FBank 三种频谱计算内置重采样、分贝归一化、delta-delta 拼接等预处理其feature_size是模型输入维度的权威来源TextFeaturizer覆盖 char/word/spm 三种分词粒度负责词表加载、特殊 token 约定与 id 双向转换SpeechFeaturizer将两者组装为单一入口通过keep_transcription_text兼顾训练与解码两种模式。想要继续深入可以从以下仓库路径展开特征器源码featurizer 目录重点关注audio_featurizer.py的_specgram_real、_compute_mfcc、_compute_fbank特殊 token 与词表工具frontend/utility.py数据管线消费方s2t/io/collator.py模型端引用u2/model.py、hubert/model.py真实配置examples/aishell/asr1/conf/conformer.yaml、examples/aishell/asr0/conf/deepspeech2.yaml。理解了这一层前端你就掌握了 PaddleSpeech 从原始音频到模型输入之间最关键的转换环节无论是替换特征类型、切换分词粒度还是接入新数据集都能从配置与源码两个层面精准下手。赞分享人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载相关推荐PaddleSpeech S2T 前端之 AudioFeaturizer音频特征提取器源码级解析与实战指南PaddleSpeech S2T 前端之 AudioFeaturizer音频特征提取器源码级解析与实战指南 导读 本文围绕 PaddleSpeech 语音识别人工智能语音音频PaddleSpeech S2T 前端音频特征提取AudioFeaturizer 类源码深度解析与实战指南PaddleSpeech S2T 前端音频特征提取AudioFeaturizer 类源码深度解析与实战指南 本篇技术指南以 PaddleSpeech 仓库中人工智能语音音频NLP媒体生成PaddleSpeech s2t frontend featurizer 包源码解析音频特征提取与文本 Token 化的统一实现PaddleSpeech s2t frontend featurizer 包源码解析音频特征提取与文本 Token 化的统一实现 本篇技术指南以 Paddle人工智能语音音频创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
PaddleSpeech S2T 前端特征提取器（Featurizer）完全解析：AudioFeaturizer / SpeechFeaturizer / TextFeaturizer 源码级指南
人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载导读paddlespeech.s2t.frontend.featurizer是飞桨 PaddleSpeech 语音识别S2T训练与推理流水线的入口关卡它负责把原始音频波形与文本转写统一转换为模型可消费的特征张量涵盖线性频谱图linear spectrogram、MFCC、FBank 三类音频特征以及 char/word/sentencepiece 三种粒度的文本 token 化。本文以该包的 API 文档与源码为主体深入讲解三大特征提取器类的构造参数、调用链与底层实现并给出真实配置文件中的接入方式帮助你理解 PaddleSpeech 数据管线从wav 文本到特征 token id的完整过程。1. 包结构与职责划分featurizer包位于 paddlespeech/s2t/frontend/featurizer由三个子模块构成并在init.py 中统一导出模块导出类职责audio_featurizerAudioFeaturizer从音频片段AudioSegment/SpeechSegment中提取线性频谱、MFCC、FBank 特征speech_featurizerSpeechFeaturizer组合音频特征与文本特征是训练数据管线的主入口text_featurizerTextFeaturizer将文本转写转换为 token 索引序列或反向还原为文本三者关系清晰SpeechFeaturizer内部持有AudioFeaturizer与TextFeaturizer各一个实例对外提供统一的featurize()接口。从源码结构看AudioFeaturizer只关心信号处理TextFeaturizer只关心词表与 token 化而SpeechFeaturizer负责调度与组合这种分层设计使得音频特征与文本特征可以独立替换和演进。2. AudioFeaturizer音频特征提取核心2.1 构造参数与默认值AudioFeaturizer 的构造函数完整签名如下含源码默认值AudioFeaturizer( spectrum_type: str linear, # 特征类型linear | mfcc | fbank feat_dim: int None, # MFCC/FBank 使用如 13、40、80 delta_delta: bool False, # 是否拼接 delta 与 delta-delta维度 ×3 stride_ms 10.0, # 帧移毫秒 window_ms 20.0, # 窗长毫秒 n_fft None, # 自定义 FFT 点数None 时由窗长推导 max_freq None, # 最大频率linear 截断 FFT binmfcc/fbank 为 mel 滤波器最高边 target_sample_rate 16000, # 目标采样率输入音频会先重采样到此值 use_dB_normalization True, # 是否做分贝归一化 target_dB -20, # 归一化目标分贝 dither 1.0) # 加性噪声抖动用于 mfcc/fbank各参数对特征结果的影响spectrum_typelinear输出 log 幅度线性频谱mfcc输出梅尔倒谱系数fbank输出 log 梅尔滤波器组能量。三者对feat_dim、n_fft、dither的依赖不同见下文实现细节。delta_delta开启后MFCC/FBank 会拼接[原特征, delta, delta-delta]特征维度变为原来的 3 倍为模型提供动态信息。stride_ms/window_ms控制分帧的步长与窗长直接决定时间帧数与频谱分辨率源码在_compute_linear_specgram、_compute_mfcc、_compute_fbank中均校验stride_ms window_ms违反会抛出ValueError。max_freqNone时默认取sample_rate / 2奈奎斯特频率若显式设置超过采样率一半源码会抛ValueError。target_sample_ratefeaturize()中若输入片段采样率与目标不一致会调用audio_segment.resample()重采样受allow_downsampling/allow_upsampling开关控制重采样后仍不匹配则抛异常提示打开对应开关。use_dB_normalization/target_dB归一化通过audio_segment.normalize(target_dbtarget_dB)实现将音频幅度对齐到固定分贝降低录音响度差异带来的特征漂移。2.2 featurize() 主流程featurize(audio_segment, allow_downsamplingTrue, allow_upsamplingTrue)是核心入口audio_featurizer.py#L77-L108执行三步重采样采样率高于目标且允许降采样、或低于目标且允许升采样时调用resample(target_sample_rate)分贝归一化开启时执行normalize(target_dbtarget_dB)特征计算按spectrum_type分发到_compute_linear_specgram/_compute_mfcc/_compute_fbank返回形状为(时间帧 T, 特征维度 D)的 2D ndarray。2.3 feature_size特征维度的推导规则feature_size属性audio_featurizer.py#L114-L133是模型输入维度的重要依据其计算规则linearfeat_dim int(fft_point * (target_sample_rate / 1000) / 2 1)其中fft_point在n_fft为None时取window_ms。以 16kHz、20ms 窗长为例FFT 点数为 320特征维度为320 * 16 / 2 1 2561rfft 仅保留非负频率 bin故约半。mfcc / fbankfeat_dim feat_dim * 3开启delta_delta或feat_dim未开启。其他类型抛ValueError提示仅支持linear。这也解释了为何 Aishell 等中文 ASR 配置中feat_dim: 80配合fbank80 维 FBank 加上 10ms 帧移、25ms 窗长是当前仓库中 Conformer/U2 等模型的默认前端配置。2.4 三种特征的底层实现线性频谱linear_compute_linear_specgramaudio_featurizer.py#L196-L238通过_specgram_real完成核心计算用np.lib.stride_tricks.as_strided对采样点构造滑窗视图不做数据拷贝使用np.hanning汉宁窗加权后执行np.fft.rfft取幅度平方得到功率谱按窗能量sum(weighting^2) * sample_rate缩放频点能量归一化根据max_freq截取频率 bin取log(spec eps)eps1e-14防止对数下溢最终转置为(T, D)输出。MFCC_compute_mfccaudio_featurizer.py#L257-L312依赖python_speech_features.mfcc关键参数固定为mfcc(signalsamples, sampleratesample_rate, winlen0.001 * window_ms, winstep0.001 * stride_ms, numcepfeat_dim, nfilt23, nfft512, lowfreq20, highfreqmax_freq, ditherdither, remove_dc_offsetTrue, preemph0.97, ceplifter22, useEnergyTrue, winfuncpovey)注意其中useEnergyTrue会用 log 帧能量替换第一个倒谱系数输入音频先被转为int16。开启delta_delta时调用_concat_delta_delta拼接一阶、二阶差分audio_featurizer.py#L240-L255。FBank_compute_fbankaudio_featurizer.py#L314-L363走的是 Kaldi 兼容路径——调用paddlespeech.audio.compliance.kaldi.fbank将波形转为 Paddle Tensor 后计算mat kaldi.fbank(waveform, n_melsfeat_dim, frame_lengthwindow_ms, frame_shiftstride_ms, ditherdither, energy_floor0.0, srsample_rate)这一实现与 Kaldi 的 fbank 计算约定对齐使 PaddleSpeech 提取的特征可与 Kaldi 工具链的 CMVN 统计compute-cmvn-stats.py、apply-cmvn.py互通是仓库中fbank类型被 ASR 配方广泛采用的技术基础。3. TextFeaturizer文本 token 化与词表管理3.1 构造与词表加载TextFeaturizer 的构造参数为TextFeaturizer(unit_type, vocab, spm_model_prefixNone, maskctcFalse)unit_type必须是char、spm、word三者之一源码assert强制校验vocab词表文件路径或词表 list为空时仅能 tokenize无法转换为 token id源码会打印 warningspm_model_prefixunit_type spm时必填实际加载prefix .model作为 sentencepiece 模型maskctc用于 Mask CTC 训练影响词表加载时是否注入mask特殊 token。词表加载走 utility.py 的load_dict词表文件每行一个 token支持token id双列格式取第一列并保证blank、eos等特殊 token 存在缺失时自动插入到词表头部。加载后同时生成token2id、id2token两个映射并解析出blank_id、unk_id、eos_id等供训练与解码使用。3.2 特殊 token 约定特殊 token 常量定义在 paddlespeech/s2t/frontend/utility.py#L37-L44常量取值含义IGNORE_ID-1忽略位 idSOS/EOSeos起始与结束共用同一 tokenUNKunk未登录词BLANKblankCTC 的 blank 符号MASKCTCmaskMask CTC 掩码符号SPACEspace空格占位符字符级分词用这些约定与 CTC 解码、注意力解码器的序列建模直接相关例如defeaturize()在遇到eos_id时即停止还原与解码器的终止条件一致。3.3 核心方法tokenize / detokenize / featurize / defeaturizetokenize(text)/detokenize(tokens)按unit_type分发到char/word/spm三种实现。featurize(text) - List[int]tokenize 后逐 token 查词表未登录 token 替换为UNKdebug 日志记录最终返回 token id 列表。defeaturize(idxs) - strid 列表还原为文本自动兼容[[1,2,3]]形式的嵌套输入遇eos_id截断。三种 tokenizer 的实现要点charchar_tokenize将文本 strip 后逐字符拆分空格替换为spacereplace_spaceTrue时char_detokenize反向把space还原为空格后拼接。replace_spaceFalse仅用于build_vocab.py建词表场景。word按空格split()/join()适用于英文等以空格分隔的语言。spmspm_tokenize通过 sentencepiece 的EncodeAsPieces得到子词序列spm_detokenize支持piece与id两种输入格式用DecodePieces/DecodeIds还原文本。4. SpeechFeaturizer音频 文本的统一入口SpeechFeaturizer 聚合了两大子特征器构造参数是AudioFeaturizer与TextFeaturizer参数的并集unit_type、vocab_filepath、spm_model_prefix、spectrum_type、feat_dim、delta_delta、stride_ms、window_ms、n_fft、max_freq、target_sample_rate、use_dB_normalization、target_dB、dither、maskctc并在初始化时暴露两个关键属性feature_size转发自audio_feature.feature_size即模型音频输入维度vocab_size转发自text_feature.vocab_size即模型输出类别数。它对外提供两个方法def featurize(self, speech_segment, keep_transcription_text): # 1) 音频特征spec_feature audio_feature.featurize(speech_segment) # 2) 文本部分 # keep_transcription_textTrue - 直接返回原文 transcript # False 且 segment 已有 token_ids - 返回 token_ids # 否则 - text_feature.featurize(transcript) 得到 token id 列表 # 返回 (spec_feature, text_ids_or_text) def text_featurize(self, text, keep_transcription_text): # 仅处理文本返回原文或 token id 列表keep_transcription_text开关决定了流水线输出的是训练用的 token id还是推理/评估用的原始文本训练与解码阶段因此可以复用同一套特征器。5. 在数据管线与配置文件中的实际接入5.1 Collator 中的调用链SpeechFeaturizer的实际消费方是 paddlespeech/s2t/io/collator.py 中的CollateFNcollator.py#L111-L131 构造、collator.py#L133-L172 使用从 manifest 读取音频文件构建SpeechSegment经AugmentationPipeline.transform_audio做音频增强调用speech_featurizer.featurize(speech_segment, keep_transcription_text)得到(spectrum, transcript_part)若有 CMVN 统计文件对频谱执行FeatureNormalizer.apply归一化再经transform_feature做频谱域增强最终产出模型输入 batch。此外模型端如 u2/model.py、hubert/model.py、wav2vec2/model.py、deepspeech2/model.py 等也会直接引用TextFeaturizer完成推理时的文本编码足见该包在训练与推理两侧的复用程度。5.2 真实配置示例以 examples/aishell/asr1/conf/conformer.yaml 为例Dataloader 一节完整展示了特征器相关配置vocab_filepath: data/lang_char/vocab.txt # 词表文件TextFeaturizer 加载 spm_model_prefix: # 空表示不使用 spmunit_type 为 char unit_type: char # 字符级分词 preprocess_config: conf/preprocess.yaml # 数据增强/预处理配置 feat_dim: 80 # FBank 维度fbank 特征 stride_ms: 10.0 # 帧移 10ms window_ms: 25.0 # 窗长 25ms对应地examples/aishell/asr0/local/data.sh 在生成数据时使用--spectrum_typefbank与--unit_typechar两者保持一致才能保证AudioFeaturizer.feature_size此处为 80与模型输入、TextFeaturizer.vocab_size与模型输出类别数严格对齐。5.3 训练管线中的整体流程结合上述代码一次 utterance 的特征化可概括为wav transcript │ ├─ SpeechSegment.from_file ├─ transform_audio (增强) ├─ AudioFeaturizer.featurize │ ├─ resample(16k) ── dB normalize(-20dB) ── 分帧加窗 ── FFT │ └─ 输出 (T, feat_dim) 频谱 ├─ TextFeaturizer.featurize │ └─ char/spm/word tokenize ── 查词表 ── 输出 List[int] └─ 输出 (spectrum, token_ids) → CMVN → 特征增强 → 模型6. 小结与扩展阅读paddlespeech.s2t.frontend.featurizer是 PaddleSpeech S2T 体系中音频前端与文本前端的统一抽象AudioFeaturizer提供 linear/MFCC/FBank 三种频谱计算内置重采样、分贝归一化、delta-delta 拼接等预处理其feature_size是模型输入维度的权威来源TextFeaturizer覆盖 char/word/spm 三种分词粒度负责词表加载、特殊 token 约定与 id 双向转换SpeechFeaturizer将两者组装为单一入口通过keep_transcription_text兼顾训练与解码两种模式。想要继续深入可以从以下仓库路径展开特征器源码featurizer 目录重点关注audio_featurizer.py的_specgram_real、_compute_mfcc、_compute_fbank特殊 token 与词表工具frontend/utility.py数据管线消费方s2t/io/collator.py模型端引用u2/model.py、hubert/model.py真实配置examples/aishell/asr1/conf/conformer.yaml、examples/aishell/asr0/conf/deepspeech2.yaml。理解了这一层前端你就掌握了 PaddleSpeech 从原始音频到模型输入之间最关键的转换环节无论是替换特征类型、切换分词粒度还是接入新数据集都能从配置与源码两个层面精准下手。赞分享人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载相关推荐PaddleSpeech S2T 前端之 AudioFeaturizer音频特征提取器源码级解析与实战指南PaddleSpeech S2T 前端之 AudioFeaturizer音频特征提取器源码级解析与实战指南 导读 本文围绕 PaddleSpeech 语音识别人工智能语音音频PaddleSpeech S2T 前端音频特征提取AudioFeaturizer 类源码深度解析与实战指南PaddleSpeech S2T 前端音频特征提取AudioFeaturizer 类源码深度解析与实战指南 本篇技术指南以 PaddleSpeech 仓库中人工智能语音音频NLP媒体生成PaddleSpeech s2t frontend featurizer 包源码解析音频特征提取与文本 Token 化的统一实现PaddleSpeech s2t frontend featurizer 包源码解析音频特征提取与文本 Token 化的统一实现 本篇技术指南以 Paddle人工智能语音音频创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考