PyTorch频谱特征工具 spectra_torch

spectra_torch

链接：https://github.com/mechanicalsea/spectra

摘要

Github 提供了 C++ 版本和 Python Numpy 版本的语音频谱特征提取工具，给深度模型设计的复现提出了挑战。深度学习给语音识别提供的最新的解决方案，建立一个深度学习框架的语音频谱特征提取工具能够提供更加高效的模型构建与开发策略。spectra_torch 提供了 PyTorch 版本的语音频谱特征提取方法，例如 MFCC、滤波器组和基于能量的 VAD。测试表明：PyTorch 版本的 MFCC 提取效率优于 Numpy 版本的 MFCC，具体地说，MacOS CPU 计算机上快 0.1s/MFCC。

安装方法

spectra_torch 提供了 Pypi 安装方法：pip install --upgrade spectra-torch
必需的工具包：torch 和 torchaudio

功能

• 梅尔频谱倒谱系数 Mel Frequency Cepstral Coefficients (MFCC)
• 滤波器组 Filterbank Energies
• 指数滤波器组 Log Filterbank Energies
• 声音动态检测 Voice Activity Detection (VAD)

使用方法

import spectra_torch.base as mm
import torchaudio as ta

sig, sr = ta.load_wav('singing-01-003.wav')
sig = sig[0]
mfcc = mm.mfcc(sig, sr) # MFCC
starts, detection = mm.is_speech(sig, sr, speechlen=1) # VAD

欢迎大家的讨论，欢迎大家的建议。

参考

[1] spectra_torch:https://github.com/marsbroshok/VAD-python
[2] James Lyons et al. (2020, January 14). jameslyons/python_speech_features: release v0.6.1 (Version 0.6.1). Zenodo. http://doi.org/10.5281/zenodo.3607820
[3] VAD-python: https://github.com/jameslyons/python_speech_features