说话人识别中的VAD

最新推荐文章于 2024-09-05 22:15:00 发布
最新推荐文章于 2024-09-05 22:15:00 发布
阅读量1.5w 收藏 22
点赞数 2
分类专栏： ASR sre kaldi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zjm750617105/article/details/52336403
版权
本文深入探讨了在说话人识别中使用的Voice Activity Detection (VAD)技术，其目的是区分语音信号与背景噪音，特别是在构建UBM模型时至关重要。通过分析kaldi的源码`kaldi/src/ivector/voice-activity-detection.cc`，了解VAD如何在通信中区分语音和静默段，以节省带宽资源。文章中提到了`compute-vad`脚本的使用，并展示了处理多个 mfcc 文件以生成 vad 文件的过程。
摘要由CSDN通过智能技术生成

本文根据kaldi中的vad的算法 kaldi/src/ivector/voice-activity-detection.cc以及网上的一些资源来总结一下这个知识点。

首先VAD的全称是：Voice Activity Detection （语音激活检测）， 能够区分传输语音信号中的语音信号和背景噪音， 当然还能在通信中区分语音和静默段能够区分传输语音信号中的语音信号和背景噪音，

避免带宽资源的浪费，这里我们只讨论在说话人识别中需要区分背景噪音来构建UBM模型。

下面直接看kaldi的源码，注意看注释

run.sh中调用下面

最低0.47元/天 解锁文章
jinmingz
关注
专栏目录
说话人识别中的数据预处理和数据增强
u013250861的博客
01-03 890
解决方案是：利用源领域的语音和文本数据，合成目标领域的语音数据。合成的数据并不是真正的目标领域数据，而是一种近似（Proxy）数据。增强和时域增强，提高了录音设备和声学环境的多样性。那么对于说话人和文本的多样性，就需要用到语音合成增强方法。语音合成增强的核心在于，利用多说话人语音合成模型，输入说话人嵌入码和文本内容，就能合成对应的语音。关于多说话人语音合成模型，可参考。
WebRTC之VAD算法
热门推荐
shichaog的专栏
09-01 5万+
CSND已永久停更，最新版唯一来源点击下面链接跳转： 语音增强和语音识别网页书 VAD（Voice Activity Detection）算法的作用是检测语音，在远场语音交互场景中，VAD面临着两个难题： 1. 可以成功检测到最低能量的语音(灵敏度)。 2. 如何在多噪环境下成功检测（漏检率和虚检率）。 漏检反应的是原本是语音但是没有检测出来，而虚检率反应的是不是语音信号而被检测...
说话人识别VAD算法概述
物联网研究室BBC的博客
10-05 3919
语音活动检测(Voice Activity Detection,VAD)又称语音端点检测,语音边界检测。目的是从声音信号流里识别和消除长时间的静音期，以达到在不降低业务质量的情况下节省话路资源的作用，它是IP电话应用的重要组成部分。静音抑制可以节省宝贵的带宽资源，可以有利于减少用户感觉到的端到端的时延。 应用场合示例： 用户打电话时，并不是总在占用通话信道。根据传统电话业务的统计，一方用户实际...
推荐项目：libfvad，精准的语音活动检测库
gitblog_00799的博客
08-26 360
推荐项目：libfvad，精准的语音活动检测库 libfvadVoice activity detection (VAD) library, based on WebRTC's VAD engine项目地址:https://gitcode.com/gh_mirrors/li/libfvad 项目介绍 libfvad是一个基于WebRTC Native Code包中语音活动检测(Voice Act...
用python实现语音端点检测(Voice Activity Detection,VAD)
pk296256948的博客
07-17 5923
用python实现语音端点检测(Voice Activity Detection,VAD) 1.准备环境 https://github.com/marsbroshok/VAD-python 里面的vad.py文件 2.具体代码 from vad import VoiceActivityDetector import wave if __name__ == "__main__": load_file = "test.wav" save_file = "process.wav" # 获
语音识别之语音激活(VAD)检测(一)
修炼之路
12-12 5703
VAD技术在语音领域中应用非常的广泛，在语音识别中我们可以对长语音通过VAD来检测出语音信号的空隙，通过这个空隙来分割语音，将长语音切分成短语音来进行语音识别。在电话通信中，为了减少存储数据所使用的空间，我们可以通过VAD技术将空隙的语音信号进行移除。函数，可以通过声音信号能量的强弱来判断是否有人说话，从而根据语音的空隙来分割音频，这对于一段长语音的音频做分割时非常重要的，通常ASR模型是无法一次处理过长的音频。
带有VAD输出的AMR编码器
09-26
使用方法为，4个参数分别为编码速率(编码模式有MR475, MR515, MR59, MR67, MR74, MR795, MR102, MR122)，待编码的pcm文件路径，编码后的dat文件路径和vad检测结果文件路径。 .\AMRVADCoder.exe MR102 .\test.pcm .\test.dat .\test.txt
sherpa-onnx说话人识别+语音识别自动开启（VAD）+语音识别Python API
lstef的博客
06-17 2209
实现实时语音识别，自动识别语音开始结束，识别讲话人身份
基于高斯混合模型的说话人识别
03-22
在进行说话人识别之前，需要从语音信号中提取有用的特征。常用的特征之一是梅尔倒谱系数（MFCCs）及其导数（Delta-MFCCs）： - **MFCCs**：基于人类听觉感知特性设计的特征，能够有效表征语音信号的频谱特性。 - **...
深度学习vad人声检测之特征生成
pikaqiu_n95的博客
02-21 764
得到加噪合成数据后，下面就可以进行特征生成，本博文这里采用的是26维的mfcc特征，当然你也可以根据自己的需求选择不同的特征。准备好了数据，导入直接生成即可，注意这里分帧的方式要和标签制作一致，这里给出的程序当然是一致的。另外需要注意的就是数据均衡的问题，程序中也有体现，具体实现如下： # -*- coding: utf-8 -*- from python_speech_features import mfcc import scipy.io.wavfile as wav import utils impo
VAD基于短时能量的端点检测函数
06-07
VAD基于短时能量的端点检测函数，AudioVAD函数包括两个参数：short*的数据，long的数据长度。返回值为int类型的1或者0，表示该段数据是voice还是silence。 并附上用于测试的pcm数据。
深度学习vad人声检测之标签制作
pikaqiu_n95的博客
02-21 3396
深度学习几乎渗透到了各行各业，最火热的莫过于视觉算法。然而，音频相关的很多处理算法也逐渐被深度学习所浸润，vad作为音频前处理的一个操作得到了很广泛的应用，比较典型的vad检测算法是通过提取特征，构造高斯模型得到每段音频的概率来确认是人声还是噪声(包含了静默)；尽管传统vad通过合理的设置参数也能取得可观的效果，但是在当下数据驱动时代，深度学习的效果要比传统vad算法胜任的多，当然这个前提是模型训练数据要足够的丰富。 下面从深度学习的角度解析vad算法的实现，基于深度学习的vad实现并不困难，关键的部分就是
深度学习vad人声检测之训练数据加载
pikaqiu_n95的博客
02-27 1148
vad训练数据的特征在前面的博客已经准备好了，下面就是利用准备好的数据进行模型训练，训练主要包含了下面几个步骤： (1)加载数据 (2)搭建模型 (3)模型训练 加载数据：主要是加载训练数据的特征和对应标签，具体实现如下： import torch from torch.utils import data import json import os import soundfile as sf import numpy as np import math def read_audio_file1(pat
解密FSMN-Monophone VAD模型：语音活动检测的未来
最新发布
weixin_42132035的博客
09-05 1275
FSMN（Finite State Machine Network）是一种结合了有向图和状态机的神经网络结构，特别适用于处理时序数据。而Monophone VAD则基于单音素的特性进行语音活动检测。FSMN-Monophone VAD模型通过利用FSMN的强大建模能力，能够准确地识别语音信号中的活动与非活动状态。上述代码示例展示了如何从音频文件提取特征、构建和训练一个简单的VAD模型、进行预测，并最终通过可视化结果来理解模型的表现。数据预处理：使用librosa提取音频的MFCC特征。模型构建：使用。
VAD语音分割算法详解
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
01-24 5357
Voice Activity Detection (VAD) 在语音信号处理中，例如语音增强，语音识别等领域有着非常重要的作用。它的作用是从一段语音（纯净或带噪）信号中标识出语音片段与非语音片段。VAD系统通常包括两个部分，特征提取和语音/非语音判决；
VAD（Voice Activity Detection）算法详解
James_bobo的博客
04-28 2万+
Voice Activity Detection (VAD) 在语音信号处理中，例如语音增强，语音识别等领域有着非常重要的作用。它的作用是从一段语音（纯净或带噪）信号中标识出语音片段与非语音片段。VAD系统通常包括两个部分，特征提取和语音/非语音判决； 常用的特征提取可以分为五类： 基于能量 基于能量的准则是检测信号的强度，并且假设语音能量大于背景噪声能量，这样当能量大于某一门限时，可以认为有语...
kaldi的vad计算
qq_38789531的博客
08-25 860
vad.conf配置文件中可选参数 --vad-energy-threshold=5.0 # VAD 的能量阈值常数项，若小于这个值则为噪音，若大于则为语音信号 --vad-energy-mean-scale=0.5 # 如果设置为 s，设 m 为该音频所有帧的平均对数能量，则实际阈值 = s*m + vad-energy-threshold； --vad-frames-context=0 # 中央帧每一侧的上下文帧数，在其能量被监控的窗口中 --vad-proportion-threshold=0.6 #
kaldi做语音识别
m0_56321289的博客
03-04 1892
kaldi是一个开源的语音识别工具箱，是基于c++、perl、shell编写的，可以在windows和unix 平台上编译。教程网页：http://www.kaldi-asr.org/doc/ 里面可以查阅语音/说话人识别实现过程、kaldi的数据结构、命令的使用说明等。还有网上的dan的ppt。kaldi下载：https://
识别是否是人的语言来判断是否有人说话
06-06
要判断是否有人说话，可以使用语音活动检测（Voice Activity Detection, VAD）技术。VAD是一种信号处理技术，用于检测音频信号中的活动（即是否有人在说话）。 常见的语音活动检测算法包括基于能量、基于过零率、基于倒谱等。这些算法的基本思路是通过分析音频信号的一些特征，如能量、频谱等，来判断是否有人在说话。 以下是一个基于能量的语音活动检测示例代码： ```python import pyaudio import numpy as np # 定义一些参数 RATE = 16000 CHUNK = 1024 VAD_THRESHOLD = 500 p = pyaudio.PyAudio() stream = p.open(format=pyaudio.paInt16, channels=1, rate=RATE, input=True, frames_per_buffer=CHUNK) print("* 开始录音...") while True: # 读取一段音频数据 data = np.fromstring(stream.read(CHUNK), dtype=np.int16) # 计算音量 rms = np.sqrt(np.mean(np.square(data))) # 如果音量大于阈值，则认为有人在说话 if rms > VAD_THRESHOLD: print("有人在说话！") print("* 结束录音...") stream.stop_stream() stream.close() p.terminate() ``` 该代码使用PyAudio库来读取麦克风录音，并使用RMS（均方根）来计算音频数据的音量。如果音量大于预设的阈值，就会输出“有人在说话！”的提示信息。这里设定的阈值是一个经验值，需要根据具体情况进行调整。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值