SincNet: 一种可解释的卷积滤波器结构

最新推荐文章于 2024-08-12 09:00:32 发布
最新推荐文章于 2024-08-12 09:00:32 发布
阅读量1.4w 收藏 42
点赞数 19
分类专栏： 深度学习 声音识别 深度学习 文章标签： SincNet CNN 可解释神经网络 语音识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzc15806/article/details/87728806
版权
SincNet是一种为了解决深度学习模型的可解释性问题而提出的卷积网络结构，尤其适用于语音识别。它通过预定义的sinc函数作为滤波器，减少了第一层卷积的参数数量，提高了模型的计算效率和收敛速度。实验表明，SincNet在说话人识别和语音识别任务上表现优于标准CNN，并能学习到更具解释性的特征，如音高和共振峰。
摘要由CSDN通过智能技术生成

简介

深度学习发展至今，在很多人工智能应用领域扮演者重要的角色。深度学习能够从数据中学习复杂而抽象的特征表示，但是这个充满意义的学习模式目前依然缺乏“可解释”性，也就是常说的“黑盒子”。例如，深度学习模型对对抗性实例（adversarial examples）极其敏感（模型表现不好），使得研究者不得不思考对模型的理解。这种缺乏“可解释”性可能是阻碍未来深度学习技术发展的一个重要瓶颈。

Bengio大牛提出一种可解释的神经网络结构用于直接处理语音时序信号，称为SincNet。SincNet只针对第一层网络进行设计，意在学习更有意义的滤波器。通常来说，对于处理声音时序信号，认为第一层网络的提取能力至关重要，因为第一层提取的低维特征的有效性是高层网络学习有意义的高维特征信息的前提。

SincNet结构

对于语音时序信号，标准的第一层CNN结构采用时域卷积的操作，定义如下：

其中x[n]是语音信号，h[n]是长度为L的滤波器，y[n]是滤波器的输出。在标准的CNN结构中，每个滤波器的L个元素都是从数据中学习得到的。

在SincNet结构中，卷机操作使用一个预定义的函数g，其中g只包含很少的可学习变量

最低0.47元/天 解锁文章
z小白
关注
专栏目录
Sinc 滤波器：应用接近理想的低通或带通滤波器。-matlab开发
05-30
注意：此函数现在可从 IoSR Matlab 工具箱中作为 iosr.dsp.sincFilter 使用。 ------------------------- y = sinc_filter(x,Wn) y = sinc_filter(x,Wn,N) y = sinc_filter(x,Wn,N,dim) y = sinc_filter(x,Wn,[],dim) y = sinc_filter(x,Wn) 将接近理想的低通或带通砖墙滤波器应用于阵列 x，沿第一个非单一维度（例如，沿矩阵的列向下）操作。 截止频率/频率在 Wn 中指定。 如果Wn是标量，则Wn指定低通截止频率。 如果 Wn 是二元素向量，则 Wn 指定带通间隔。 Wn必须为0.0 <Wn <1.0，其中1.0对应于一半的采样率。 滤波是通过 x 与 sinc 核的基于 FFT 的卷积来执行的。 y = sinc_fil
SincNet：SincNet是一种用于有效处理原始音频样本的神经体系结构
02-04
SincNet SincNet是用于处理原始音频样本的神经体系结构。 这是一种新颖的卷积神经网络（CNN），它鼓励第一个卷积层发现更多有意义的滤波器。 SincNet基于参数化的Sinc函数，这些函数实现了带通滤波器。 与学习每个滤波器的所有元素的标准CNN相比，所提出的方法只能从数据中直接学习低和高截止频率。 这提供了一种非常紧凑而有效的方式来导出专门针对所需应用进行了调整的定制滤波器组。 该项目发布了一系列代码和实用程序，可通过SincNet进行说话人识别。 使用TIMIT数据库提供了说话人识别的示例。 如果您对应用于语音识别的SincNet感兴趣，可以查看PyTorch-Kaldi
探索声音的奥秘：SincNet —— 原始音频处理的新纪元
最新发布
gitblog_00204的博客
08-12 313
探索声音的奥秘：SincNet —— 原始音频处理的新纪元 SincNetSincNet is a neural architecture for efficiently processing raw audio samples.项目地址:https://gitcode.com/gh_mirrors/si/SincNet 在探索人类语音识别的广阔天地中，一项名为SincNet的技术正在引领一场新...
可解释的卷积滤波器 SincNet
海上机械师
05-22 5037
2018 年以后，SincNet 具有更快的收敛速度、更佳的表示能力和更好的可解释性，但也暴露出其对抗攻击的脆弱性。笔者详细分析 SincNet 四部分：设计原理、可解释性、无监督学习应用和对抗攻击。考虑到 SincNet 在频域方面的物理意义，它将为语音处理应用的研发提供极大的便利，例如说话人识别与语音识别。
SincNet原理和代码学习
weixin_51228224的博客
08-29 2816
文章提出一种端到端的CNN架构，SincNet。它要求第一卷积层学习到更有意义的滤波器，通过参数化的Sinc函数实现带通滤波。标准CNN中滤波器需要学习所有权重，而本架构中，只需要学习低截止频率和高截止频率，这提供了紧凑和有效的方法来设计定制滤波器组。在说话人识别和说话人验证任务上进行的实验表明，本文所提出的结构收敛速度更快，在原始波形上的性能均优于标准CNN。...
sinc函数
weixin_30918633的博客
10-07 8605
Sinc滤波器 在信号处理领域，Sinc滤波器一个全部除去给定带宽之上的信号分量而只保留低频信号的理想电子滤波器。在频域它的形状象一个矩形函数，在时域它的形状象一个Sinc函数。由于理想的 Sinc 滤波器（人们熟知的矩形滤波器）有无限的延迟，所以现实世界中的滤波器只能是它的一个近似，但是它仍然在概念演示或者验证中得到了广泛应用，如采样定理以及Whittaker–Shannon插值公式。 ...
SincNet训练总结
zz_Rebas的博客
04-14 1987
环境：Linux，Ubuntu16.04 下载GitHub资源 git clone https://github.com/mravanelli/SincNet 下载TIMIT数据集 可从官网下载，也可从我的网盘下载。 提取码：g9ax TIMIT数据集介绍资料link 1. 把TIMIT数据集做一个标准化处理 在SincNet路径下执行： python3 TIMIT_preparation.py...
sinc函数卷积_SincNet论文解读
weixin_30891153的博客
02-04 1043
SincNet是由Micro Ravanelli在NISP 2018上发表的，用CNN处理原始语音波形：https://arxiv.org/pdf/1811.09725.pdf​arxiv.org同时，发表在SLT2018，作者将SincNet应用到了说话人识别上，并且在说话人辨认和说话人确认任务上都取得了性能提升：https://arxiv.org/pdf/1808.00158.pdf​arxi...
keras-sincnet:“从具有SincNet的原始波形中的扬声器识别”中对SincNet进行Keras实现
03-15
在深度学习领域，语音识别是热门的研究方向之一，而SincNet是近年来提出的一种用于语音特征提取的模型，尤其适用于从原始波形数据中进行语音处理。Keras是一个高度模块化的神经网络库，它允许用户快速地构建和实验...
VGG-SincNet检测
06-01
SincNet是一种新颖的神经网络结构，它采用了具有可调节参数的带通滤波器，能够直接从原始的语音波形中提取出特征。VGGNet则是一种经典的卷积神经网络结构，通过多层卷积和池化操作，能够逐层提取出不同的特征。 VGG...
winsinc:应用窗口 sinc 滤波器。-matlab开发
06-01
应用窗口 sinc 滤波器 用法： [xf,Rh,Fh] = winsinc(x,dt,fc,ns,ftype,fo) 描述： 加窗正弦滤波器。 这是一个数字对称非递归滤波器，它可以是低通、高通或带通，通过使用加窗的 sinc 函数。非递归滤波器基于将输入序列与权重函数进行卷积。与递归滤波器相比，它们的优势在于它们总是稳定且配对更简单。它们的缺点是它们可能需要大量的权重才能实现所需的响应。 输入变量： x = 向量dt = 采样间隔fc = 截止频率ns = 过滤器的宽度(>>ns 产生更陡峭的截止但计算成本更高） 2*ns + 1 = 滤波器阶数，（滤波器系数数） win = 窗口类型： 'welch'、'parzen'、'hanning'、'hamming' 'blackman'、'lanczos'、'kaiser' ftype = 'low', 'high' o 'pass'
sinc加窗滤波器
06-01
这是一个sinc加窗滤波器，截止频率为0.25，实现对输入的信号进行低通滤波的效果
深入浅出matplotlib(101)：研究最有名的滤波函数：sinc函数
大坡3D软件开发
09-11 2577
在信号处理领域，Sinc滤波器一个全部除去给定带宽之上的信号分量而只保留低频信号的理想电子滤波器。在频域它的形状象一个矩形函数，在时域它的形状象一个Sinc函数。由于理想的 Sinc 滤波器（人们熟知的矩形滤波器）有无限的延迟，所以现实世界中的滤波器只能是它的一个近似，但是它仍然在概念演示或者验证中得到了广泛应用，如采样定理以及Whittaker–Shannon插值公式。 由于这个函数使用的地方比较，我们先来学习一下它的图形特征： 那条青色的曲线就是有名的sinc函数，而那么蓝线是sin(x)/x的
探秘SincNet：语音识别的新星，高效且可定制
gitblog_00030的博客
04-09 498
探秘SincNet：语音识别的新星，高效且可定制 SincNetSincNet is a neural architecture for efficiently processing raw audio samples.项目地址:https://gitcode.com/gh_mirrors/si/SincNet 是一个基于TensorFlow和PyTorch的开源项目，它专注于语音特征提取，为深...
sinc函数原型滤波器窗口matlab,sinc函数
weixin_36488616的博客
03-25 3616
sinc函数和rect函数 互为傅里叶变换 物理上,单一矩形脉冲rect(t) 的频谱是sinc函数;单缝的夫 琅和费衍射花样是sinc函数 附: sinc2函数 sinc2(x)=[sinc(x......另一方面,Sinc函数特性定义为:图5b. 噪声的幅度由公式7a的倒数给出: 图...7.sinc 功能:产生 sinc 函数波形。 调用格式: x=sinc(t);...2015/10/21...
CIC滤波器和SINC滤波器
热门推荐
长河柱天的博客
04-07 1万+
1、CIC提出于1981，可以方便地实现抽取和内插；通过调节积分器和comb的个数可以调节其频率响应。其一般频响如图1： 类似于一个SINC函数，因此也被称为SINC滤波器。针对图1中通带不平的问题，可以设计额外的补偿滤波器。值得一提的是，sinc函数和矩形函数在频域和时域是互相对应的，也就是说，时域的sinc函数:sin(x)/x，在频率对应于brick wall filter；反之...
fri信号重构-sinc核滤波
诚朴勇毅
09-06 757
记录一下学习FRI的过程，这是一个完整的FRI信号的生成，欠采样及信号重构的matlab代码。 clc;clear all;close all; %% FRI信号-Dirac 脉冲信号的建模 dt = 0.001; % T = 1; %仿真时间 t = 0:dt:T; %时间向量 L = 5; %单位时间内的脉冲个数,2*L即为新息率 ak = [0.5 0.3 0.1 0.9 0.8]; %脉冲的幅值 tk = [0.1 0.3 0.4 0.5 0.8]; N = length(t); x = ze
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值