数据预处理----白化(Whitening)

已于 2023-12-05 10:14:19 修改
阅读量1k 收藏 11
点赞数 2
文章标签： 深度学习 图像处理
于 2023-12-01 11:27:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzylalalala/article/details/134727885
版权

目录

1.白化的目的

2.白化步骤

 2.1 零中心数据（数据预处理）

                 平均归一化

                标准化或归一化

2.2 数据去相关

         计算协方差矩阵

         计算特征向量

2.3 缩放处理

3.ZCA白化

 4.PCA白化和ZCA白化的区别

1.白化的目的

                通常，数据集的各个attributes是存在一定相关性的，这就意味着存在冗余信息。白化是一种线性变换，用于对源信号进行去相关，是一种重要的预处理过程，其目的就是降低输入数据的冗余性，使得经过白化处理的输入数据具有如下性质：

  • 消除了特征之间的相关性
  • 所有特征的方差都为 1

2.白化步骤

        白化比其他预处理要复杂一些，它涉及以下步骤：

  • 零中心数据
  • 数据解相关
  • 重新缩放数据

 2.1 零中心数据（数据预处理）

                \blacksquare 平均归一化

                        平均归一化指的是对数据进行减去平均值以达到中心化的目的

                 其中X'是标准化数据集，X是原始数据集，x̅是X的平均值。均值归一化具有将数据居中于0的效果。

                \blacksquare标准化或归一化

                        标准化用于将所有特征放在相同的比例上。

        其中X'是标准化的数据集，X是原始数据集， \overline{x} 是平均值， 并且σ是标准偏差。                 

2.2 数据去相关

                什么是去相关呢。

                即原始数据存在一定的相关性，我们想要旋转数据以使得数据不在存在相关性        

                那么我们要怎样旋转才能得到不想关的数据呢，实际上，在协方差矩阵中，其特征向量指示的就是数据扩散的最大方向。

                因此，我们可以通过使用特征向量投影来解相关数据。这将具有应用所需旋转并移除尺寸之间的相关性的效果。以下是步骤：

  • 计算协方差矩阵
  • 计算协方差矩阵的特征向量
  • 将特征向量矩阵应用于数据 - 这将应用于旋转
        \blacksquare 计算协方差矩阵

                我们知道协方差公式如下。

                而对弈已经进行好零中心数据处理的数据中，我们已经对数据进行了去均值处理，所以\overline{x},\overline{y}都=0。

                对于我们的样本X矩阵来说，其协方差矩阵就等于X和它的转置之间的点积。

        \blacksquare 计算特征向量

                        A为n阶矩阵，若数λ和n维非0列向量x满足Ax=λx，那么数λ称为A的特征值，x称为A的对应于特征值λ的特征向量。式Ax=λx也可写成( A-λE)x=0，并且|λE-A|叫做A 的特征多项式。当特征多项式等于0的时候，称为A的特征方程，特征方程是一个齐次线性方程组，求解特征值的过程其实就是求解特征方程的解。

                对协方差矩阵 C进行特征值分解，有

显然， U 是由 C 的特征向量作为列向量构成的矩阵， \Lambda是对角矩阵，对角线元素为特征值。 
        \blacksquare 将特征向量矩阵应用于数据 

                对于任一样本，其去相关后的数据y表示为

2.3 缩放处理

                 要求是每个输入特征具有单位方差，以直接使用作为缩放因子来缩放每个特征，，我们通过将每个维度除以其对应的特征值的平方根\sqrt{\lambda _{i}}来缩放我们的去相关数据。

                

                有时一些特征值在数值上接近于0，这样在缩放步骤时我们除以将导致除以一个接近0的值，这可能使数据上溢 (赋为大数值)或造成数值不稳定。因而在实践中，我们使用少量的正则化实现这个缩放过程，即在取平方根和倒数之前给特征值加上一个很小的常数 ：

                当x在区间 [-1,1] 上时, 一般取值为

上述结果即为PCA白化的结果 

3.ZCA白化

                ZCA 白化的全称是 Zero-phase Component Analysis Whitening。我对【零相位】的理解就是，相对于原来的空间（坐标系），白化后的数据并没有发生旋转（坐标变换）。

算法过程

                ZCA白化则是在PCA白化基础上，将PCA白化后的数据旋转回到原来的特征空间，这样可以使得变换后的数据更加接近原始输入数据。 ZCA白化的计算公式：

 4.PCA白化和ZCA白化的区别

PCA白化ZCA白化都降低了特征之间相关性较低，同时使得所有特征具有相同的方差。

1.   PCA白化需要保证数据各维度的方差为1，ZCA白化只需保证方差相等。

2.   PCA白化可进行降维也可以去相关性，而ZCA白化主要用于去相关性另外。

3.   ZCA白化相比于PCA白化使得处理后的数据更加的接近原始数据。

                                

参考博客：dimensionality reduction - What is the difference between ZCA whitening and PCA whitening? - Cross Validated (stackexchange.com)白化变换：PCA白化、ZCA白化 - 知乎 (zhihu.com)

去相关与白化（decorrelation and whitening） - 知乎 (zhihu.com)

Zachary_coding
关注
  • 2
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
i-vector的工具箱
12-12
MSR Identity Toolbox: A Matlab Toolbox for Speaker Recognition Research Version 1.0 Seyed Omid Sadjadi, Malcolm Slaney, and Larry Heck Microsoft Research, Conversational Systems Research Center (CSRC) [email protected], {mslaney,larry.heck}@microsoft.com This report serves as a user manual for the tools available in the Microsoft Research (MSR) Identity Toolbox. This toolbox contains a collection of Matlab tools and routines that can be used for research and development in speaker recognition. It provides researchers with a test bed for developing new front-end and back-end techniques, allowing replicable evaluation of new advancements. It will also help newcomers in the field by lowering the “barrier to entry”, enabling them to quickly build baseline systems for their experiments. Although the focus of this toolbox is on speaker recognition, it can also be used for other speech related applications such as language, dialect and accent identification. In recent years, the design of robust and effective speaker recognition algorithms has attracted significant research effort from academic and commercial institutions. Speaker recognition has evolved substantially over the past 40 years; from discrete vector quantization (VQ) based systems to adapted Gaussian mixture model (GMM) solutions, and more recently to factor analysis based Eigenvoice (i-vector) frameworks. The Identity Toolbox provides tools that implement both the conventional GMM-UBM and state-of-the-art i-vector based speaker recognition strategies. A speaker recognition system includes two primary components: a front-end and a back-end. The front-end transforms acoustic waveforms into more compact and less redundant representations called acoustic features. Cepstral features are most often used for speaker recognition. It is practical to only retain the high signal-to-noise ratio (SNR) regions of the waveform, therefore there is also a need for a speech activity detector (SAD) in the fr
个人总结：从 白化(whitening) 到 批标准化(Batch Normalization)
yyhhlancelot的博客
06-20 2543
白化 Whitening 由于图像中像素之间具有很强的相关性，所以用于训练时输入是冗余的。白化的目的是降低输入的冗余性，我们希望通过白化过程使得算法的输入有如下性质：1、特征间相关性较低。2、所有特征具有相同的方差。 z-score白化 将图片调整为平均像素值为0，方差为单位方差的分布。 PCA白化 假设输入数据是冗余的，经过白化处理后：1、特征间相关性较低。2、所有特征具有相同的方差。...
五、数据标准化、归一化、白化操作
嘻哈吼嘿呵的博客
11-06 2991
目录 一、深度网络训练的问题 二、数据标准化的几种方法： 1.标准化： 2.归一化： 3.白化： 一、深度网络训练的问题 总所周知，深度网络训练会遇到两个大问题：梯度消失和梯度爆炸。 假设网络没有使用非线性函数，不考虑偏置b，设每层网络层输入为x(k−1)∈Rnk−1×1 x(k−1)∈Rnk−1​×1，参数是W(k)∈Rnk×nk−1W(k)∈Rnk​×nk−1​，输出为...
数据预处理的几个方法：白化、去均值、归一化、PCA
GZKPeng的博客
12-01 3万+
以上转载自：http://ufldl.stanford.edu/wiki/index.php/%E7%99%BD%E5%8C%96 假定数据表示成矩阵为X，其中我们假定X是[N*D]维矩阵(N是样本数据量，D为单张图片的数据向量长度)。 去均值，这是最常见的图片数据预处理，简单说来，它做的事情就是，对待训练的每一张图片的特征，都减去全部训练集图片的特征均值，这么做的直观意义就是，我们把输入数据
BERT-whitening-pytorch:Pytorch版本的BERT白化
04-01
BERT增白 这是“美化的Pytorch实施。 BERT增白在文本语义搜索中非常实用，其中增白操作不仅提高了无监督语义矢量匹配的性能，而且减小了矢量维，有利于减少内存使用量，提高矢量搜索引擎的检索效率，例如，FAISS。 这种方法最早是由苏建林在他的博客中提出的 。 重现实验结果 准备 下载数据集： $ cd data/ $ ./download_datasets.sh $ cd ../ 下载型号： $ cd model/ $ ./download_models.sh $ cd ../ 下载数据集和模型文件后， data/和model/目录如下： ├── data │ ├── AllNLI.tsv │ ├── download_datasets.sh │ └── downstream │ ├── COCO │ ├── CR │
whiten.zip_matlab 数据白化_matlab 白化_matlab 白化处理_whiten_whiten data
07-15
数据白化处理matlab程序，内有注释，简单易懂，适用于初学者
机器学习（七）白化whitening
热门推荐
hjimce的专栏
03-12 6万+
输入数据集X，经过白化处理后，新的数据X'满足两个性质： (1)特征之间相关性较低； (2)所有特征具有相同的方差。 其实我们之前学的PCA算法中，可能PCA给我们的印象是一般用于降维操作。然而其实PCA如果不降维，而是仅仅使用PCA求出特征向量，然后把数据X映射到新的特征空间，这样的一个映射过程，其实就是满足了我们白化的第一个性质：除去特征之间的相关性。因此白化算法的实现过程，第一步操作就是PCA，求出新特征空间中X的新坐标，然后再对新的坐标进行方差归一化
vue前台错误
lyu12345的博客
10-17 745
TypeError: Cannot read property ‘validate’ of undefined 错误 TypeError: Cannot read property ‘validate’ of undefined <el-button type=“primary” @click=“addStock”>新增 method...
数据挖掘中白化处理的作用和具体操作，以及白化在NLP、多模态领域的妙用
xiao_ling_yun的博客
03-22 1530
数据挖掘中白化处理的作用和具体操作，以及白化在NLP、多模态领域的妙用
Whiten process——数据的白化处理
weixin_37872766的博客
11-07 1万+
1.什么是白化处理 “白化”这个词最早来源于信号处理领域，跟其中最常见的一种噪声——白噪声有很大的联系[1]。在信号处理理论中，白噪声指的是一种在不同频率都有相同功率的随机信号，即其功率谱密度为常数，功率与频率无关。“白噪声”这个名字来源于白光，白光包含了光谱中所有的颜色,其功率谱密度也呈平坦状，类似地，“白噪声”这种噪声中包含了所有频率的噪声，因此被冠上了“白”的称号[2]。其他不满足该功率谱...
dwt-domain-adaptation:论文代码“使用特征白化和共识丢失的无监督域自适应”（CVPR 2019）
05-06
用于无监督域自适应的域白化转换（CVPR 2019） 于2019年6月在加利福尼亚州长滩举行的计算机视觉与模式识别会议（ CVPR ）上发布了论文的官方PyTorch github存储库，该论文进行了。 先决条件 火炬1.0 的Python 3.5 用法 OfficeHome：在其上运行的实验数据集首先需要下载该数据集页面。 完成此步骤后，您将需要下载ResNet50预训练的检查点，该检查点在ImageNet上进行了训练，而BatchNorm层（在第一个转换层和第一个Res块中）被变白了标准化层。 预训练的砝码可。 python resnet50_dwt_mec_officehome.py --s_dset_path path-to-source-dataset-folder --t_dset_path path-to-target-dataset folder --re
matlab白化代码-Data-Whitening-ICA:此MATLAB脚本显示了如何对ICA算法进行数据白化
05-27
matlab白化代码数据白化ICA 该程序显示了如何对ICA算法进行数据白化。 代码模板 该程序是通过在上找到的MATLAB文件编写的。 它仅作一些微小的更改：处理的信号是不同的，并且修改了信息的打印。 作者 Arnaud DELORME- 托马斯·拉比安-
BERT-whitening:简单的向量白化改善句向量质量
04-07
BERT-whitening 通过简单的向量白化来改善句向量质量，可以媲美甚至超过BERT-flow的效果。 介绍 博客： 论文： 引用 @article{su2021whitening, title={Whitening Sentence Representations for Better Semantics and Faster Retrieval}, author={Su, Jianlin and Cao, Jiarun and Liu, Weijie and Ou, Yangyiwen}, journal={arXiv preprint arXiv:2103.15316}, year={2021} } 交流 QQ交流群：808623966，微信群请加机器人微信号spaces_ac_cn
【深度学习】烟雾和火焰数据集，野外数据集，超大量数据集，目标检测，YOLOv5
q742971636的博客
04-23 355
标注了2w张数据集，是目标检测yolo格式的，有火焰、烟雾两个目标。
机器学习和深度学习 -- 李宏毅（笔记与个人理解）Day 23
weixin_65403042的博客
04-22 1894
由于self - attention 一般都是在big model 的一部分，所以，一般不会对模型造成决定性的影响， 只有当model 的输入较长的时候， 例如图中： 图片处理 ： 256 * 256 的输入，self-attention 就会得到一个 256 * 256 的平方的 矩阵；// todo 这是因为自注意力机制的目的是计算序列中每个元素对于序列中每个其他元素的注意力得分，所以我们需要一个 N×N 的矩阵来表示这些得分。和你做函数的代换法的时候 用 u 代表变量 x 的行为没什么两样啦。
勾八头歌之RNN
m0_62470904的博客
04-23 300
【代码】勾八头歌之RNN。
深度学习基础之《TensorFlow框架（14）—TFRecords》
csj50的专栏
04-23 368
1、TFRecords其实是一种二进制文件，虽然它不如其他格式好理解，但是它能更好的利用内存，更方便复制和移动，并且不需要单独的标签文件。（3）将协议内存块序列化为字符串，并且通过tf.io.TFRecordWriter写入到TFRecords文件。（2）将数据填入到Example协议内存块（protocol buffer）3、文件格式*.tfrecords。一、什么是TFRecords文件。二、Example结构解析。
OneFlow新概念清单，AI深度学习的革命性突破（AI写作）
最新发布
AI写作的博客
04-24 869
OneFlow的概念清单为我们描绘了一个充满无限可能的未来。在这个未来中，数据处理将变得更加高效，模型训练将变得更加迅速，而模型的可解释性也将得到显著提升。这一切的改变，都将推动人工智能和深度学习技术的飞跃发展，为我们的生活带来更多便利。
深度学习系列64：数字人wav2lip详解
kittyzc的博客
04-23 249
总体步骤差不多，但是相比于openHeygen要简化很多第一步，加载视频/图片和音频/tts。同样是用melspectrogram将wav文件拆分成mel_chunks。第二步，调用face_detect模型，给出人脸检测结果（可以改造成从文件中读取），包装成4个数组batch：img_batch(人脸)，mel_batch(语音)，frame_batch(原图)，coords_batch(坐标)第三步，加载模型，进行计算。这个模型目前看下来就是简单的resnet，没有transfomer。
get Pre-whitening signal by python
03-25
Pre-whitening is a technique used in signal processing to remove the spectral correlation of a signal, thus making it easier to analyze or model. Here is an example of how to pre-whiten a signal using Python and the NumPy library. First, let's import the necessary libraries: ```python import numpy as np import matplotlib.pyplot as plt from scipy.signal import lfilter, butter ``` Next, let's generate a simple signal consisting of two sinusoids with different frequencies and amplitudes: ```python fs = 1000 # Sampling rate in Hz t = np.arange(0, 1, 1/fs) # Time vector from 0 to 1 second n = len(t) # Number of samples f1 = 50 # First sinusoid frequency in Hz f2 = 200 # Second sinusoid frequency in Hz A1 = 1 # First sinusoid amplitude A2 = 0.5 # Second sinusoid amplitude x = A1*np.sin(2*np.pi*f1*t) + A2*np.sin(2*np.pi*f2*t) # Signal ``` We can plot the signal to visualize it: ```python plt.plot(t, x) plt.xlabel('Time (s)') plt.ylabel('Amplitude') plt.show() ``` ![Signal plot](https://i.imgur.com/lNPF9fn.png) Now we can pre-whiten the signal using a first-order Butterworth high-pass filter with a cutoff frequency of 10 Hz. This will remove the low-frequency components of the signal and leave us with a white noise signal: ```python f_cutoff = 10 # Cutoff frequency in Hz b, a = butter(1, f_cutoff/(fs/2), btype='highpass') # High-pass filter coefficients x_filt = lfilter(b, a, x) # Apply filter to signal ``` We can plot the filtered signal to visualize it: ```python plt.plot(t, x_filt) plt.xlabel('Time (s)') plt.ylabel('Amplitude') plt.show() ``` ![Filtered signal plot](https://i.imgur.com/vhn6UFW.png) As you can see, the pre-whitened signal has a flat spectral density, which means that its power is uniformly distributed across all frequencies. This makes it easier to analyze or model the signal without being biased by its spectral correlation.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值