数据处理之异常值分析、处理

最新推荐文章于 2024-07-13 19:01:07 发布

zjlamp

最新推荐文章于 2024-07-13 19:01:07 发布

阅读量1.1w

点赞数 5

分类专栏：数据处理文章标签：数据分析异常值

本文链接：https://blog.csdn.net/zjlamp/article/details/81292706

版权

异常值的分析方法

1、简单统计量分析

做一个描述性统计，进而查看哪些数据不合理。最常用的是最大值和最小值，如年龄的最大值199，则存在异常。

2、3σ原则

针对服从正态分布的数据，

$P(|x-\mu |>3\sigma )\leqslant 0.003$

3、箱形图分析（R语言）

首先，读取数据集，用sum()，mean()函数来分别获取缺失样本数、缺失比例。

saledata <- read.csv(file="catering_sale.csv",header = TRUE)

sum(complete.cases(saledata)) #TRUE为1，FALSE为0。结果为非缺失样本数

sum(!complete.cases(saledata)) #结果为缺失样本数

mean(!complete.cases(saledata)) #缺失比例

saledata[!complete.cases(saledata),] #获取缺失值记录

然后，进行箱形图分析

sp <- boxplot(saledata$销量,boxwex = 0.7) #画出箱形图，boxwex参数控制箱形的宽度

sd.s <- sd(saledata[complete.cases(saledata),]$销量) #结果是完整样本的标准差
mn.s <- mean(saledata[complete.cases(saledata),]$