Pandas学习TASK1
缺失数据
本章学习关于缺失数据的处理,具体包括缺失观测及其类型、缺失数据的运算与分组、填充与剔除、插值。
缺失观测及其类型
了解缺失信息
可以使用isna和notna来了解缺失信息,对series使用会返回布尔列表,对DateFrame使用会返回布尔表。
三种缺失符号
1、np.nan,它不等于任何东西,在numpy中的类型是浮点。
2、None,会等于它本身。
3、NaT,是针对时间序列的缺失值。
缺失数据的运算与分组
加法与乘法运算规则
1、使用加法时,视为0。
2、使用乘法时,视为1。
3、使用累计函数时,缺失值会自动跳过。
groupby中的缺失值
groupby方法会自动忽略为缺失值的组。
缺失数据的填充与剔除
填充
值填充:fillna方法
前向填充:ffill方法
后向填充:backfill方法
剔除
dropna方法。
1、涉及到的参数:axis=0: 删除包含缺失值的行;axis=1: 删除包含缺失值的列。how=‘all’,删除全为缺失值的行或列,how=‘any’,删除存在缺失值的行或列。axis和how参数结合使用。
2、可以使用subset参数在某一组列范围内寻找缺失值。
插值
线性插值
1、与索引无关的插值可直接用interploate方法来实现。
2、与索引有关的插值:method中的index和time选项可以使插值线性依赖索引。
高级插值
高级插值是运用多项式插值、样条插值等方法。
练习
练习一
(a)请以列类型读入数据,并选出C为缺失值的⾏。
df=pd.read_csv('pandas_data/Missing_data_one.csv').convert_dtypes()
df.head()
df.dtypes
#选出C为缺失值的行
df[df['C'].isna()]
(b)现需将A中的部分单元转为缺失值,单元格中的最小转换概率为25%,且概率⼤小与所在⾏B列单元的值成正比。
df = pd.read_csv('pandas_data/Missing_data_one.csv').convert_dtypes()
total_b = df['B'].sum()
min_b = df['B'].min()
df['A'] = pd.Series(list(zip(df['A'].values
,df['B'].values))).apply(lambda x:x[0] if np.random.rand()>0.25*x[1]/min_b else np.nan)
df.head()
练习二
df1=pd.read_csv('pandas_data/Missing_data_two.csv')
df1.head()
(a)统计各列缺失的比例并选出在后三列中至少有两个非缺失值的行。
df1.isna().sum()/df1.shape[0]
#shape[0]读取行数,shape[1]读取列数
#后三列中至少有两个非缺失值的行(最多有一个缺失值的行)
df2 = df1[df1.iloc[:,-3:].isna().sum(1)<=1] #iloc通过索引行、列号来取行数据
df2.head()
(b)请结合身高列和地区列中的数据,对体重列进行合理插值。
思路:先根据地区分组,在各个地区内根据身高对体重进行线性插值。
df_method_1 = df1.copy()
for name,group in df_method_1.groupby('地区'):
df_method_1.loc[group.index,'体重'] = group[['身高','体重']].sort_values(by='身高').interpolate()['体重']
df_method_1['体重'] = df_method_1['体重'].round(decimals=2)
df_method_1.head()