pandas第三次打卡

一、SAC过程：

1.1 内涵：

SAC指的是分组操作中的split-apply-combine过程；

其中split指基于某一些规则，将数据拆分成若干组，apply是指对每一组独立地使用函数，combine指将每一组的结果组合成某一类数据结构。

1.2 apply过程：

在改过程中，往往会遇到四类问题：

整合(Aggregation) —— 即分组计算统计量(如求均值、求每组元素个数)
变换(Transformation) —— 即分组对每个单元的数据进行操作(如元素标准化)
过滤(Filtration) —— 即按照某些规则筛选出一些组(如选出组内某一指标小于50的组)
综合问题 —— 即上面三种问题的混合。

二. group by（SAC中的S）

ipl_data = {'Team': ['Riders', 'Riders', 'Devils', 'Devils', 'Kings',
         'kings', np.nan, 'Kings', 'Riders', 'Royals', 'Royals', 'Riders'],
         'Rank': [1, 2, 2, 3, 3,4 ,1 ,1,2 , 4,1,2],
         'Year': [2014,2015,2014,2015,2014,2015,2016,2017,2016,2014,2015,2017],
         'Points':[876,789,863,673,741,812,756,788,694,701,804,690]}

df = pd.DataFrame(ipl_data)
#经过groupby后会生成一个groupby对象，该对象本身不会返回任何东西，只有当相应的方法被调用才会起作用
group_year =  df.groupby('Year')
#对于groupby函数而言，分组的依据是非常自由的，只要是与数据框长度相同的列表即可，同时支持函数型分组
np.random.choice(['a','b','c'],df.shape[0])
df.groupby(np.random.choice(['a','b','c'],df.shape[0])).get_group('a')
#函数型分组
df.groupby(lambda x:'奇数行' if df.index.get_loc(x)%2==1 else '偶数行').get_group('奇数行')

2.1 索引groups

#索引全部groups，返回Dict
group_year.groups

#索引单个group，返回Dataframe
group_year.get_group(2014)

#索引单列
group_year['Rank'].mean()>1

#遍历groups
for name,group in group_year:
    name
    group

2.2 常用方法输出groups每个组前几行、统计groups大小

#对分组对象使用head函数，返回的是每个组的前几行，而不是数据集前几行
group_year.head(1)
group_year.size()
#Compute count of group, excluding missing values.
group_year.count()

三. Apply（SAC中的A）

3.1 聚合（Aggregation）
a）常用聚合函数
所谓聚合就是把一堆数，变成一个标量，因此mean/sum/size/count/std/var/sem/describe/first/last/nth/min/max都是聚合函数，也可以使用自定义函数

group_m = grouped_single['Math']
group_m.std().values/np.sqrt(group_m.count().values)== group_m.sem().values
array([ True,  True])

（b）同时使用多个聚合函数

group_m.agg(['sum','mean','std'])

（c）使用自定义函数:

grouped_single['Math'].agg(lambda x:print(x.head(),'间隔'))

3.2 过滤（Filteration）
filter函数是用来筛选某些组的（务必记住结果是组的全体），因此传入的值应当是布尔标量。

grouped_single[['Math','Physics']].filter(lambda x:(x['Math']>32).all()).head()

3.3变换

grouped_single[['Math','Height']].transform(lambda x:x-x.min()).head()

grouped_single[['Math','Height']].transform(lambda x:(x-x.mean())/x.std()).head()

df_nan = df[['Math','School']].copy().reset_index()
df_nan.loc[np.random.randint(0,df.shape[0],25),['Math']]=np.nan
df_nan.head()
df_nan.groupby('School').transform(lambda x: x.fillna(x.mean())).join(df.reset_index()['School']).head()

3.4 apply函数
apply传入的值是函数。apply函数像是其他分组函数的综合体，可以实现其他函数的所有功能。正因为如此，在所有的分组函数中，apply是应用最为广泛的。但是正因为它的灵活性，导致它的效率没有那些具有特定功能的函数的效率高，比如：transform、aggregation

#返回值是列表
group_year[['Rank','Points']].apply(lambda x:x-x.min())

#返回值是标量
group_year[['Rank','Points']].apply(lambda x:x.mean())