pandas task01

pandas基础

一、文件的读取与写入
文件读取：pandas.read_文件格式，eg：pandas.read_csv(’/data.csv’)
文件写入：pandas.to_文件格式，eg:pandas.to_csv(‘data/new_table.csv’)

#读取
df = pd.read_csv('work/table.csv')
df.head()#默认查看前五行，想看n行的话就在括号内加数字，如前20行 df.head(20)

#写入
df.to_csv('data/new_table.csv')
#df.to_csv('data/new_table.csv', index=False) #保存时除去行索引
#df.to_csv('data/new_table.csv', header=False) #保存时除去列索引

#读取
df_txt = pd.read_table('work/table.txt') #可设置sep分隔符参数
#写入
df_txt.to_csv('data/new_table.txt', index=False)

#读取
!pip install -i https://pypi.tuna.tsinghua.edu.cn/simple xlrd
import xlrd
#需要安装xlrd包
df_excel = pd.read_excel('work/table.xlsx')
df_excel.head()

#写入
!pip install -i https://pypi.tuna.tsinghua.edu.cn/simple openpyxl
import openpyxl
#需要安装openpyxl
df.to_excel('data/new_table2.xlsx', sheet_name='Sheet1',index=False)

二、基本数据结构
在pandas中有两类非常重要的数据结构，即序列Series和数据框DataFrame。Series类似于numpy中的一维数组，除了通吃一维数组可用的函数或方法，而且其可通过索引标签的方式获取数据，还具有索引的自动对齐功能；DataFrame类似于numpy中的二维数组，同样可以通用numpy数组的函数和方法，而且还具有其他灵活应用。

1.对于一个Series，其中最常用的属性为值（values），索引（index），名字（name），类型（dtype）;

s = pd.Series(np.random.randn(5),index=['a','b','c','d','e'],name='这是一个Series',dtype='float64')
s

#访问Series属性
s.values
s.name
s.index
s.dtype
#取Series中某一索引的值
s['a']

#Series有相当多的方法可以调用，使用方式和属性一样，直接一个点+调用方法
#下面汇总在series中可以使用的方法
print([attr for attr in dir(s) if not attr.startswith('_')])

2.对于一个数据框，也有几个元素，值，变量名（纵轴的表头），索引or标签（横轴的表头）

# 创建一个 DataFrame
df = pd.DataFrame({'col1':list('abcde'), 
                   'col2':range(5,10), 
                   'col3':[1.3,2.5,3.6,4.6,5.8]}, 
                   index=list('一二三四五'))
df

从DataFrame取出一列为Series

修改行或列名df.rename(index={'一':'one'},columns={'col1':'new_col1'})
调用属性和方法df.index df.columns df.values df.shape df.mean()

索引对齐特性:这是Pandas中非常强大的特性，不理解这一特性有时就会造成一些麻烦

df1 = pd.DataFrame({'A':[1,2,3]})
df2 = pd.DataFrame({'A':[1,2,3]})
df1-df2 #由于索引默认对齐，因此结果是0

df1 = pd.DataFrame({'A':[1,2,3]},index=[1,2,3])
df2 = pd.DataFrame({'A':[1,2,3]},index=[3,1,2])
df1-df2 #由于索引对齐，因此结果不是0

列的删除与添加:对于删除而言，可以使用drop函数或del或pop

df.drop(index='五',columns='col1') #设置inplace=True后会直接在原DataFrame中改动

df['col1']=[1,2,3,4,5]
del df['col1']
df

#pop方法直接在原来的DataFrame上操作，且返回被删除的列，与python中的pop函数类似
df['col1']=[1,2,3,4,5]
df.pop('col1')

df

#可以直接增加新的列，也可以使用assign方法
df1['B']=list('abc')
df1

df1.assign(C=pd.Series(list('def')))

#但assign方法不会对原DataFrame做修改
df1

根据类型选择列:刚才df第一列是字母，第二列是整数，第三列是浮点数。

df.select_dtypes(include=['number']).head()

df.select_dtypes(include=['float']).head()

将Series转换为DataFrame

三、常用基本函数

1. head和tail:默认展示数据集的前五行和后五行，可以设置显示行数。

2.unique和nunique：

3.count和value_counts：

4.describe和info：


5.idxmax和nlargest：

6.clip和replace：

7.apply函数：

四、排序
1.索引排序

2.值排序

五、问题与练习

1. 问题

【问题一】 Series和DataFrame有哪些常见属性和方法？
【问题二】 value_counts会统计缺失值吗？
不会
【问题三】 与idxmax和nlargest功能相反的是哪两组函数？
idxmin和nsmallest
【问题四】 在常用函数一节中，由于一些函数的功能比较简单，因此没有列入，现在将它们列在下面，请分别说明它们的用途并尝试使用。
sum/mean/median/mad/min/max/abs/std/var/quantile/cummax/cumsum/cumprod
MAD(X)=median(|Xi−median(X)|)，是指中位数绝对偏差。
【问题五】 df.mean(axis=1)是什么意思？它与df.mean()的结果一样吗？第一问提到的函数也有axis参数吗？怎么使用？
axis=1是跨列，默认是行

#【练习一】 现有一份关于美剧《权力的游戏》剧本的数据集，请解决以下问题：
#（a）在所有的数据中，一共出现了多少人物？
#（b）以单元格计数（即简单把一个单元格视作一句），谁说了最多的话？
#（c）以单词计数，谁说了最多的单词？
df=pd.read_csv('datalab/61658/Game_of_Thrones_Script.csv')
df.head()

#a
df['Name'].nunique()

#b
df['Name'].value_counts().index[0]

#c
df_words = df.assign(Words=df['Sentence'].apply(lambda x:len(x.split()))).sort_values(by='Name')
df_words.head()

L_count = []
N_words = list(zip(df_words['Name'],df_words['Words']))
for i in N_words:
    if i == N_words[0]:
        L_count.append(i[1])
        last = i[0]
    else:
        L_count.append(L_count[-1]+i[1] if i[0]==last else i[1])
        last = i[0]
df_words['Count']=L_count
df_words['Name'][df_words['Count'].idxmax()]

#zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。
#如果各个迭代器的元素个数不一致，则返回列表长度与最短的对象相同，利用 * 号操作符，可以将元组解压为列表。
a = [1,2,3]
b = [4,5,6]
c = [4,5,6,7,8]
zipped = zip(a,b)     # 打包为元组的列表
## 结果：[(1, 4), (2, 5), (3, 6)]
zip(a,c)              # 元素个数与最短的列表一致
## 结果：[(1, 4), (2, 5), (3, 6)]
zip(*zipped)          # 与 zip 相反，*zipped 可理解为解压，返回二维矩阵式
## 结果：[(1, 2, 3), (4, 5, 6)]

#【练习二】现有一份关于科比的投篮数据集，请解决如下问题：
#（a）哪种action_type和combined_shot_type的组合是最多的？
#（b）在所有被记录的game_id中，遭遇到最多的opponent是一个支？
df = pd.read_csv('datalab/61658/Kobe_data.csv',index_col='shot_id')
df.head()

#a
pd.Series(list(zip(df['action_type'],df['combined_shot_type']))).value_counts().index[0]

#b
pd.Series(list(list(zip(*(pd.Series(list(zip(df['game_id'],df['opponent'])))
                          .unique()).tolist()))[1])).value_counts().index[0]