pandas操作

  • pandas知识回顾
  • iloc/ix切片
  • 列条件与与列的筛选
  • 读取csv、xlsx文件
  • 行的增加与删除
  • 列的增加与删除
  • 排序
  • 数据分组描述
  • 统计描述
  • 作图
  • 数据框合并

#-*-encoding:utf-8-*-
'''
created by zwg in 2016-12-03
'''
import pandas
import numpy
from pylab import mpl
from matplotlib import pyplot
mpl.rcParams['font.sans-serif']=['SimHei']
mpl.rcParams['axes.unicode_minus']=False

def practise_one():
    #pandas知识回顾
    numpy.random.seed()
    Data = pandas.DataFrame(data=numpy.random.randn(5, 3), columns=list('ABC'))
    # print Data
    # print Data.values
    # print Data.columns
    # print Data.index
    # print Data.tail(5)
    # print Data.head(5)

    #iloc/ix切片
    print Data.iloc[0:2, [0, 2]]
    print Data.ix[0:2, [0, 2]]
    print Data.ix[0:2, ['A', 'C']]
    print Data.iat[0, 0]

    # 列条件与与列的筛选
    print Data[Data.A > 0.5]
    print Data[(Data.A > 0.5) & (Data.C < 0.7)]
    print Data[['B']]

    print Data[Data.A > 0.5].ix[:, 'B']
    print Data[Data.A > 0.5][['B']]
    print Data[['B']][Data.A > 0.5]

    #读取csv、xlsx文件
    # pandas.read_csv(filepath_or_buffer=file_name,header=0/None,index_col=Fasle/row_name,encoding='utf-8')
    # pandas.read_table(filepath_or_buffer=file_name,header=0/None,index_col=Fasle/row_name,encoding='utf-8')
    # pandas.read_excel(io=file_name,sheetname=0/sheetname,header=0/None,index_col=Fasle/row_name,encoding='utf-8')


def practise_two():
    Data=pandas.read_excel('test.xlsx',encoding='utf-8',header=0)

    # 行的增加与删除
    # Data1 = Data.drop([1,2,3], axis=0)
    # Data2=Data1.copy()
    # Data1=Data1.append(Data2,ignore_index=True)
    # print Data1

    # 列的增加与删除
    # Data1=Data.drop(['name', 'class'],axis=1)
    # print Data1.columns
    # Data1=Data.reindex(columns=['class','name','grade','add'])
    # print Data1.columns

    #排序
    # print Data.sort_values(by=['grade'],ascending=False)
    # print Data.sort_index(axis=0,ascending=False)

    # 数据分组描述
    # Data1=Data.groupby('sex')
    # print Data1['sex'].count()
    # print Data1['grade'].mean()
    # print Data1['sex'].unique()

    # 数据分组
    # Data2=Data.groupby(['class','sex'])
    # print Data2['grade'].describe()

    # 统计描述
    # print Data.describe(include='all')
    # Data3=Data[['grade','sex']]
    # figure=pyplot.figure()
    # Data3.plot(kind='box',by='sex')
    # pyplot.show()

    #分组计数
    # print Data['sex'].value_counts()

    # 作图
    # Data.boxplot(column='grade',by=['class','sex'])
    # Data.hist(column='grade')
    # Data['sex'].value_counts().plot(kind='bar')
    Data.groupby(['class'])['grade'].mean().plot(kind='barh',colormap='cool')
    Data.plot(x='grade',y='age',kind='scatter',title='grade-age change',logx=True,logy=True)
    Data.plot(kind='kde')
    pyplot.show()

def practise_three():
    #数据框合并
    Data1=pandas.DataFrame(data=numpy.random.rand(5,3),columns=list('ABC'))
    Data1['D'] = [1, 2, 3, 4, 5]
    print Data1
    Data2 = pandas.DataFrame(data=numpy.random.rand(5, 3), columns=list('ABC'))
    Data2['D'] = [1, 2, 2, 4, 5]
    print Data2
    # join数据框合并和merge数据框合并
    # Data1=Data1.set_index('D')
    # Data2=Data2.set_index('D')
    # Data3=Data1.join(Data2,lsuffix='_left',rsuffix='_right',how='left')
    # print Data3

    Data4=Data1.merge(Data2,on='D',how='inner',suffixes=('_1','_2'))
    print Data4




if __name__=='__main__':
    # practise_one()
    practise_two()
    # practise_three()


  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Pandas 是一个开源的数据分析工具库,提供了丰富而强大的操作技巧,下面将介绍一些常用的 pandas 操作技巧。 1. 数据读取与写入:使用 pandas 可以方便地读取和写入不同格式的数据文件,如 CSV、Excel、数据库等。只需使用对应的读取函数(如 read_csv()、read_excel())和写入函数(如 to_csv()、to_excel())即可。 2. 数据清洗与处理:pandas 提供了丰富的数据处理功能,如处理缺失值、重复值、异常值等。处理缺失值可以使用 dropna() 删除包含缺失值的行或列,使用 fillna() 填充缺失值;处理重复值可以使用 duplicated() 判断是否重复,再使用 drop_duplicates() 删除重复值;处理异常值可以使用条件判断或使用正则表达式等方法。 3. 数据选择与切片:pandas 可以灵活地选择和切片数据,使得数据的访问和操作更加简便。可以使用 loc[] 和 iloc[] 选择指定行或列,也可以使用条件判断选择特定条件下的数据。 4. 数据合并与拼接:pandas 提供了多种方式实现数据的合并和拼接操作,如使用 merge() 按照指定的键进行合并,使用 concat() 进行行或列的拼接,使用 join() 进行索引的连接等。 5. 数据分组与聚合:pandas 可以根据指定的条件进行数据分组,并进行聚合操作,如求和、求均值、求最大值等。可以使用 groupby() 对数据进行分组,再使用 agg()、sum()、mean() 等函数进行聚合运算。 6. 数据可视化:pandas 也提供了简单而强大的数据可视化功能,通过 DataFrame 的 plot() 方法可以直接绘制各种图表,如折线图、柱状图、散点图等。 以上是一些常用的 pandas 操作技巧,掌握这些技巧可以更加高效地进行数据处理和分析。当然,这仅仅是 pandas 的冰山一角,还有很多其他的功能和用法可以进一步探索和学习。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值