zjl_python的博客

jupyter Notebook 默认路径修改

#将列式数据变成二维交叉形式，便于分析，叫做重塑或透视import pandas as pdimport numpy as npimport matplotlib.pyplot as plt##1.经过统计得到多维度指标数据'''非常场景的统计场景，指定多个维度，计算聚合后的指标实例:统计得到"电影评分数据集”，每个月份的每个分数被评分多少次:(月份、分数1~5、次数)'''fn = "D:\\python39\\pandas\\data\\ratings.dat"df = pd.re.

'''知识: Pandas的GroupBy遵从split、applv、combine模式这里的split指的是pandasfiSgroupby，我们自己实现apply函数，apply返回的结果由pandas进行combine得到结果GroupBy.apply(function).function的第一个参数是dataframe.function的返回结果，可是dataframe、series、单个值，甚至和输入dataframe完全没关系'''##本次实例演示：#1.怎样对数值列按分组的归.

'''数据转换函敌对比: map、apply.applymap:1. map:只用于Series，实现每个值->值的映时;2.apply: 用于Spries实现每个值的处理，用于Dataframe实现某个油的Series的处理;3.applymap:只能用于DataFrame，用于处理该DataFrame的每个元素;'''##1.map用于Series值的转换import pandas as pdfn ="D:\\python39\\pandas\\antlearnpandasmas.

''' 为什么要学习分层索引Multilndex? ·分层索引:在一个轴向上拥有多个索引层级，可以表达更高维度数据的形式; ·可以更方便的进行数据筛选，如果有序则性能更好;groupby等操作的结果，如果是多KEY，结果是分层索引，需要会使用 ·一般不需要自己创建分层索引(Multilndex有构造函数但一般不用) 演示数据:百度、阿里巴巴、爱奇艺、京东四家公司的10天股票数据 数据来自:英为财经 https://cn.investing.coml 本次演示提纲: 一、Series的分层索引|Mu...

'''# 类似SQL:select city,max(temperature) from city_weather group by city;groupby:先对数据分组，然后在每个分组上应用聚合函数、转换函数本次演示:—、分组使用聚合函数做数据统计二.遍历groupby的结果理解执行流程三、实例分组探索天气数据'''import pandas as pdimport numpy as npimport matplotlib.pyplot as plt #可展示matplot图表..

work_dir = 'D:\\python39\\pandas\\data'splits_dir = f"{work_dir}/splits"import pandas as pd import osif not os.path.exists(splits_dir): #若splits_dir不存在时， os.mkdir(splits_dir)#创建splits_dir#1.数据读取fn ='D:\\python39\\pandas\\data\\first1.xlsx'e1 .

'''使用场景:批量合并相同格式的Excel、给DataFrame添加行、给DataFrame添加列一句话说明concat语法:·使用某种合并方式(innerlouter)·沿着某个轴向(axis=0/1)·把多个Pandas对象(DataFramelSeries)合并成—个。concat语法: pandas.concat(objs, axis=0, join='outer', ignore_index=False). objs:一个列表，内容可以是DataFrame或者Series，可以混合..

##Pandas怎样实现DataFrame的Merge'''Pandas的Merge，相当于Sql的Join，将不同的表按key关联到一个表merge的语法:pd.mergellet, right, howe"inner , on=None, left_on=None,right_on=None, lef_index=False,right index=False, sort=True, suffixes=(_x', '_ y), cop=True,indicator=False, validate.

##Pandas的索引index的用途'''把数据存储于普通的column列也能用于数据查询，那使用index有什么好处?index的用途总结:1.更方便的数据查询;2.使用index可以获得性能提升;3.自动的数据对齐功能;4.更多更强大的数据结构支持;'''import pandas as pddf =pd.read_csv('F:\\python387\\pandas\\antlearnpandasmaster\\datas\\ml_latest_small\\ratings.csv'.

'''##Pandas的axis参数怎么理解? .axis=O或者" index" : .如果是单行操作，就指的是某一行 .如果是聚合操作，指的是跨行cross rows .axis=1或者"columns" : 如果是聚合操作，指的是跨列cross columns##按哪个axis，就是这个axis要动起来(类似被Tor遍历)，其它的axis保持不动'''import pandas as pdimport numpy as npdf=pd.DataFrame.

'''Pandas的字符串处理: 1.使用方法:先获取Series的str属性，然后在属性上调用函数; # 例子：df.loc[:,'bWendu'] = df['bWendu'].str.replace('℃','').astype('int32') 2.只能在字符串列上使用，不能数字列上使用; 3.Dataframe上没有str属性和处理方法，只能在Series使用 4.Series.str并不是Python原生字符串，而是自己的一套方法，不过大部分和原生str很相似。Serie.

import pandas as pd df = pd.read_csv("D:\\python39\\pandas\\antlearnpandasmaster\\datas\\beijing_tianqi\\beijing_tianqi_2018.CSV")'''Pandas数据排序Series的排序: Series.sort_values(ascending=True, inplace=False)参数说明: ascending:默认为True升序排序，为False降序排序;.

#Pandas的SettingWithCopyWarning报警import pandas as pd #读取Excel，并忽视前2个空行df = pd.read_csv("D:\\python39\\pandas\\antlearnpandasmaster\\datas\\beijing_tianqi\\beijing_tianqi_2018.CSV")#将温度字符串类型转换为int32df.loc[:,'bWendu'] = df['bWendu'].str.replace('℃','').

#Pandas对缺失值的处理#pandas使用这些函数处理缺失值;##isnull和notnull:检测是否是空值，可用于df和series- ##dropna:丢弃、删除缺失值 #axis:删除行还是列，{0 or 'index', 1 or "columns}, default o #how:如果等于any则任何值为空都删除，如果等于all则所有值都为空才删除- # inplace :如果为True则修改当前df，否则返回新的df##fillna:填充空值 #va..

import pandas as pdfpath = "D:\\python39\\pandas\\antlearnpandasmaster\\datas\\beijing_tianqi\\beijing_tianqi_2018.csv"bjtq = pd.read_csv(fpath)#print(bjtq,bjtq.shape)#设定日期为索引，方便筛选数据bjtq.set_index('ymd',inplace = True)print(bjtq.head())print(bjtq.

import pandas as pd '''#读取文件的路径fpath = "D:\python39\pandas\data.csv"# 使用pd.read_csv（）函数读取指定文件wine = pd.read_csv(fpath)#使用.head()函数读取文件前几行数据ahead = wine.head()#print(ahead)#查看数据的形状,返回数据的（行数、列数）ashape = wine.shapeprint(ashape)#查看数据的列名称print(wi.

from fractions import Fraction as fracimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom matplotlib import dates as mdatesfrom matplotlib.font_manager import FontPropertiesimport mpl_toolkits.axisartist as axisartist# fontdi.

import matplotlib.pyplot as pltfrom matplotlib.font_manager import FontProperties#显示绘图中的中文font = {'family':'SimHei', 'weight':'bold', 'size':'12'}plt.rc('font', **font)plt.rc('axes', unicode_minus=False)# 获取当前坐标轴#ax = plt.gca()# .

import numpy as np import timeimport mathx= [i * 0.001 for i in np.arange(1000000)]start = time.perf_counter()for i,t in enumerate(x): x[i] = math.sin(t)math_time = time.perf_counter()-startprint("math.sin:",math_time) x =np.array(x)star...

#在美国2004年人口普查发现有124 million的人在离家相对较远的地方工作。根据他们从家到上班地点所需要的时间,通过抽样统计获得以下数据,将这些数据绘制成直方图#interval =[0,5,10,15,20,25,30,35,40,45,60,90]#width = [5,5,5,5,5,5,5,5,5,15,30,60]#quantity = [836,2737,3723,3926,3596,1438,3273,642,824,613,215,47]import matplotlib.

#假设你获取了250部电影的时长(列表a中),希望统计出这些电影时长的分布状态(比如时长为100分钟到120分钟电影的数量,出现的频率)等信息,你应该如何呈现这些数据?#a=[131,98,125,131,124,139,131,117,128,108,135,138,131,102,107, 114,119,128,121,142,127,130,124,101, 110,116,117,110,128,128,115,99,136,126,134,95,138,117, 111,78,132,1.

#假设你知道了列表a中电影分别在2017-09-14(b_14),2017-09-15(b_15),2017-09-16(b_16)三天的票房,为了展示列表中电影本身的票房以及同其他电影的数据对比情况,应该如何更加直观的呈现该数据?#a=[“狂球崛起3:终极之战"∵,""敦刻尔克"∵蜘蛛侠:英雄归来"∵"战狼2"]b_16-[15746,312,4497,319]#b_15 =[12357,156,2045,16B]b_14-i2358,399,2358,362]import matplotlib.

#假设你获取到了2017年内地电影票房前20的电影(列表a和电影票房数据(列表b),请用直方图展现#a =["战狼2","速度与激情8","功夫瑜伽"∵"西游伏妖篇","变形金刚5∶最后的骑士","摔跤吧!爸爸" ,"加勒比海盗5∶死无对证" "金刚:骷髅岛" ,"极限特工︰终极回归","生化危机6:终章"∵,"乘风破浪"","神偷奶爸3","智取威虎山";"大闹天竺" ,"金刚狼3∶殊死一战" "蜘蛛侠:英雄归来","悟空传","银河护卫队2","情圣","新木乃伊",]#b=[56.01,26.9.

#假设某一地区的2016年3,10月份每天白天的最高气温(分别位于列表a.b),那么此时如何寻找出气温和随时间(天)变化的某种规律?#a = [11,17,16,11,12,11,12,6,6,7,8,9,12,15,14,17,18,21,16,17,20,14,15,15,15,19,21,22,22,22,23]#b =[26,26,28,19,21,17,16,19,18,20,20,19,22,23,17,20,21,20,22,15,11,15,5,13,17,10,11,13,12,1..

#假设某一地区的2016年3,10月份每天白天的最高气温(分别位于列表a.b),那么此时如何寻找出气温和随时间(天)变化的某种规律?#a = [11,17,16,11,12,11,12,6,6,7,8,9,12,15,14,17,18,21,16,17,20,14,15,15,15,19,21,22,22,22,23]#b =[26,26,28,19,21,17,16,19,18,20,20,19,22,23,17,20,21,20,22,15,11,15,5,13,17,10,11,13,12,13.

#假设大家在30岁的时候,根据自己的实际情况,统计出来了从11岁到30岁每年交的女(男)朋友的数量如列表a,请绘制出该数据的折线图,以便分析自己每年交女(男)朋友的数量走势#a = [1,0,1,1,2,4,3,2,3,4,4,5,6,5,4,3,3,1,1,1]要求:#y轴表示个数#x轴表示岁数,比如11岁,12岁等import matplotlib.pyplot as pltfrom matplotlib.font_manager import FontPropertiesfont =.

#如果列表a表示10点到12点的每一分钟的气温,绘制折线图观察每分钟气温的变化情况:a=[random.randint(20,35) for i in range(120)]import matplotlib.pyplot as pltimport randomfrom matplotlib import font_managerfrom matplotlib.font_manager import FontPropertiesfont = FontProperties(fname=r"c:.