![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python pandas
文章平均质量分 76
pandas数据处理与分析
数据人阿多
一枚热爱技术的数据分析师,同时也热爱分享技术,欢迎大家多多交流,共同进步
展开
-
Python pandas.str.replace 不起作用
pandas 数据处理,pandas.str.replace原创 2023-03-08 19:52:55 · 802 阅读 · 0 评论 -
Python pandas 2.0 初探
每门编程语言都有其独特的用途,目前python在数据科学方面发展的相对比较全面,大家目前也都喜欢使用python来处理数据、做模型开发等。python在数据处理方面离不开pandas库,该库在今年的4月3日发布了 2.0版更新,对底层进行了大量的重构以优化性能和稳定性。原创 2023-04-11 10:21:36 · 513 阅读 · 0 评论 -
pandas 错误提醒:FutureWarning: elementwise comparison failed;
背景在数据处理时,对原始数据进行筛选操作,在不注意情况下,会引发FutureWarning: elementwise comparison failed; returning scalar instead, but in the future will perform elementwise comparison 警告,究其根本原因就是在进行筛选时,对不同类型进行了比较,导致返回错误的结果复现...原创 2020-04-28 10:44:41 · 3778 阅读 · 0 评论 -
Python pandas 里面的数据类型坑,astype要慎用
背景最近在项目处理数据时,对pandas里面的数据类型进行转换时(astype),产生了一些意外的情况,经过研究,对数据框里面的数据类型,又有了新的认识,分享出来供大家参考学习。创建模拟数据模拟数据假如模拟的数据如上图所示,里面有一些空单元格,下面读取模拟数据import pandas as pdimport numpy as npdata=pd.read_excel...原创 2020-05-07 16:55:50 · 1628 阅读 · 0 评论 -
对比Excel,利用pandas进行数据分析各种用法
背景懂编程语言最开始是属于程序猿的世界,现在随着国内人们受教育程度的提升、互联网科技的发展,业务人员也开始慢慢需要懂编程语言。从最近几年的招聘需求看,要求会Python则成为刚需。业务人员之前使用的大部分都是Excel,现在随着数据量的提升,Excel已无法满足数据处理需求。如果在Excel里面数据量超过10万行,则Excel运行起来就相当卡顿。下面展示一些在Excel里面常用的功能,看看其...原创 2021-03-12 17:21:00 · 183 阅读 · 0 评论 -
利用Python模拟Excel数据透视表具有“值显示方式”功能
背景Excel里面数据透视表可谓是功能强大,可以对数据进行去重,可以方便的对数据进行汇总,可以对数据从不同维度进行交叉分析等,而且速度还非常快,即使有几万行数据。当然在Python里面也有数据透视函数,但是没有Excel这么灵活,比如今天要介绍的这种情况,在值里面要一列放聚合的求和,一列放聚合后的占比,这在Excel里面可以非常方便的利用数据透视表的功能 值显示方式 来解决,今天这篇文章利用 ...原创 2021-04-04 23:46:51 · 392 阅读 · 0 评论 -
Python pandas在读取csv文件时(linux与windows之间传输),数据行数不一致的问题
背景最近在处理用户评论数据时,从Linux服务器上面用pandas导出的csv文件,下载到自己的Windows电脑,再用本地pandas读取时发现数据行数不一致的情况,比如在Linux服务器上面数据一共有10行,但是用自己本地电脑pandas读取时确大于10行。问题出现的具体场景:公司Linux服务器上面安装的有Jupyter notebook,在自己本地电脑输入网址是可以直接访问并使用,而...原创 2021-05-20 13:37:31 · 1127 阅读 · 2 评论 -
Python 利用Pandas把数据直接导入Mysql
背景需要把txt文件数据导入mysql数据库,中间需要经过一些数据处理,在经过相关查找后,pandas自带的to_sql(),可以实现把DataFrame直接导入数据库。虽然mysql有其他的方式导入数据,但是在导入前需要对数据进行一些处理,这些任务无法完成,所以可以借助python来一步实现所有需求。pandas在处理表格数据有很多优点:API多比较方便、速度快;可循环每行,对每个值进行处...原创 2020-12-25 10:39:04 · 245 阅读 · 0 评论 -
Python数据处理中 pd.concat 与 pd.merge 区别
背景数据的合并与关联是数据处理过程中经常遇到的问题,在SQL、HQL中大家可能都有用到 join、uion all 等 ,在 Pandas 中也有同样的功能,来满足数据处理需求,个人感觉Pandas 处理数据还是非常方便,数据处理效率比较高,能满足不同的业务需求本篇文章主要介绍 Pandas 中的数据拼接与关联数据拼接---pd.concatconcat 是pandas级的函数,用来拼接或...原创 2022-06-14 11:02:05 · 3860 阅读 · 0 评论 -
Python 利用pandas对数据进行特定排序
在pandas对数据进行排序主要使用方法axis=0,key=None)参数解释:用于排序的单个字段 或 多个字段组成的列表排序时的轴向,0 表示行向排序(一行一行排序),1表示列向排序(一列一列排序),默认是 0,也就是Excel中经常使用的排序升序、降序,默认是升序,也就是True,如果是False,则是降序注意:该参数需要和 上面的by参数要相对应是否原地更新排序的数据,默认是False,表示调用该方法后,会返回一个新的数据框进行排序时,指定的排序算法,默认是quicksort。原创 2024-01-18 16:53:19 · 1015 阅读 · 0 评论 -
Python pandas遍历行数据的2种方法
pandas在数据处理过程中,除了对整列字段进行处理之外,有时还需求对每一行进行遍历,来处理每行的数据。本篇文章介绍 2 种方法,来遍历pandas 的行数据。原创 2024-03-06 14:26:36 · 441 阅读 · 0 评论 -
Python pandas 数据筛选与赋值升级版详解
数据筛选背景在处理数据时,我们可能希望从数据库里面筛选出符合特定条件的记录(个案或样本,不同的行业叫法不一样),平常大家对Excel筛选很熟悉,比如从A字段(变量或特征)包含“团队”,B字段大于等于40,筛选出符合这两个条件的记录,如下图所示:excel数据筛选pandas处理正确代码#加载库import pandas as pdimport numpy as np...原创 2019-08-15 14:31:30 · 810 阅读 · 0 评论 -
Python pandas 数据无法正常分列
在数据处理时,有时需要对数据进行分列,类似于Excel里面的分列功能,这个在pandas里面也可以实现,下面就来详细介绍相关的方法及注意点,前提是你已经对pandas有一定的了解导入数据这里介绍的是从Excel导入数据,当然也可以从其他文件导入、数据库查询后导入等,为了弄清楚里面的细节,本教程从Excel导入数据import pandas as pdimport numpy as np...原创 2019-08-04 16:56:28 · 389 阅读 · 0 评论