数据科学导论——问题分析与数据处理

星晴z

于 2022-04-20 11:21:27 发布

阅读量5.3k

点赞数 2

分类专栏： Educoder Python数据处理文章标签： python

本文链接：https://blog.csdn.net/zw12128/article/details/124292458

版权

这篇博客介绍了数据科学的基础，包括如何使用pandas进行数据过滤以去除非数值类和异常值，以及如何生成展示属性相关性的热力图。通过实例展示了在数据预处理和分析过程中的关键步骤。

摘要由CSDN通过智能技术生成

Eudcoder数据科学导论——问题分析与数据处理

第1关：数据过滤
第2关：初识数据

第1关：数据过滤

任务描述

本关任务：编写一个能过滤非数值类和含异常值的数据类型的小程序。

相关知识:

为了完成本关任务，你需要掌握如何利用 pandas 库过滤数据。

pandas过滤数据
pandas 是一个强大的分析结构化数据的工具集；它的使用基础是 Numpy （提供高性能的矩阵运算）；用于数据挖掘和数据分析，同时也提供数据清洗功能。

Pandas 中常见的数据结构有两种：

Series：  

构建  Series：ser_obj = pd.Series(range(10))；  

由索引和数据组成：索引在左<自动创建的>，数据在右；

获取数据和索引：  ser_obj.index; ser_obj.values；  

预览数据：  ser_obj.head(n);ser_obj.tail(n)。

DataFrame：  

获取列数据：  df_obj[col_idx]或df_obj.col_idx；  

增加列数据：  df_obj[new_col_idx] = data；  

删除列：  del df_obj[col_idx]；  

按值排序：  sort_values(by = “label_name”)。