2020年10月_大数据老张

原创 numpy的排序和集合操作（五）

numpy的排序和集合操作numpy的排序排序 np.sort()基本使用order参数排序后的下标 np.argsort()最大值下标 np.argmax()一维数组中的argmax二维数组中的argmax最小值下标 np.argmin()一维数组中的argmin二维数组中的argmin非0元素下标 np.nonzero()条件判断 np.where()计数计算非0元素个数 np.count_nonzero()集合操作构建集合 np.unique()布尔运算 numpy.in1d()numpy的排序i

2020-10-31 22:34:51 1108

原创朴素贝叶斯实战：人群收入预测（基于美国人口普查收入数据）

朴素贝叶斯实战：人群收入预测（基于美国人口普查收入数据）实战背景数据信息流程开始编码导入需要用到的类和方法数据加载与处理对样本特征值进行编码模型的创建与训练评判模型使用模型预测新数据对新数据特征值进行编码使用编码后的特征值进行预测编码器LabelEncoder小结实战背景根据一个人的14个属性建立分类器评估一个人的收入等级。可能的输出类型是“高于50K”和“低于或等于50K”。数据信息数据来源：美国人口普查收入数据集中的数据： https://archive.ics.uci.edu/ml/da

2020-10-29 22:22:34 5625 1

原创 numpy常用的的数学函数

numpy的数学函数数学函数一维数组的基本运算加 np.add减 np.subtract乘 np.multiply除 np.divide地板除法 np.floor_divide次幂运算 np.power二维数组的基本运算两个数组的基本运算三角函数np.sinnp.cosnp.tannp.arcsinnp.arccosnp.arctan指数和对数np.exp()np.exp2()np.log()np.log2()np.log10()numpy的舍入四舍五入 np.around向上取整 np.ceil向下取整

2020-10-28 22:56:55 2289

原创数组的操作（三）

数组形状的转换数组形状的转换数组的平铺数组转置更改纬度数组组合数组拆分数组形状的转换x.shape=[a,b]将 x 的形状转换为 a行b列import numpy as npx = np.arange(1,9)print(x)# [1 2 3 4 5 6 7 8] 这里导入 numpy 后，下面演示代码不再展示导入 numpy 的代码下面所有的 np 都代表 numpy打印下 x 的形状和纬度x.shape# (8,)x.ndim# 1改变 x 的形状x.s

2020-10-25 23:33:16 452

原创 numpy 的索引与切片，副本与视图

numpy 的索引与切片，副本与视图numpy 的索引与切片整数索引切片索引对一维数组的切片对二维数组的切片行的切片索引列的切片索引使用二维数组的切片修改元素整数数组索引可以借助切片与整数数组组合布尔索引ndarray的副本与视图numpy 的索引与切片整数索引import numpy as npx = np.arange(10)print(x)# [0 1 2 3 4 5 6 7 8 9]x[3]# 3切片索引numpy 的切片索引使用方法和python list 中的切片索引相

2020-10-23 21:08:31 944 3

原创 numpy的数据类型和创建

numpy的数据类型numpy的数据类型比较多但本质上就是python中的数据类型，例如 bool，int，float，str只是numpy中分的更细，像java语言一样，根据字符长度给数据类型进行了区分例如 int16,int32,int64需要注意的是 numpy 中的两个时间类型datetime64 和 timedelta64因为 datetime 被python使用了，为了区分，在后面加上了64datetime64 和 python中的datetime.datetime 几乎相同

2020-10-21 00:00:21 366

原创线性回归之简单线性回归算法

简单线性回归一、什么是线性回归二、线性回归的分类三、一元线性回归的数学知识四、封装一个自己的一元线性回归五、使用自己的一元线性回归预测波士顿房价六、使用sklearn的一元线性回归预测波士顿房价七、回归算法的评判方法1、MSE：均方误差2、RMSE均方根误差3、平均绝对误差4、R-squared一、什么是线性回归线性回归是指使用一个线性关系来表示数据我们数学中学习的 y = a*x + b ，就是最典型的线性回归二、线性回归的分类根据未知数的数量，线性回归分为：一元线性回归多元线性回归

2020-10-16 19:25:29 1162 1

原创 KNN算法：数据集的分割、超参数与数据归约

KNN算法：数据集的分割、超参数与数据归约一、数据集的分割1、什么是数据集的分割2、为什么要进行数据集分割3、怎么进行数据集分割1）自己实现数据集分割矩阵分割与合并使用打乱的元素下标2）使用sklearn封装好的数据集分割二、最有超参数的寻找1、什么是超参数2、超参数有哪些3、怎么寻找超参数1）自己实现最优超参数的寻找2）使用sklearn封装的超参数寻找方法三、KNN算法优化：数据归一化1、什么是数据归一化2、为什么要进行数据归一化3、数据归一化的分类1）最值归一化2）均值方差归一化4、怎么实现数据归一化

2020-10-16 19:18:56 2133

原创 KNN算法实战：肿瘤预测（距离的权重）

目录KNN算法实战：肿瘤预测（距离的权重）导入需要用到的库加载数据选择模型，创建模型对象训练模型预测数据可视化展示考虑距离权重KNN算法实战：肿瘤预测（距离的权重）样本数据：0代表为良性肿瘤，1代表恶性肿瘤raw_data_x =[ [3.393533211,2.331273381], [3.110073483,1.781539638], [1.343808831,3.368360954], [3.582294042,4.679179110], [2.28036

2020-10-11 15:25:24 2703 5

原创 KNN算法：近朱者赤近墨者黑（一）

KNN算法：近朱者赤近墨者黑一个例子：KNN原理又一个例子：使用KNN预测鸢尾花类型1、数据加载2、加载训练数据与测试数据3、使用sklearn的KNN进行预测4、检查一下预测的正确率一个例子：KNN原理设想一个场景在一个小镇上有两个小区，一个是高档小区，另一个是贫民区，两个小区中间有一条河流。某一天，这个小镇上新来了一户人家，在不接触这家人的情况下，你怎么判断新来的这家是不是富人呢？俗话说“物以类聚，人以群分”，通过他附近的邻居住在哪个小区，几乎就相当于知道了新来的住在哪一个小区了，从而知道这

2020-10-10 23:28:07 706 2

zxctime的博客