- 博客(32)
- 资源 (43)
- 收藏
- 关注
RSS订阅原创 大数据开发面试题
一、数仓相关1.简述一个完整的数仓项目流程2.详细描述数据抽取到ODS层的数据处理过程（银行数仓）？3.描述DWD事实表的建表规则和逻辑。实体表，一般是指一个现实存在的业务对象，比如用户，商品，商家，销售员等等。事务型事实表，一般指随着业务发生不断产生的数据。特点是一旦发生不会再变化。一般比如，交易流水，操作日志，出库入库记录等等。周期型事实表，一般指随着业务发生不断产生的数据。与事...
2020-01-19 14:38:40
770
原创 优秀的程序员!=爱写博客的程序员
前几天我面试一个程序员，连续几个专业问题他都没答上来。尴尬之余，我问他：「你没有什么理想吗？你现在最渴望的事情是什么？」他转悠着大眼睛，不假思索道：「回去写篇博客，记录下这次面试的经验！」真没想到在面试中居然还有这种操作。我问为什么这能成为现阶段最渴望的事情，他反问「你就真的不想记录下自己的经历吗？你难道不想把自己的经验分享给别人吗？」好有道理我竟无法反驳。这么认真的程序员，一定是个不...
2020-01-19 13:33:15
3546
4
原创 Hadoop原理之_Azkaban任务调度
一、任务调度概述1. 为什么需要工作流调度系统1）一个完整的数据分析系统通常都是由大量任务单元组成：shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等。2）各任务单元之间存在时间先后及前后依赖关系。3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行。 例如，我们可能有这样一个需求，某个业务系统每天产生 20G 原始数据，我们每天都要...
2020-01-18 14:56:14
1041
原创 CentOS各版本区别(DVD/Everything/Minimal等)
在CentOS官网下载CentOS系统镜像时，会有三个镜像版本可供选择，分别是CentOS ISO，Everything ISO，Minimal ISO，除了这三个版本，还有其他几个版本，他们的区别如下：CentOS ISO：DVD是标准安装盘，一般下载这个就可以了，里面包含大量的常用软件，大部分情况下安装时无需再在线下载，体积为4G；Minimal ISO：精简版本，包含核心组件，体积才6...
2020-01-18 10:44:22
56905
原创 数据倾斜及解决办法
一、什么是数据倾斜简单来说数据倾斜就是数据的key 的分化严重不均，造成一部分数据很多，一部分数据很少的局面。举例说明：举个 word count 的入门例子: 它的map 阶段就是形成 （“aaa”,1）的形式，然后在reduce 阶段进行 value 相加，得出 “aaa” 出现的次数。若进行 word count 的文本有100G，其中 80G 全部是 “aaa” 剩下 20G 是其...
2020-01-17 15:18:45
2250
1
原创 Hive优化的十大方法
Hive用的好，才能从数据中挖掘出更多的信息来。用过hive的朋友，我想或多或少都有类似的经历：一天下来，没跑几次hive，就到下班时间了。Hive在极大数据或者数据不平衡等情况下，表现往往一般，因此也出现了presto、spark-sql等替代品。这里重点讲解hive的优化方式，例如优化分组：set hive.auto.convert.join=true;优化表关联内存运行：/*+MAPJ...
2020-01-17 15:07:12
2508
原创 机器学习算法之_GBDT和随机森林的区别
对于GBDT的概念和相关知识博主在上一篇中已做论述《机器学习算法之_GBDT》什么是随机森林随机森林顾名思义，是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本为那一类。在建...
2020-01-17 10:53:49
872
原创 机器学习算法之_GBDT
一、GDBC简介GBDT (Gradient Boosting Decision Tree) 梯度提升迭代决策树。GBDT 直观理解：每一轮预测和实际值有残差，下一轮根据残差再进行预测，最后将所有预测相加，就是结果。GBDT用来做回归预测，调整后也可以用于分类（设定阈值，大于阈值为正例，反之为负例），可以发现多种有区分性的特征以及特征组合。GBDT是把所有树的结论累加起来做最终结论的，GBD...
2020-01-17 10:48:06
783
原创 机器学习案例之_金融反欺诈预测
项目本项目通过利用信用卡的历史交易数据，进行机器学习，构建信用卡反欺诈预测模型，提前发现客户信用卡被盗刷的事件。项目背景数据集包含由欧洲持卡人于2013年9月使用信用卡进行交的数据。此数据集显示两天内发生的交易，其中284,807笔交易中有492笔被盗刷。数据集非常不平衡， 积极的类（被盗刷）占所有交易的0.172％。它只包含作为PCA转换结果的数字输入变量。不幸的是，由于保密问题，我们无...
2020-01-16 18:01:14
4123
9
原创 机器学习之_TensorFlow
TensorFlow 是一个用于数值计算的Python 库， 可以描述一幅数据计算的数据流图（data flow graph）。TensorFlow 最初由Google大脑小组（隶属于Google机器智能研究机构）的研究员和工程师们开发出来，用于机器学习和深度神经网络方面的研究，但这个系统的通用性使其也可广泛用于其他计算领域。详情可参考TensorFlow中文社区会话 (Session)：T...
2020-01-16 11:43:02
264
原创 机器学习算法之_支持向量机（SVM）
【关键词：支持向量，最大几何间隔，拉格朗日乘子法】SVM主要针对小样本数据进行学习、分类和预测（有时也叫回归）的一种方法，能解决神经网络不能解决的过学习问题，而且有很好的泛化能力。一、原理：支持向量机，其含义是通过支持向量运算的分类器。其中“机”的意思是机器，可以理解为分类器。 那么什么是支持向量呢？在求解的过程中，会发现只根据部分数据就可以确定分类器，这些数据称为支持向量。 见下图，在一个...
2020-01-16 11:18:01
681
原创 机器学习算法之_K-均值聚类（K-means）
【关键词】K个种子，均值一、原理聚类的概念：一种无监督的学习，事先不知道类别，自动将相似的对象归到同一个簇中。K-Means算法是一种聚类分析（cluster analysis）的算法，其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法。K-Means算法主要解决的问题如下图所示。我们可以看到，在图的左边有一些点，我们用肉眼可以看出来有四个点群，但是我们怎么通过计算机程序找...
2020-01-15 10:30:56
400
原创 机器学习算法之_决策树（DecisionTree）
【DecisionTree】【关键词】树，信息增益一、原理1.20个问题的游戏游戏的规则很简单：参与游戏的一方在脑海里想某个事物，其他参与者向他提问题，只允许提20个问题，问题的答案也只能用对或错回答。问问题的人通过推断分解，逐步缩小待猜测事物的范围。决策树的工作原理与20个问题类似，用户输人一系列数据 ，然后给出游戏的答案。我们经常使用决策树处理分类问题。近来的调查表明决策树也是最...
2020-01-15 10:17:25
736
原创 机器学习算法之_朴素贝叶斯（Bayes）
【关键词】朴素：独立性假设贝叶斯公式一、基本概念1.原理朴素贝叶斯算法是一个典型的统计学习方法，主要理论基础就是一个贝叶斯公式，贝叶斯公式的基本定义如下：这个公式虽然看上去简单，但它却能总结历史，预知未来：公式的右边是总结历史公式的左边是预知未来如果把Y看成类别，X看成特征，P(Yk|X)就是在已知特征X的情况下求Yk类别的概率，而对P(Yk|X)的计算又全部转化到类别Yk的特...
2020-01-14 17:05:12
457
原创 机器学习算法之_逻辑斯蒂回归（Logistics）
逻辑斯蒂回归虽然名字叫回归，但是其实分类， 而且这个分类很强大（以后工作是必须要用的（分类问题））【关键词】Logistics函数，最大似然估计，梯度下降法一.原理利用Logistics回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归” 一词源于最佳拟合，表示要找到最佳拟合参数集。训练分类器时的做法就是寻找最佳拟合参数，使用的是最优化算法。接下来介绍...
2020-01-14 16:21:52
2105
原创 机器学习算法之_梯度下降法（Gradient Descent）
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。一. 梯度在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称grad...
2020-01-14 14:15:49
574
原创 机器学习算法之_线性回归（LinearRegression）
一、普通线性回归关键词;最小二乘法，线性1.原理线性回归就是在求方程，线性方程：y = kx + b分类的目标变量是标称型数据，而回归将会对连续型的数据做出预测。应当怎样从一大堆数据里求出回归方程呢？假定输人数据存放在矩阵X中，而回归系数存放在向量W中。那么对于给定的数据X1, 预测结果将会通过Y=X*W给出。现在的问题是，手里有一些X和对应的Y,怎样才能找到W呢？一个常用的方法就...
2020-01-14 11:35:11
1258
原创 机器学习算法之_K-近邻（K Nearest Neighbour）
一.原理K-近邻算法采用测量不同特征值之间的距离方法进行分类。存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据 与所属分类的对应关系。输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的 特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们 只选择样本数据集中前K个最相似的数据，这就是K-近邻算法中K的出...
2020-01-14 11:07:38
503
原创 机器学习算法之_几个名词约定
一、几个约定x，y是原始的数据集。X_train,y_train 是原始数据集划分出来作为训练模型的，fit模型的时候用。X_test,y_test 这部分的数据不参与模型的训练，而是用于评价训练出来的模型好坏，score评分的时候用。test_size=0.2 测试集的划分比例。如果为浮点型，则在0.0-1.0之间，代表测试集的比例；如果为整数型，则为测试集样本的绝对数量；...
2020-01-14 10:58:17
342
原创 数据分析13_matplotlib绘图和可视化
一、简介 信息可视化（也叫绘图）是数据分析中最重要的工作之一。它可能是探索过程的一部分，例如，帮助我们找出异常值、必要的数据转换、得出有关模型的idea等。另外，做一个可交互的数据可视化也许是工作的最终目标。 matplotlib是一个用于创建出版质量量图表的桌面绘图包（主要是2D方面）。matplotlib支持各种操作系统上许多不不同的GUI后端，⽽而且还能将图片导出为各种常见的矢...
2020-01-12 14:52:26
646
原创 数据分析12_matplotlib绘图
1.基础知识导包import numpy as npimport matplotlib.pyplot as plt%matplotlib inline常用命令plt.imread()plt.imshow()包使用CV2进行人脸更换pip install opencv-pythonimport cv2data = cv2.CascadeClassifier()#加载...
2020-01-12 14:49:25
357
原创 数据分析11_scipy
scipy.fftpack模块用来计算快速傅里叶变换速度比传统傅里叶变换更快，是对之前算法的改进图片是二维数据，注意使用fftpack的二维转变方法import scipy as spfrom scipy import fftpack#专门处理傅里叶变换包1.数值积分，求解圆周率求解圆周率 integrate 对函数(1 - x2)0.5进行积分2.Scipy文件输入/输出随机...
2020-01-12 14:42:08
273
原创 数据分析07_pandas绘图函数
1.简单图简单的Series图表示例,plot()简单的DataFrame图表示例,plot()2.柱状图Series柱状图示例,kind = 'bar'/'barh'3.直方图方图是特殊形状的柱状图#表示数据分布的情况#又叫密度图#s.plot(kind = “hist”)#normed归一化处理s.hist(grid = False, bins = 20, normed...
2020-01-12 14:38:40
218
原创 数据分析06_pandas数据处理
【pandas05_数据处理】1、删除重复元素使用duplicated()函数检测重复的行，返回元素为布尔类型的Series对象，每个元素对应一行，如果该行不是第一次出现，则元素为True使用drop_duplicates()函数删除重复的行2. 映射映射的含义：创建一个映射关系列表，把values元素和一个特定的标签或者字符串绑定需要使用字典：map = { 'label1...
2020-01-12 13:50:39
252
原创 数据分析05_pandas拼接
【pandas04_拼接】两种拼接：级联pd.concat, pd.append合并pd.merge, pd.join0.回顾np级联1. 使用pd.concat()级联pandas使用pd.concat函数，与np.concatenate函数类似，只是多了一些参数：pd.concat(objs, axis=0, join=‘outer’, join_axes=None, ignor...
2020-01-12 13:49:01
218
原创 数据分析04_Pandas层次化索引
1.多层行索引隐式构造常见的方法是给DataFrame构造函数的index参数传递两个或更多的数组s = Series(data = [1,2,3,“a”], index = [[“a”,“a”,“b”,“b”],[“期中”,“期末”,“期中”,“期末”]])显示构造pd.MultiIndexa.使用数组b.使用tuplec.使用product（最简单推荐使用）2.多层列索引...
2020-01-12 13:46:43
434
原创 数据分析03_Pandas处理缺失值
有两种丢失数据：Nonenp.nan(NaN)1.numpy中的（1）.NoneNone是Python自带的，其类型为python object。因此，None不能参与到任何计算中。object类型的运算要比int类型的运算慢得多计算不同数据类型求和时间%timeit np.arange(1e5,dtype=xxx).sum()（2）.np.nan（NaN）np.nan是浮点...
2020-01-12 13:44:47
240
原创 数据分析02_Pandas数据结构
导包三剑客import numpy as npimport pandas as pdfrom pandas import Series,DataFrame由ndarray创建的是引用，而不是副本。对Series元素的改变也会改变原来的ndarray对象中的元素。（列表没有这种情况）1.Series创建(1)列表创建Series(value,index)nd = np.array...
2020-01-12 13:43:19
178
原创 数据分析01_NumPy常用操作
去年陆续写了pandas的数据清洗的几篇博文，想将python数据分析的完整的笔记整理并发布，因为项目忙一直没时间整理剩余笔记，现在利用年前这段时间将数据分析系列补充完整，这几天会陆续将numpy,scipy和pandas没有完善的整理好，2020新一年共同加油！之前几篇有兴趣可以回顾一下《Python数据分析05_Pandas数据清洗、转换和面元划分》《Python数据分析06_Panda...
2020-01-11 15:31:23
269
原创 Navicat设置定时任务调度
将表数据从一个库同步到另一个库（数据分发），目前尝试的方式有使用Kettle去抽数；用sqoop抽取；用navicat自带的同步工具这里对nivicat设置定时进行讲解。将数据从一个数据传输到另一个数据库（MySQL to MySQL） ，eg: 将 10.11.22.33：3306/demo1 数据库中的 student 表 传输到 10.22.33.55：3306、demo2 数据库中1....
2020-01-11 10:26:27
2319
2
原创 MySQL中时间转换周的3种函数比较
一、week 不跨年WEEK(date[,mode])函数此函数返回日期的周数。双参数的形式WEEK()允许你指定星期是否开始于周日或周一，以及是否返回值应在范围从0到53或从1到53。 如果省略了mode参数，系统default_week_format变量的值被使用。SELECT order_time, week( order_time) AS order_week FROM ...
2020-01-07 18:07:08
2963
原创 Hive函数06_多维计算函数（grouping sets，cube，roll up）
一、GROUPING SETSGROUPING SETS作为GROUP BY的子句，允许开发人员在GROUP BY语句后面指定多个统计选项，可以简单理解为多条group by语句通过union all把查询结果聚合起来结合起来，下面是几个实例可以帮助我们了解，grouping sets语句等价hive语句select device_id,os_id,app_id,count...
2020-01-06 14:36:20
950
Airflow安装配置和web端插件安装
2020-07-01
navicat 连接oracle 11g驱动包
2020-05-28
陀螺仪调度部署和使用（美云智数）.rar
2020-05-14
azkaban安装包（web+excutor）
2020-03-27
集群搭建手册_CDH5.13.1版.docx
2020-03-11
TensorFlow.xmind
2020-01-13
Day10-决策树与贝叶斯.xmind
2020-01-13
Day9-LinearRegression线性回归与逻辑斯蒂回归.xmind
2020-01-13
Day8-KNN.xmind
2020-01-13
Day7-pandas-Ⅳ：数据加载与透视表.xmind
2020-01-13
Day6-matplotlib.xmind
2020-01-13
Day5-Scipy.xmind
2020-01-13
Day4-pandas-Ⅲ.xmind
2020-01-13
Day3-pandas-Ⅱ.xmind
2020-01-13
Day2-pandas-Ⅰ.xmind
2020-01-13
Day1-IPython与Numpy.xmind
2020-01-13
机器学习03--决策树01
2018-11-08
机器学习01--机器学习入门知识（数据科学 5 机器学习介绍）
2018-11-08
数据分析--matplotlib绘图和可视化
2018-11-08
MySQL性能优化之参数配置
2018-11-08
python面试笔试题（现场应聘收集）
2018-10-18
笨办法学python
2018-10-18
MySQL数据库学习之DDL学习
2018-09-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人