- 博客(12)
- 收藏
- 关注
RSS订阅原创 c++ 复合结构的基本用法
最近刚好有个项目需要加强下处理性能，因此学习了一下c++的使用，基础的肯定是各种stl的使用，复合结构自己摸索了几天，写出来给大家一起分享下，有不足的地方欢迎指正，废话不多说，直接上代码：#include <iostream>#include <vector>#include <map>using namespace std;//定义结构体的字段struct order{ string oid,cancel_state,direct; fl...
2020-12-12 15:09:43
359
原创 回归分析
用R语言实现简单回归分析1、一元线性回归分析：2、多元线性回归分析回归分析是确定两个或两个以上变量之间相互关系的一种统计方法，回归分析按照涉及的变量的多少，分为一元回归和多元回归分析；按照自变量的多少，可分为简单回归分析和多重回归分析 ；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析；其中只包括一个自变量和一个因变量的回归分析，可以近似的用一条直线表述两个变量之间关系的方法...
2019-11-21 14:40:39
2740
原创 统计学基础指标
统计学一些基础知识 统计学分为两个统计学科，分别为描述统计学和推断统计学； 描述统计学：使用特定的数字或图表来体现数据的集中程度和离散程度。例：每次考试算的平均分，最高分，各个分段的人数分布等，也是属于描述统计学的范围。 推断统计学：根据样本数据推断总体数据特征。例：产品质量检查，一般采用抽检，根据所抽样本的质量合格率作为总体的质量合格率的一个估计。 常用统计学的数据指标有： 均值——算...
2019-11-18 14:36:56
8867
原创 hive的三种排序方式
经常会出现需要排序的问题，比如说学生成绩相同的时候以什么规则进行排序。排序使用到以下三个函数：Row_number/rank/dense_rank：原表如下test_table：name scorezhangsan 98lisi 95wangwu 95zhaoliu 95zhuqi 90效果比较：1...
2019-10-29 17:47:16
1557
原创 开窗函数实现累加
开窗函数使用SQL里开窗函数灵活运用以后可以给数据的计算提供很大的便利性，话不多说，直接进入正题，表结构如下：对照这个表我想知道每个学生的总成绩，各科目的最高分，每个班级的平均成绩，这时用开窗函数就可以一次性求出来。SELECT DISTINCT stuid,stuname,class,course,sum(score) over(partition by stuid,stuname) ...
2019-10-25 12:36:24
4899
原创 hive中灵活运用正则表达式处理字段
灵活运用正则表达式hive中经常会需要处理字符串，本篇文章就来聊聊如何灵活运用正则表达式来出来数据；正则表达式中的符号介绍^ 匹配输入字符串的开始位置。$ 匹配输入字符串的结束位置。[…] 字符集合。匹配所包含的任意一个字符。例如， ‘[abc]’ 可以匹配 “plain” 中的 ‘a’。[^…] 负值字符集合。匹配未包含的任意字符。例如， ‘[^abc]’ 可以匹配 “plain” ...
2019-10-23 16:11:16
1052
原创 hive []里的字段计数问题
hive []里的字段计数问题@TOC欢迎使用Markdown编辑器例如有下面一个字段，需要计算[]中的数字个数string1[][9005][9005,9006][9005,9001,9002,9008,9007,9004,9007,9003][9004,9002]看到这个问题，第一想法是计算[]中，的个数，这时可以用instr函数。但是这个问题主要需要解决的是为空和1个数字...
2019-10-22 11:41:33
1497
原创 初识决策树算法
决策树ID3决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。通俗的来讲，就是在已经知道某个事件发生的概率的情况下，通过构建一个模型来推测已知条件下的结果。模型怎么建立呢，网上看了很多博客，都是...
2019-06-17 17:53:35
186
原创 hivesql 行转列（collect_set）与列转行(explode和posexplode)
hivesql 行转列与列转行列转行函数——collect_set和collect_listhive里通常通过collect_set和collect_list来进行列转行，其中collect_list为不去重转换，collect_set为去重转换。下面我们将通过一个实例来进行说明：创建一个学生成绩表CREATE table student_score(stu_id string com...
2019-06-14 11:06:04
19274
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人