- 博客(7)
- 收藏
- 关注
RSS订阅原创 SQL: lateral view & explode & split (分割&侧视图)
支持该函数：Hive、阿里云odps sql1.阿里云已知 user_id 字段内容如下：有的行字段内只有1个数字，有的行字段内有多个数字且用“，”分隔开；需求场景：希望将包含多个数字的字段内容根据“，”给单独拆分出来，且拆开后user_id中的每一部分都跟原始这行数据的其他字段组成新的一行数据；select explode(split(a.user_id,',')) as...
2020-03-29 18:31:40
6570
2
原创 阿里云SQL - regexp_replace
命令格式： regexp_replace(source, pattern, replace_string, occurrence)返回值： 将source字符串中匹配pattern的子串替换成指定字符串后返回，当输入source, pattern, occurrence参数为NULL时返回NULL，若replace_string为NULL且pattern有匹配，返回NULL，...
2020-03-05 10:34:25
891
原创 JSON: map_resolve
示例：use jz_daojia;select *from jz_daojia.f_jz_traffic_allwhere dt >= '20200210'and map_resolve(urlfields,'page_name') = 'workers_%20peace'and page_type='activity';urlfields 字段内容截图：注意：...
2020-02-13 08:15:00
282
原创 Hive: nvl
NVL(expr1, expr2)：1、空值转换函数2、类似于mysql-ifnull(expr1, expr2)备注：1、如果expr1为NULL，返回值为 expr2，否则返回expr1。2、适用于数字型、字符型和日期型，但是 expr1和expr2的数据类型必须为同类型。————————————————版权声明：本文为CSDN博主「喜东东cc」的原创文章，遵循 CC 4.0 ...
2020-02-06 10:14:47
265
转载 Hive OVER(PARTITION BY)函数用法
OVER(PARTITION BY)函数介绍开窗函数 Oracle从8.1.6开始提供分析函数，分析函数用于计算基于组的某种聚合值，它和聚合函数的不同之处是：对于每个组返回多行，而聚合函数对于每个组只返回一行。 开窗函数指定了分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变化而变化，举例如下：1：over后的写法： over（order...
2018-06-20 17:27:31
21149
转载 Hive中order by，sort by，distribute by，cluster by的区别
一：order byorder by会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，然而只有一个Reducer，会导致当输入规模较大时，消耗较长的计算时间。关于order by的详细介绍请参考这篇文章：Hive Order by操作。二：sort bysort by不是全局排序，其在数据进入reducer前完成排序，因此，如果用sort by进行排序，并且设置...
2018-06-19 15:08:54
184
转载 Python 相关分析
常用的衡量随机变量相关性的方法主要有三种：pearson相关系数；即皮尔逊相关系数，用于横向两个连续性随机变量间的相关系数。spearman相关系数；即斯皮尔曼相关系数，用于衡量分类定序变量间的相关程度。kendall相关系数；即肯德尔相关系数，也是一种秩相关系数，不过它所计算的对象是分类变量。Pyhton：import pandas as pdimport numpy as npdiamonds...
2018-02-27 16:59:39
3187
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人