- 博客(24)
- 收藏
- 关注
RSS订阅原创 presto 实现 多行转多列
SELECT kv['20200101'] AS dt1, kv['20200102'] AS dt2, kv['20200103'] AS dt3FROM ( SELECT map_agg(dt, cnt) kv FROM a GROUP BY 1) tpresto 实现 列转行SELECT t1.uid, t2.key, t2.valueFROM a as t1CROSS JOIN unnest ( array['dt1', 'dt2', 'dt3']...
2022-03-29 20:30:26
1413
原创 python 数组
import numpy as npa=[1,2,3.4,5,7,8]print(a)[ 1 2 3 4 5 ]print(a[-1]) 取最后一个元素结果：[5]print(a[:-1]) 除了最后一个取全部结果：[ 1 2 3 4 ]print(a[::-1]) 取从后向前（相反）的元素结果：[ 5 4 3 2 1 ]print(a[2::-1]) 取从下标为2的元素翻转读取结果：[ 3 2 1 ]print(a[1:]) ...
2022-03-29 20:27:02
783
原创 pip 超时问题
在python中我们经常会用pip安装一下工具包，有时候会出现网络等问题出现超时等情况，我们可以设置超时参数来防止程序无限的等待等。pip3 install \--default-timeout=3600 \
2021-11-23 16:49:21
686
原创 hive挂分区修复
我们在工作中可能会遇见 一个表中 多分区 ，我们从hdfs中直接上传分区文件后我们需要执行alter table dm.test add partition(dp='xxx')location 'hdfs://ns/dm.db/test/dp=xxx/元数据才会记录。工作中我们会直接上传一个hdfs 文件没有执行挂分区的操作，导致数据查询丢失数据。解决方案：msck repair table dm.test这样元数据就会记录...
2021-09-27 20:35:14
314
原创 hive多行转置
在工作中我们会遇见类似转置的需求 我们可以通过以下方法解决：with a as (select '20200101' as dt ,111 as cntUNION allselect '20200102' as dt ,1 as cntUNION allselect '20200103' as dt ,89 as cnt)select dt_map['20200101'],dt_map['20200102'],dt_map['20200103']from ( select...
2021-09-01 10:29:32
466
原创 spark -- repartition和coalesce区别
我们都知道coalese 和repartition都是对数据再划分但是有时候用的时候还是有区别的我们从源码把主要部分拿来比较:coalesce(numPartitions:Int，shuffle:Boolean=false)而repartition 是去执行coalesce(numPartitions, shuffle = true)这里我们我们看出来repartitionshuffle = true 而coalesce为false我们来通过具体例子来分析我们对两个算子的应用场景：.
2021-08-02 16:52:06
435
原创 mysql 请求乱码问题
1:mysql请求的时候我们有时候需要告诉客户端r使用什么字符集我们可以通过命令：>show variables like 'character%'来查看相关默认字符集比如| Variable_name | Value |+--------------------------+-----------------------------------.
2021-07-15 16:55:08
95
原创 mysql 有关数组json解析
1:在mysql中若元素类型为text 但存储的是一个数据组时，相对其他hive oracle 等mysql处理稍显复杂，下面为在项目中遇见的问题：比如 表 B中 有字段班级id 和 student 其中student 为text 类型 存储的为班级内所有学生的信息比如 [{'name':'a','age':23},{'name':'a','age':10},{'name':'a','ag...
2020-04-21 15:56:52
579
原创 HIVE中Grouping sets 时遇见的问题
hive 中使用grouping SETS时遇见对坑：hive报错Grouping sets aggregations (with rollups or cubes) are not allowed if aggregation function parameters overlap with the aggregation functions columnsselect p.c...
2020-04-10 15:27:00
3136
原创 HIVE常见的分析开窗函数
withdanke_bi_tmp.f_bi_lsq_ana_testas(SELECTroom_codeasid ,sign_date,pricefrom 库名.表明wherep_day =CURRENT_DATE+INTERVAL'-1'dayandcity_name ='成都市')/* following向下寻找 preceding 向上寻找 ...
2020-01-15 11:52:19
264
原创 ketlle 局部变量实现步骤
在我们做ETL过程中我们经常需要动态参数的情况，比如我们在分表中，我们需要把每个月的数据写入相应的数据表中比如test_201901 ，test_201902所以在用kettle 中我们可以通过一以下方式实现：首先我们知道设置变量 在当前转换中引用 ，所以我们现在job中实现过程如下在设置变量的转换中设置变量：然后在下面的数据转换中我们就可以直接用上...
2019-11-20 15:32:46
353
原创 hive 脚本传参数跑批数据 本月数据循环写入
本脚本主要是本月一号到目前日期循环写入 1号--昨天。 2号--昨天 等等数据#!/bin/sh. /etc/profiletime= date -d 0day +%Y%m%dfirst=`date +"%Y-%m-01"`second=`date -d -1day +%Y-%m-%d`while [ "$first" != "$second" ]doecho $firstec...
2019-10-15 19:23:27
1591
原创 根据经纬度计算两点的距离
SELECT111.199*sqrt((f.lng-e.lng)*(f.lng-e.lng)+(f.lat-e.lat)*(f.lat-e.lat)*cos((f.lng+e.lng)/2)*cos((f.lng+e.lng)/2)) as distancefrom fleft join e on 条件
2019-07-30 11:15:40
155
原创 hive 中判断中文的表达式
select regexp_extract('这里china', '[\u4e00-\u9fa5]+', 0)输出结果为：这里select regexp_replace('2019这里china', '[\u4e00-\u9fa5]+', "")输出结果为：2019china
2019-07-30 11:09:36
9283
原创 informatic动态变量的创建和使用
1.在informatic 使用过程中我们有时候需要一个动态的变量去作为一个判断的条件。在使用过程中自己使用的经历如下1.1首先我们需要要创建一个变量：在这里不得不提醒一下 is expression variable 这个属性需要设置为false 时在引用时有效，我们可以在这里给这个变量赋初始值。1.2 在maping中我们这用过这个变量的时候需要修改一下这个变量的执行值。比如下...
2018-03-30 17:05:31
1600
1
原创 swift 属性（willSet与didSet）
在学习中 看见了willset 这个词就去查了一下 class People : NSObject{//普通属性var firstName:String = ""var lastName:String = ""var nickName:String = ""//计算属性var fullName:String{g
2016-08-04 13:49:52
375
原创 swift3 基础语法(mutating)
使用 mutating 关键字修饰方法是为了能在该方法中修改 struct 或是 enum 的变量，在设计接口的时候，也要考虑到使用者程序的扩展性。所以要多考虑使用mutating来修饰方法。struct SimpleStruct: ExampleProtocol {var simpleDescription: String = "A simple structure"
2016-08-04 13:49:10
1442
原创 有关ios硬件的部分的
/* @abstract 获取当前语言环境 */+(NSString*)deviceLanguages{ return [[[NSUserDefaults standardUserDefaults]objectForKey:@"AppleLanguages"]objectAtIndex:0]; }/* @abstract获取当
2016-05-17 14:41:28
347
原创 有关ios健康记步的算法
//.首先ios7以上的系统 有运动协处理器的设备 用户必须是允许读取健身数据的前提下 if ([CMStepCounterisStepCountingAvailable]) { NSCalendar *calendar = [NSCalendarcurrentCalendar]; NSDate *now = [NSD
2016-05-17 14:30:27
943
原创 UML的简单认识
Unified Modeling Language (UML)又称统一建模语言或标准建模语言UML规范用来描述建模的概念有，类（对象的）、对象、关联、职责、行为、接口、用例、包、顺序、协作，以及状态。面向对象的分析与设计(OOA&D，OOAD)UML由3个要素构成：UML的基本构造块、支配这些构造块如何放置在一起的规则和运用于整个语言的公用机制。UML有3种基本的构
2016-05-17 14:26:58
591
原创 ios倒计时
- (void)timerFireMethod:(NSTimer *)theTimer{ longlong t = self.nowTimeStr.intValue +1; NSNumber *Number = [NSNumbernumberWithLongLong:t]; self.nowTimeStr = [NSStri
2016-05-11 15:27:35
395
转载 后台长存的ios
#import-(BOOL)a(UIApplication*)application didFinishLaunchingWithOptions:(NSDictionary*)launchOptions {#warning这是为了后台保存长存的代码// NSError *setCategoryErr = nil;// NSEr
2016-05-11 15:25:58
219
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人