- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 mappereduce/spark第二个任务（scala条件过滤）
需求：10G的数据量，把车联网中状态是充电中的车统计充电次数、算出每次开始充电、结束充电的时间、充电时长、开始soc、结束soc、soc区间大小、开始里程数、结束里程数、里程大小 1、mapper切取数据进行分组 2、reducer根据分组的内容进行处理 3、通过时间大于3分钟的开始结束都放到list集合中，基数位置存放开始，偶数位置存放结束 4、拼接结果输出 5、仿照mapperred...
2019-12-10 09:46:14
137
原创 mappereduce/spark第一个任务（scala语法）
车联网3年的运营时间计算出每辆车开始到达20000公里需要的开始时间、结束时间、运营天数、路程差 1、对每辆车按照车牌分组 2、分组后按照时间先后顺序排序，计算到达20000公里的时间路程，找到排序后的第一个 3、输出过程结果 4、spark参考mr写出相应的代码：有些概念分析如下： scala> val s="12,8888,999,pppp,lllll" s: String =...
2019-12-10 09:45:31
297
原创 两个groupby查询出来的结果作为where条件比较大小，不嵌套有难度
1、通过笛卡尔积把这两个结果都查出来2、把上次查询出来的结果作为作为内嵌表，利用内层表查出来的结果比较大写特别注意：红字部分直接放在嵌套子查询语句的外部，不然考虑不周 select count(CAR_STATE_BILL.PK_CAR_STATE_BILL) from (select CAR_STATE_BILL.PK_CAR_STATE_BILL, CAR_STATE_BILL.S...
2018-04-17 11:06:02
499
原创 写报表分组有那么笛卡尔积中限定的关联条件必须都有
select AA.pk_projectinfo, AA.project_name, AA.second_classify, AA.matclasschild, AA.org_name , '2018-04' as plantime, AA.total_count, AA.dlcount,AA.dscount,AA...
2018-04-08 16:39:47
276
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人