- 博客(7)
- 资源 (17)
- 收藏
- 关注
RSS订阅原创 hdfs的高可用机制+yarn的高可用+hadoop的联邦机制（namenode的水平扩展）
hdfs的高可用机制图yarn的高可用hadoop的联邦机制（namenode的水平扩展）
2019-02-13 20:57:00
814
原创 使用inputFormat实现合并多个小文件为一个大文件
测试数据did.txtdid_1,1did_2,1did_3,1pid.txtpid_1,1pid_2,1pid_3,1order.txtorder_1,1order_2,1order_3,1代码package cn.feizhou.combinefile;import java.io.IOException;import org....
2019-02-11 23:55:33
469
原创 自定义outputFormat，根据内容输出到不同文件中
根据内容的不同，数据写到不同的文件中代码package cn.feizhou.logenhance;import java.io.IOException;import java.util.HashMap;import java.util.Map;import org.apache.commons.lang.StringUtils;import org.apache.hado...
2019-02-11 23:21:03
1050
原创 使用groupingcomparator求同一订单中最大金额的订单
有如下订单数据，现在需要求出每一个订单中成交金额最大的一笔交易 订单id 商品id 成交金额 Order_0000001 Pdt_01 222.8 Order_0000001 Pdt_05 25.8 ...
2019-02-11 22:29:18
415
原创 找出QQ共同好友的实现
以下是qq的好友列表数据，冒号前是一个用，冒号后是该用户的所有好友（好友关系是单向的，也就是说A是B好友，B不一定是A好友）A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,F...
2019-02-11 21:52:40
2826
原创 数据倾斜的思路分析+map端join实现+倒排索引实现
1什么是数据倾斜 解决解决方法1让数据数据不要去reduceTask，在mapTask就进行处理（利用distributeCache）map端join实现public class MapSideJoin { public static class MapSideJoinMapper extends Mapper<LongWritable, Text, Text,...
2019-02-11 21:06:45
574
原创 reduce端join算法实现
数据订单数据表order： date pid amount 20150710 P0001 2 20150710 P0002 3 商品信息表product pid ...
2019-02-02 00:22:45
346
springMVC+mybaties框架搭建方式1
2018-05-21
FreeMarker中文版文档
2017-04-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人