2014年03月_12345677654321000000

12月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 oracle使用max函数遇到的困惑

问题描述：在一张表a中根据a1进行分组，然后取a2字段的最大值。最终发现下面两种写法，由于要用到单位转换，只有第二种方法才可以输出正确的答案。求解，第一种为什么不可以？select a.a1,max(a.a2)/1024/1024 from a group by a1;select a.a1,max(a.a2/1024/1024) from a group by a1;

2014-03-23 15:07:47 4518

原创 java中的double精度，sqoop从oracle导出到hive

项目进行了大半后发现悲剧了，利用sqoop默认的从oracle数据库到处的数据表，如果其中的数据精度大于15位，而导入的表有些字段默认的是double类型，结果导致大于16的数导入到了hive中，查询时只有15位的精度，悲哀啊，切记。public class HelloWorld { public static void main(String args[]){ // d

2014-03-19 10:34:19 1329

转载 hive大数据倾斜总结

hive大数据倾斜总结在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的re

2014-03-13 17:26:23 576

hadoop权威指南（第二版）

hadoop权威指南，第二版，中文翻译版，可能有的章节不太清楚，hadoop入门书籍。

2013-11-25

Flex3styleExplorer

Flex3styleExplorer css可视化设计

2013-05-09

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人