我也要用- 博客(3)
- 收藏
- 关注
RSS订阅原创 scala调用接口
scaca post请求调用http接口返回json数据package xmadx.statisticsimport java.nio.charset.StandardCharsetsimport java.utilimport com.alibaba.fastjson.{JSON, JSONObject}import org.apache.commons.httpclient.me...
2020-04-17 14:06:16
32
原创 spark 1.X中的DataFrame和RDD
DataFrame与RDD上面的图直观的提现了dataFrame和Rdd的区别，左侧的RDD虽然Person为类型参数，但Spark框架本身不了解Person类的内部结构。而右侧的DataFrame却提供了详细的结构信息，使得Spark SQL可以清楚地知道该数据集中包含哪些列，每列的名称和类型各是什么。DataFrame多了数据的结构信息，即schema。RDD是分布式的Java对象的集合。...
2020-04-11 11:29:38
59
原创 HBase优化策略
HBase优化策略1. 解决热点效应预分区 在创建表时，不按照默认的策略，为表只创建一个Region,而是根据需要，为一张表创建多个Region,从而避免热 点效应预分区的依据 基于Rowkey进行预分区语法：3.1 create ‘t1’, ‘f1’, SPLITS => [‘10’, ‘20’, ‘30’, ‘40’]3.2 create ‘t1’, ‘f1’, SPLI...
2020-04-07 11:43:46
36
空空如也
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝