- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark中textfile方法对文件的分片
以数据源为HDFS上的文件为例：JavaRDD data_raw = sc.textfile(path, partitionnum)，path指定数据所在位置，partitionnum影响data_raw RDD所具有的partition数以及每个partition大小。首先计算两个值，第一个是与参数partitionnum有关，goalSize = totalSize/partitionnum，...
2018-05-28 22:07:10
4470
3
原创 hbase shell 中list命令报错ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
hbase运行了好多天，今天需要重启一下，于是执行stop-hbase.sh命令，先是报错stopping hbasecat: /tmp/hbase-hadoop-master.pid: No such file or directory，网上找到的解决办法，是修改hbase-env.sh配置文件，在当中设置export HBASE_PID_DIR属性，指定一个文件目录，做了这个操作后，启...
2018-05-10 17:12:52
2319
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人