hive打patch流程说明

版本:hive2.1.0 本文以hive2.1.0中的HIVE-14483 的bug来举例说明如何打patch。 1.bug详细地址: https://issues.apache.org/jira/browse/HIVE-14483 bug说明:主要是针对hive orc的arr...

2018-06-08 16:16:11

阅读数 420

评论数 0

kafka topic acl授权

在前一篇,kafka启用认证(http://blog.csdn.net/zhoudetiankong/article/details/78229416)的基础上,来说明kafka topic的acl权限。1.修改server.propertiesauthorizer.class.name = ka...

2017-10-16 11:27:58

阅读数 4113

评论数 0

kafka 认证

简介kafka从0.9版本开始引入安全体系(1)支持brokers和client之间的连接认证。使用SSL或者SASLSASL/GSSAPI (Kerberos) - starting at version 0.9.0.0 SASL/PLAIN - starting at version 0.10...

2017-10-13 18:52:34

阅读数 1920

评论数 0

spark-streaming 编程(六)mapwithState

mapWithState

2017-08-24 11:29:14

阅读数 938

评论数 0

spark-streaming 编程(五)updateStateByKey

updateStateByKey(func)从名字上来看,该函数会更新根据key聚合,并不断更新value值要想使用该函数,Dstream之前的类型必须是K,V形式的二元组。 经过执行func函数后,会返回一个key的所有的聚合值得状态。以word count为例,对于每一个批的数据进行分解聚合...

2017-08-24 10:55:43

阅读数 392

评论数 0

spark-streaming 编程(四)自定义输出foreachRDD

spark-streaming foreachrdd

2017-08-23 19:14:56

阅读数 861

评论数 0

spark-streaming 编程(三)连接kafka消费数据

spark-streaming kafka

2017-08-23 11:36:15

阅读数 3324

评论数 2

spark-streaming 编程(二) word count单词计数统计

spark-streaming

2017-08-22 18:57:31

阅读数 943

评论数 0

spark-streaming 编程(一)构建开发环境

环境: hadoop2.7.2 + spark 2.1.0+kafka0.10 开发环境:Intellij idea ,jdk1.8Intellij创建maven项目: 修改pom.xml,主要是修改scala版本以及target:-jvm;另外,由于我经常使用maven assembly来打...

2017-08-22 18:19:23

阅读数 291

评论数 0

hadoop cgroup源码解读

版本:hadoop2.7.2 + centos 6.5现状想要理解hadoop cgroup,首先需要对linux cgroup有一定的了解,yarn目前的调度基于内存和cpu,但是cpu资源并没有像内存资源那样进行了严格的限制,一个container有可以占据很多的cpu资源。启用hadoop ...

2017-07-26 18:23:11

阅读数 696

评论数 0

linux cgroup 学习的一些总结

hadoop cgroup, cgroup

2017-07-26 15:51:51

阅读数 358

评论数 1

apache hadoop 2.7.2 yarn node label测试结果

版本hadoop2.7.2(1)capacity schedule只支持fifo调度策略,cdh或者hdp版本会有支持fair的调度策略,但是社区版目前还不支持。(2)yarn node label 只支持capacity schedule,不支持fair schedule(3)yarn node...

2017-07-11 10:17:15

阅读数 912

评论数 0

hadoop启动cgroups,centos6.5+hadoop2.7.2

centos 6.5 hadoop启用cgroups,yarn的启动用户是hadoop1.centos6.5 需要安装cgroupyum install -y libcgroup 遇到的问题,报错groupadd: cannot open /etc/group(1)查看隐藏权限:lsattr /...

2017-06-27 19:33:34

阅读数 342

评论数 0

hive insert overwrite directory 报错

hive insert overwrite directory 报错:2017-06-07T16:56:11,766 ERROR [main]: exec.Task (:()) - Failed with exception Unable to move source hdfs://testhad...

2017-06-12 11:46:18

阅读数 3040

评论数 0

tez hive llap安装

版本 hive2.1.0 + hadoop2.7.2 + tez0.8.4 hive llap 是基于tez的一种近实时查询方案。我用的是apache版的,所以第一步是需要对hive和tez进行编译,以使他们的版本适配。测试中发现,如果要想使用hive llap,则hive和tez版本必须基于正确...

2017-06-12 11:12:02

阅读数 3580

评论数 5

hql由于关键字报错

cannot recognize input near 'INTERVAL' 'string' ')' in column specification 报错

2017-05-23 16:23:20

阅读数 1190

评论数 0

hadoop hive 压缩参数测试

hadoop hive 压缩

2017-05-11 11:02:29

阅读数 322

评论数 0

hbase compaction 简单介绍

简单说一下hbase表的存储:一个表中的数据存储到regionserver上,regionserver会管理实际存储表的数据的region,每个region上每一个columnfamily会有一个Memstore。    当memstore 达到了hbase.hregion.memstore.fl...

2017-03-31 14:00:15

阅读数 925

评论数 2

hbase split策略

hbase版本:1.2.4    当前版本默认的region split策略是      hbase.regionserver.region.split.policy org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegio...

2017-03-31 11:42:38

阅读数 1120

评论数 0

hadoop,hive中的mv(rename)操作

系统环境:hadoop2.7.2+hive1.2.1        大约一年多之前,将hive版本从0.14升级到了1.2.1。之后发现新版本在最后一步写入数据的时候,会比以前慢很多。最后发现是由于hive新版本中,默认中间结果文件是在表空间下生成以  .hive-staging_hive_  ...

2017-02-07 17:38:21

阅读数 3513

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭