2019年11月_hadoop程序猿

原创《kudu官网笔记》6.kudu后台的维护任务

不生产博客，只是官网的搬运工https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/kudu_background_tasks.htmlkudu依赖很多后台任务来完成重要的任务，包括flush数据到磁盘，compact数据，释放磁盘空间等等maintenance manager这个服务调度并且运行任务，...

2019-11-11 10:35:12 1332

原创《kudu官网笔记》5.kudu事务

不生产博客，只是官网的搬运工https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/kudu_transaction_semantics.html这篇自认为翻译的最差的，主要对数据库并发控制理解的差，容日后再修改吧贴一篇大佬对kudu paper的笔记https://zhuanlan.zhihu.co...

2019-11-07 15:42:16 1401

原创《kudu官网笔记》4.schema设计

不生产博客，只是官网的搬运工https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/kudu_schema_design.htmlcolumn设计非主键可为空，支持如下类型8、16、32、64位整数timestamp(64位)float(32位)double(64位)decimalstring(...

2019-11-06 10:53:03 382

原创《kudu官网笔记》3.在kudu上使用impala

不生产博客，只是官网的搬运工https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/kudu_impala.htmlimpala与kudu集成，允许你使用impala sql来插入、查询和更新、删除kudu的数据，作为kudu api的替代方案，另外，也可以使用jdbc or odbcimpala数据库包...

2019-11-04 15:36:57 1114 1

原创 kerberos客户端的安装(linux和windows版)

不生产博客，只是别人博客的裁缝一入kerberos深似海，从此节操是个玩意儿目录windows版(win10)linux版（suse）kerberos基本操作cdh启用kerberos后，如果我们需要本地连impala或者hive(本地代码测试或者jdbc工具)，都需要在本地装kerberos如果别的服务器需要通过jdbc访问cdh的服务，也需要安装kerbero...

2019-11-01 17:10:47 8056 1

原创 spark消费kafka(cdh启用kerberos)

不生产博客，只是别人博客的裁缝一入kerberos深似海，从此节操是个玩意儿之前写过一篇spark消费kafka问题记录(cdh5.16.2)，主要记录了安装spark2后，spark的问题，和本地可以执行，而一提集群缺包的问题，这篇主要记录下启用kerberos后的一些问题版本信息如下集群启用kerberos后，想用命令行测下kafkakafka-topics --cre...

2019-11-01 16:12:50 1533

原创《kudu官网笔记》2.使用限制

不生产博客，只是官网的搬运工https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/kudu_limitations.htmlschema设计限制主键:1.表创建后，主键不能更改，必须drop表重新创建指定主键2.创表的时候，主键必须在最前边3.主键不能通过update更新，想要修改主键，必须删除行...

2019-11-01 14:46:58 683

原创 hue集成sentry

前言集群启用kerberos后，访问impala的方式除了impala-shell、jdbc工具，还有hue当然不可能在impala-shell编写sql，jdbc工具的话，电脑上还得装kerberos客户端，虽然不麻烦，确实多了一步所以通过sentry给hue授权，实现不同用户登陆hue拥有不同得权限hue权限参考地址:https://www.cloudera.co...

2019-11-01 13:59:36 1189

原创 spark消费kafka问题记录(cdh5.16.2)

版本如下kafka和spark都安装完成后，执行spark2-shell竟然报错Error: A JNI error has occurred, please check your installation and try again网上搜大概是jdk版本的问题，添加环境变量可以解决export SPARK_DIST_CLASSPATH=$(hadoop clas...

2019-11-01 10:42:29 559

zhaolq1024的博客