kudu
hadoop程序猿
爸爸的爸爸是爷爷
展开
-
impala+kudu优化
打开网易云,准备tnd哭目录1.timestamp类型2.统计信息3.看懂执行计划4.临时表使用parquet5.join方式&join顺序6.not in7.写kudu1.timestamp类型把日期字段转为timestamp类型,+日期函数,性能不是一般的赞,注意:kudu中timestamp和impala中的timestamp存储格式不一致,不要将timestamp类型字段作为主键,之前在cdh5.16上,以timestamp作主键,impal...原创 2020-08-11 16:35:44 · 2644 阅读 · 0 评论 -
《kudu官网笔记》6.kudu后台的维护任务
不生产博客,只是官网的搬运工https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/kudu_background_tasks.htmlkudu依赖很多后台任务来完成重要的任务,包括flush数据到磁盘,compact数据,释放磁盘空间等等maintenance manager这个服务调度并且运行任务,...原创 2019-11-11 10:35:12 · 1332 阅读 · 0 评论 -
《kudu官网笔记》5.kudu事务
不生产博客,只是官网的搬运工https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/kudu_transaction_semantics.html这篇自认为翻译的最差的,主要对数据库并发控制理解的差,容日后再修改吧贴一篇大佬对kudu paper的笔记https://zhuanlan.zhihu.co...原创 2019-11-07 15:42:16 · 1401 阅读 · 0 评论 -
《kudu官网笔记》4.schema设计
不生产博客,只是官网的搬运工https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/kudu_schema_design.htmlcolumn设计非主键可为空,支持如下类型8、16、32、64位整数timestamp(64位)float(32位)double(64位)decimalstring(...原创 2019-11-06 10:53:03 · 383 阅读 · 0 评论 -
《kudu官网笔记》3.在kudu上使用impala
不生产博客,只是官网的搬运工https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/kudu_impala.htmlimpala与kudu集成,允许你使用impala sql来插入、查询和更新、删除kudu的数据,作为kudu api的替代方案,另外,也可以使用jdbc or odbcimpala数据库包...原创 2019-11-04 15:36:57 · 1114 阅读 · 1 评论 -
《kudu官网笔记》2.使用限制
不生产博客,只是官网的搬运工https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/kudu_limitations.htmlschema设计限制主键:1.表创建后,主键不能更改,必须drop表重新创建指定主键2.创表的时候,主键必须在最前边3.主键不能通过update更新,想要修改主键,必须删除行...原创 2019-11-01 14:46:58 · 684 阅读 · 0 评论 -
《kudu官网笔记》1.组件和架构
不生产博客,只是官网的搬运工https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/kudu_concepts_architecture.html列式存储存储数据在强类型的columns中,适合olap和数据仓库,因为列存,当olap时,读取当个字段或部分字段是,I/O次数更少比起行存,读效率高,行存读单个字段...原创 2019-10-31 16:43:43 · 468 阅读 · 0 评论