《kudu官网笔记》1.组件和架构

不生产博客，只是官网的搬运工

https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/kudu_concepts_architecture.html

列式存储

存储数据在强类型的columns中，适合olap和数据仓库，因为列存，当olap时，读取当个字段或部分字段是，I/O次数更少比起行存，读效率高，行存读单个字段也许读整行，因为列只是一种类型，所以压缩效率比起行存的多种类型更优，减少了I/O次数

raft协议

官网没细说，kudu用raft协议选举master和leader tablet，也决定写入操作的成功和失败，因为raft来保证副本一致性

Table

有schema和完全有序的主键，一个表通过主键被分割成多个tablet

Tablet

tablet是table的一部分，类似别的分布式框架中的分区，一个tablet的副本在多个不同tablet server(也就是节点)，任何时候，只有一个leader，所有副本都可以提供读的服务，写要求一致性在多个server间

Tablet server

存储tablet并对外提供服务，对于一个tablet，一个tablet server作为leader，而别的副本作为follower，只有leader可以想要写请求，所有副本可相应对请求，leader被选举使用raft协议，一个tablet server有多个tablet，一个tablet也分布在多个server上

Master

持续track所有的tablet，tablet server，catalog talbe和别的集群相关的元数据，在某一时刻，只有一个master是leader，如果leader宕掉，新leader将通过raft选举出来

master也coordinate客户端操作的元数据，例如，创表的适合，客户端发请求到master，master写新表的元数据到catalog table，也coordinate在tablet server上创tablet的操作

所有的master数据存储在一个tablet，副本在别的所有master，talbet server会定期向master发心跳

catalog table

kudu元数据的中心位置（翻译这么别扭呢），存储talbe和tablet的信息，可以被访问通过master的client，api。catalog table不能直接被读或写，相反，可以被访问通过公开的元数据操作用客户端api(还是没明白，怎么才能访问，先这样写，说不定后面就明白了)，只存储两类元数据

table、tablet

logical replication

kudu复制操作不是磁盘上数据，这是逻辑复制，而不是物理复制，有几个优点

1.虽然插入和更新通过网络传输数据，但是删除不需要移动任何数据，删除操作被发送给每个tablet server，本地执行删除

2.物理操作，例如压缩，不需要网络传输数据，这是与hdfs不同的，网络传输block以达到副本数

3.tablet不需要同时执行压缩或在同一调度中，甚至不需要保持同步，减少了高延迟的机会，由于压缩或者高负载的写

(还是没明白啥是逻辑复制)

架构概述

 

可以看到有4个节点，3个master，其中有一个leader，每个tablet有3个副本，其中一个为leader，别的为follower