![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据结构
zwq00451
这个作者很懒,什么都没留下…
展开
-
kafka原理解析之-日志管理
一、日志文件结构1、在磁盘的组织形式从上图可以看到segment的文件组成:以 *.log 结尾的日志文件以 *.index 结尾的 offset 索引 文件以 *.timeindex 结尾的 time offset 时间索引 文件2、SEGMENT日志文件达到一定的条件的时候需要进行切分,其对应的索引文件也会进行切分,日志文件满足以下条件之一就会进行切分。当前日志文件的大小超过了 broker 端参数 log.segment.bytes 配置的值,默认值为 1073741824 ,原创 2020-12-13 18:40:00 · 581 阅读 · 1 评论 -
kafka原理解析之-消息格式
kafka经过多个版本的演变,消息格式也在不断的变化改进,本文讨论kafka使用过的各种消息格式,有些格式在最新的版本中已经不用,但我们可以从中学习一些设计思想一、消息格式介绍各版本消息格式及版本变更特性1、V0: Kafka 0.10.0 之前的版本,属性说明:LOG_OVERHEAD : offset + message_size 合在一起,表示 日志头部, 固定为 12 B.MESSAGE : LOG_OVERHEAD + RECORD 一起描述 一条消息。offset : 每条消原创 2020-12-13 12:01:09 · 761 阅读 · 0 评论 -
索引的十种数据结构梳理汇总
1,Bloom布隆过滤器是一个 bit 向量或者说 bit 数组,长这样: 如果我们要映射一个值到布隆过滤器中,我们需要使用多个不同的哈希函数生成多个哈希值,并对每个生成的哈希值指向的 bit 位置 1,例如针对值 “wangwu” 和三个不同的哈希函数分别生成了哈希值 1、4、7,则上图转变为: Ok,我们现在再存一个值 “zhangshan”,如果哈希函数返回 3、4、8 的话,图继续变为: 值得注意的是,4 这个 bit 位由于两个值的哈希函数都返回了这个 bit 位,因此它被覆盖了。原创 2020-11-28 15:46:51 · 1920 阅读 · 0 评论