- 博客(6)
- 收藏
- 关注
RSS订阅原创 Replica下的 highWatermark和 logEndOffset说明
ReplicaManager.updateReplicaLEOAndPartitionHW 更新replica.logEndOffset 是 在函数 ReplicaManager.updateReplicaLEOAndPartitionHW(topic: String, partitionId: Int, replicaId: Int, offset: LogOffsetMetada
2016-03-09 10:29:52
1034
原创 kafka本地存储5-LogManager
class LogManager(val logDirs: Array[File], val topicConfigs: Map[String, LogConfig], val defaultConfig: LogConfig, val cleanerConfig
2016-01-27 16:34:45
909
原创 kafka本地存储4-LogCleaner
LogCleanerManager 管理每个TopicAndPartition的清理状态 inProgress = mutable.HashMap[TopicAndPartition, LogCleaningState]() 清理状态如下三种 LogCleaningInProgress LogCleaningAborted LogCleaningPaused 会有多个数据根
2016-01-27 16:33:43
949
原创 kafka本地存储3-LogSegment
LogSegment class LogSegment(vallog: FileMessageSet, val index: OffsetIndex, val baseOffset: Long, //这个Segment存储的消息的partition起始的消息偏移量
2016-01-27 16:32:20
348
原创 kafka本地存储2-message
Message MinHeaderSize=CrcLength+MagicLength+AttributesLength+KeySizeLength+ValueSizeLength 1. 4 byte CRC32 of the message 消息的字节内容buffer进行crc32编码,从magic之后的内容进行编码 Utils.crc32(buffer.array,
2016-01-27 16:30:45
449
原创 kafka本地存储1-配置说明
CleanerConfig numThreads: Int = 1 清理线程的个数,每个线程调用 cleanerManager.grabFilthiestLog()返回的最该清理的topicAndPartition的LogToClean对象,之后开始清理工作 dedupeBufferSize: Long = 4*1024*1024L dedupeBuf
2016-01-27 16:24:52
989
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人