zyh1234456的博客

NoSQLNoSQL：Not only SQL的缩写,即不仅仅是SQL，说明是关系型数据库的补充而非替代MemCache、Redis、MongoDB被称为NoSQL三剑客MemCache和Redis区别：memcache只支持String，redits支持5大类型memcache不能持久化，redits支持memcache是多线程的，redits是单线程的关系型数据库和NoSQL比较：可看出NoSQL的最大优势体现为：高性能、高可用性、伸缩性Redis定义Redis是开源的

这里写自定义目录标题kafka定义kafka基础架构kafka工作流程kafka定义kafka是分布式的基于发布/订阅模式（一对多，消费者消费消息之后不会被清除）的消息队列kafka基础架构–producer：生产者，生产消息到topic–consumer：消费者，从topic中消费消息–broker：kafka集群中，每台服务器就是一个broker–topic：消息逻辑上以topic形式，物理上以partition存放，每个topic可有多个partition，每个pa

hdfs-ha集群中有两个NN，一台运行（active），一台作为热备(standby)，当运行NN挂了，热备可以立即顶上hdfs-ha要点元数据管理方式–两个NN各自保存一份元数据–编辑日志只有active状态的NN才能写，standby状态的只能读取–两个NN间数据同步通过QJM集群实现，共享的edits放在QJM集群中，active往edits中写入，standby从edits中读取NN状态管理– 每个NN中都自带一个zkfc组件，负责监控所在的NN节点，当需要进行状态切换时，

这里写自定义目录标题Zookeeper概述Zookeeper特点监听原理选举机制写数据流程Zookeeper概述协调分布式环境；Zookeeper相当于文件文件系统+通知机制，存储服务器信息，并将变化通知给客户端以便其做出反应Zookeeper特点一个leader，多个follower集群中只要半数以上服务器存货，就可启动集群zookeeper集群中所有服务器数据始终保持一致监听原理–1. 主线程main中创建Zookeeper客户端时会创建sedThread和eventThre

这里写自定义目录标题Yarn概述Yarn组成Yarn工作机制调度器Yarn概述Yarn ，负责hadoop中的资源调度，相当于一个分布式的操作系统，mapreduce等程序运行于yarn上Yarn组成1.RM（Resource Manager）处理客户端请求监控各个node manager的资源开启AM分配和调度资源注：RM只负责资源的管理和发放，不负责程序的运行2. NM（Node Manager）管理单个服务器上的资源并向RM汇报3. AM（APP Master）

这里写自定义目录标题MapReduce概述MapReduce特点MapReduce框架原理Shuffle机制其他关键点MapReduce概述MapReduce ，负责hadoop中的应用程序计算MapReduce特点1.易于编程通过简单的实现一些接口，就可完成分布式程序2. 良好的扩展性可通过简单的增加服务器，提高计算能力3. 高容错性其中一台机器挂了，可将上面的计算任务转移到另一个节点上运行，不至于该任务运行失败MapReduce框架原理1. NN(Name

这里写自定义目录标题hdfs概述hdfs特点hdfs组成架构hdfs读写流程hdfs-NN和2NN工作机制（NameNode和SecondaryNameNode）hdfs-DN工作机制（DataNode）hdfs概述HDFS(Hadoop Distributed File System)，是一个文件系统，用于存储文件。它是分布式的，由多个服务器联合起来实现其功能。**使用场景：**适合一次写入多次读取的场景，不支持文件修改，但可追加hdfs特点1.高容错性自动保存多个副本（默认3个），