架构
莫言静好、
这个作者很懒,什么都没留下…
展开
-
Hadoop系列-HDFS HA高可用集群
前言: 在HDFS集群的时候我们知道,NameNode只有一个,如果现在NameNode挂掉了,或者NameNode需要硬件或者软件的升级,那么势必就有单点问题。那么HDFS HA就是来解决这个问题的。 HA架构图: 集群需要考虑的问题: 1 我们要考虑两个NM之间的元数据是共享或者同步的 NM启动的时候,会去读取fsimage和 edits文件,那么备份NM也需要读取这两个文原创 2016-10-23 19:27:30 · 2296 阅读 · 0 评论 -
Hadoop系列-YARN RM HA 高可用集群
三 ResourceManager HA集群 3.1修改 yarn-site.xml 3.2 yarn-site.xml分发到其他节点 scpyarn-site.xml hadoop@hadoop-cluster-02:/opt/app/hadoop-2.5.0 /etc/hadoop scpyarn-site.xml hadoop@hadoop-cluster-0原创 2016-10-23 20:43:34 · 4343 阅读 · 0 评论 -
Hadoop系列-分布式集群
一 分布式集群机器规划 本机物理机: 内存32G,硬盘1T, CPUi7 四核 我规划三台虚拟机参与集群,每一台分配3G内存,30G硬盘,CPU 单核。 二 克隆虚拟机 clone--> 修改机器名称-->Full Done --> clone 然后vim/etc/udev/rules.d/70-persistent-net.rules 把第一行删掉 把第二条原创 2016-10-23 11:43:54 · 506 阅读 · 0 评论 -
消息队列应用场景
消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题 实现高性能,高可用,可伸缩和最终一致性架构 使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ 二、消息队列应用场景 以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削锋和消息通讯四个场景 2.1异步处理 场景说明:用转载 2017-05-05 10:35:53 · 461 阅读 · 0 评论 -
Redis之缓存设计
一 缓存的收益和成本 1.1 优点 加速读写;降低后端负载 1.2成本 # 数据不一致性:缓存层和存储层的数据存在着差异 # 代码维护成本:同时维护缓存层和存储层的逻辑 缓存的使用场景: # 开销大的复杂计算:比如MySQL一些复杂的操作或者计算,如果不加缓存,MySQL在并发量大的时候,可能扛不住 # 加速请求响应 二 缓存的更新策略 2.1 LRU/LFU/FI转载 2017-11-25 11:00:39 · 1435 阅读 · 0 评论 -
Log4J 1.x 配置详解
一 Log4J有三个主要的组件 1.1 Loggers(记录类型) Log4j划分了5个级别:DEBUG,INFO,WARN,ERROR,FATAL。 这5个level是有优先级顺序的,DEBUG 指定的日志级别。比如你指定了WARN级别,可以输出WARN,ERROR和FATAL的日志,但是不会输出DEBUG和INFO级别的日志 1.2 Appenders(输出) 有了日志,原创 2018-01-20 17:43:09 · 1321 阅读 · 0 评论