架构
莫言静好、
这个作者很懒,什么都没留下…
展开
-
Hadoop系列-HDFS HA高可用集群
前言:在HDFS集群的时候我们知道,NameNode只有一个,如果现在NameNode挂掉了,或者NameNode需要硬件或者软件的升级,那么势必就有单点问题。那么HDFS HA就是来解决这个问题的。HA架构图: 集群需要考虑的问题:1 我们要考虑两个NM之间的元数据是共享或者同步的NM启动的时候,会去读取fsimage和 edits文件,那么备份NM也需要读取这两个文原创 2016-10-23 19:27:30 · 2297 阅读 · 0 评论 -
Hadoop系列-YARN RM HA 高可用集群
三 ResourceManager HA集群3.1修改 yarn-site.xml 3.2 yarn-site.xml分发到其他节点scpyarn-site.xml hadoop@hadoop-cluster-02:/opt/app/hadoop-2.5.0/etc/hadoopscpyarn-site.xml hadoop@hadoop-cluster-0原创 2016-10-23 20:43:34 · 4343 阅读 · 0 评论 -
Hadoop系列-分布式集群
一 分布式集群机器规划本机物理机:内存32G,硬盘1T, CPUi7 四核我规划三台虚拟机参与集群,每一台分配3G内存,30G硬盘,CPU 单核。 二 克隆虚拟机clone--> 修改机器名称-->Full Done --> clone然后vim/etc/udev/rules.d/70-persistent-net.rules把第一行删掉把第二条原创 2016-10-23 11:43:54 · 506 阅读 · 0 评论 -
消息队列应用场景
消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题实现高性能,高可用,可伸缩和最终一致性架构使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削锋和消息通讯四个场景2.1异步处理场景说明:用转载 2017-05-05 10:35:53 · 461 阅读 · 0 评论 -
Redis之缓存设计
一 缓存的收益和成本1.1 优点加速读写;降低后端负载1.2成本# 数据不一致性:缓存层和存储层的数据存在着差异# 代码维护成本:同时维护缓存层和存储层的逻辑 缓存的使用场景:# 开销大的复杂计算:比如MySQL一些复杂的操作或者计算,如果不加缓存,MySQL在并发量大的时候,可能扛不住# 加速请求响应 二 缓存的更新策略2.1 LRU/LFU/FI转载 2017-11-25 11:00:39 · 1435 阅读 · 0 评论 -
Log4J 1.x 配置详解
一 Log4J有三个主要的组件1.1 Loggers(记录类型)Log4j划分了5个级别:DEBUG,INFO,WARN,ERROR,FATAL。 这5个level是有优先级顺序的,DEBUG指定的日志级别。比如你指定了WARN级别,可以输出WARN,ERROR和FATAL的日志,但是不会输出DEBUG和INFO级别的日志1.2 Appenders(输出)有了日志,原创 2018-01-20 17:43:09 · 1321 阅读 · 0 评论