个人总结
文章平均质量分 79
zhaoziyun21
这个作者很懒,什么都没留下…
展开
-
mysql基础知识
mysql基础知识数据库简介'''数据库的诞生: 人类在进化过程中,创造了数字、文字、符号等进行数据较多记录,但是随着认知能力和创造能力的提升,数据量越来越大,对于数据的记录和准确查找称为一个重大难题。计算机诞生后,数据开始在计算机中存储并计算,并设计出了数据库系统数据库解决了的问题: 1、持久化存储 2、优化读写 3、保证数据的有效性为什么要...原创 2019-04-20 22:42:20 · 454 阅读 · 0 评论 -
如何保证消息队列消息不被重复消费
如何保证消息队列消息不被重复消费?kafka消息重复消费场景如何保证消息重复消费后的幂等性kafka消息重复消费场景kafka实际上有个offset的概念,就是每个消息写进去,都有一个offset,代表他的序号,然后consumer消费了数据之后,每隔一段时间,会把自己消费过的消息的offset提交一下,代表我已经消费过了,下次我要是重启啥的,你就让我继续从上次消费到的offset来继续消费吧...原创 2019-03-10 17:30:08 · 1842 阅读 · 2 评论 -
如何处理消息丢失的问题
如何处理消息丢失的问题?rabbitmq生产者弄丢了数据rabbitmq弄丢了数据消费端弄丢了数据kafka消费端弄丢了数据kafka弄丢了数据生产者会不会弄丢数据这个丢数据,mq一般分为两种,要么是mq自己弄丢了,要么是我们消费的时候弄丢了。咱们从rabbitmq和kafka分别来分析一下吧rabbitmq这种mq,一般来说都是承载公司的核心业务的,数据是绝对不能弄丢的rabbitmq生...原创 2019-03-10 21:24:33 · 435 阅读 · 0 评论 -
如何进行消息队列的技术选型?
如何进行消息队列的技术选型?为什么要用消息队列解耦异步削峰消息队列的优点和缺点架构中引入mq可能存在的缺陷kafka、activeMq、rabbitMq、rocketMq都有什么优缺点综上所述,各种对比之后,我个人倾向于是:为什么要用消息队列期望回答:公司业务场景,有什么技术挑战,如果不用mq会很麻烦,用了以后有很多好处先说mq常见使用场景,比较核心的有3个:解耦、异步、削峰解耦非解耦...原创 2019-03-11 15:59:41 · 1412 阅读 · 0 评论 -
如何保证队列消息顺序
如何保证队列消息顺序先看看顺序会错乱的俩场景rabbitmq:一个queue,多个consumer,这不明显乱了kafka:一个topic,一个partition,一个consumer,内部多线程,这不也明显乱了rabbitmq如何完全保证消息顺序kafka如何完全保证消息顺序...原创 2019-03-12 19:34:41 · 589 阅读 · 0 评论 -
如何解决消息队列的延时以及过期失效问题?消息队列满了以后该怎么处理?有几百万消息持续积压几小时,说说怎么解决?
分析关于这个事儿,我们一个一个来梳理吧,先假设一个场景,我们现在消费端出故障了,然后大量消息在mq里积压,现在事故了,慌了大量消息在mq里积压了几个小时了还没解决几千万条数据在MQ里积压了七八个小时,从下午4点多,积压到了晚上很晚,10点多,11点多这个是我们真实遇到过的一个场景,确实是线上故障了,这个时候要不然就是修复consumer的问题,让他恢复消费速度,然后傻傻的等待几个小时消费完毕...原创 2019-03-12 20:24:52 · 1871 阅读 · 3 评论 -
如果让你写一个消息队列,该如何进行架构设计啊?说一下你的思路
考察两点你有没有对某一个消息队列做过较为深入的原理的了解,或者从整体了解把握住一个mq的架构原理看看你的设计能力,给你一个常见的系统,就是消息队列系统,看看你能不能从全局把握一下整体架构设计,给出一些关键点出来剖析其实回答这类问题,说白了,起码不求你看过那技术的源码,起码你大概知道那个技术的基本原理,核心组成部分,基本架构构成,然后参照一些开源的技术把一个系统设计出来的思路说一下就好...原创 2019-03-12 20:45:24 · 814 阅读 · 1 评论 -
分布式搜索引擎的架构是怎么设计的(es是如何实现分布式的啊)?为啥是分布式的?
1231313原创 2019-03-14 23:18:51 · 844 阅读 · 0 评论 -
es读写底层原理剖析
(1)es写数据过程客户端选择一个node发送请求过去,这个node就是coordinating node(协调节点)coordinating node,对document进行路由,将请求转发给对应的node(有primary shard)实际的node上的primary shard处理请求,然后将数据同步到replica nodecoordinating node,如果发现primar...原创 2019-03-19 22:25:42 · 428 阅读 · 0 评论 -
引入消息队列之后如何保证其高可用性
引入消息队列之后如何保证其高可用性?rabbitMQ的高可用性rabbitmq有三种模式:kafka的高可用性rabbitMQ的高可用性RabbitMQ是比较有代表性的,因为是基于主从做高可用性的,我们就以他为例子讲解第一种MQ的高可用性怎么实现。rabbitmq有三种模式: 单机模式,普通集群模式,镜像集群模式单机模式 就是demo级别的,一般就是你本地启动了玩玩儿的,没...原创 2019-03-10 16:07:02 · 641 阅读 · 1 评论