2017年09月_zhaosoft1982

09月 06月 04月 03月

转载 logstash安装和logstash-input-jdbc插件

安装logstashlogstash的安装和elasticsearch的安装是一样简单的，就是那种拆箱即用的。目前最新的版本是5.5.0，注意这个版本需要和elasticsearch的版本一致。下载安装?1wget https://artifacts.elastic.co/downloads/logstash/logs

2017-09-29 16:06:48 2396

转载 ElasticSearch + Canal 开发千万级的实时搜索系统

公司是做社交相关产品的，社交类产品对搜索功能需求要求就比较高，需要根据用户城市、用户ID昵称等进行搜索。项目原先的搜索接口采用SQL查询的方式实现，数据库表采用了按城市分表的方式。但随着业务的发展，搜索接口调用频次越来越高，搜索接口压力越来越大，搜索数据库经常崩溃，从而导致搜索功能经常不能使用。从上面的系统架构图可以看出，当用户修改资料时，接口会修改用户库信息，接着触发器会

2017-09-29 13:59:23 1701

转载阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费

背景早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。ps. 目前内部使用的同步，已经支持mysql5.x和oracle部分版本的日志解析

2017-09-29 10:16:49 696

转载聊聊高并发系统之限流特技-1 开涛

在开发高并发系统时有三把利器用来保护系统：缓存、降级和限流。缓存的目的是提升系统访问速度和增大系统能处理的容量，可谓是抗高并发流量的银弹；而降级是当服务出问题或者影响到核心流程的性能则需要暂时屏蔽掉，待高峰或者问题解决后再打开；而有些场景并不能用缓存和降级来解决，比如稀缺资源（秒杀、抢购）、写服务（如评论、下单）、频繁的复杂查询（评论的最后几页），因此需有一种手段来限制这些场景的并发/请求量，即限

2017-09-27 14:12:31 719

转载接口限流算法总结

背景在开发高并发系统时，有三把利器用来保护系统：缓存、降级和限流。那么何为限流呢？顾名思义，限流就是限制流量，就像你宽带包了1个G的流量，用完了就没了。通过限流，我们可以很好地控制系统的qps，从而达到保护系统的目的。本篇文章将会介绍一下常用的限流算法以及他们各自的特点。算法介绍计数器法计数器法是限流算法里最简单也是最容易实现的一种算法。比如我们规定，对于A接口来

2017-09-27 14:05:55 739