基于Binlog的方式实现数据一致性问题

最新推荐文章于 2023-09-01 15:23:41 发布
VIP文章 最新推荐文章于 2023-09-01 15:23:41 发布
阅读量1.3k 收藏 6
点赞数 3
分类专栏： java 《Java-2021面试谈资系列》 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zjdzka/article/details/118873632
版权

基于Binlog的方式实现数据一致性问题

一、提出问题

通常我们在做服务端开发的时候，都会涉及到数据库和缓存，那数据库和缓存如何保证数据的一致性呢？这个问题是有待考虑的

是先删除缓存再写数据库呢？
还是先写数据再跟新缓存？

接下来，给大家分享一下我面对这种问题的一种解决方案

二、整体思路

MySQL binlog增量订阅消费+消息队列+增量数据更新到redis

1）读Redis：热数据基本都在Redis
2）写MySQL:增删改都是操作MySQL
3）更新Redis数据：MySQ的数据操作binlog，来更新到Redis

三、框架设计

先给大家看一下整理的流程图

最低0.47元/天 解锁文章
TCC呼啦呼啦
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
JavaSE实战项目：飞翔的小鸟(完整版)
zjdzka的博客
12-09 1万+
飞翔的????1.前言2.分析①素材准备②代码构思3.代码实现及展示4.心得分享 1.前言 首先，我先说一下这个项目，这个项目题材的来自牛客网的开源项目 我在这里做一个我自己在开发此项目的心得体会和经验交流,并且带领大家了解从0去入手一个项目的完整思路 这里是结果展示图： 2.分析 ①素材准备 在开发此项目之前，我们需要去先下载一些关于飞翔的小鸟素材图片 小鸟的飞翔图片 地面背景图片 柱子图片 以及开始结束图片 那么这里我为大家提供百度网盘链接，大家需要可自行下载 链接：https://pan.bai
HashMap底层原理剖析(面试收藏！！！)
热门推荐
zjdzka的博客
01-05 1万+
HashMapHashMap底层原理剖析(超详细！！！)一、散列表结构二、什么是哈希？三、HashMap原理讲解3.1继承体系图3.2Node数据结构分析3.3底层存储结构3.4put数据原理分析3.5什么是哈希碰撞？3.6JDK8为什么引入红黑树？3.7扩容机制四、手撕源码1.HashMap核心属性分析2.构造方法分析3.put方法分析4.resize()方法分析5.get方法6.remove方法分析7.replace方法分析 HashMap底层原理剖析(超详细！！！) 一、散列表结构 散列表结构就是数组
（项目问答）双库一致性/缓存数据库一致性：1.缓存双删（延迟双删）2.先写数据库再使用binlog异步更新缓存
EzioDaPanG的博客
09-01 172
binlog是MySQL中最重要的日志，记录了DDL（data definition language）（create，drop，alter，truncate和rename）和DML（data manipulation language）（insert，update，delete和select）语句，以事件的形式记录。默认不开启，开启会有1%的性能损耗。场景1.部署集群，数据库需要主从复制的情况下，需要开启Binlog。2.数据库需要进行数据恢复时，使用MySQL Binlog 工具来恢复数据。名称。
mycacher：使用MySQL Binlog自动刷新Redis缓存
03-03
mycacher：使用MySQL Binlog自动刷新Redis缓存
如何保证数据库中的数据与Redis缓存中的数据一致性？
m0_52278127的博客
07-14 363
先更新数据库，再删除缓存，或先删除缓存，在更新数据库
如何解决缓存与数据库不一致
m0_71489125的博客
05-17 535
在追求接口性能的伟大征途中，我们常常要与数据库为伍。然而，频繁地查询数据库可谓是犹如一场抓耳挠腮的恶梦。因此，我们需要施展一些技能，以降低数据库查询的次数，并且优化查询的效率。缓存就像是一位Superman，它能以惊人的速度拯救我们。引入缓存的魔法能够减少数据库查询的频率，让我们的接口快如闪电。而且，缓存还能优化查询效率，让数据库变得如临大敌，每次查询都是轻松搞定。
Redis缓存和MySQL数据一致性方案详解
.
02-10 1684
需求 在高并发的业务场景下，数据库大多数情况都是用户并发访问最薄弱的环节。所以，就需要使用redis做一个缓冲操作，让请求先访问到redis，而不是直接访问MySQL等数据库。 这个业务场景，主要是解决读数据从Redis缓存，一般都是按照下图的流程来进行业务操作。 读取缓存步骤一般没有什么问题，但是一旦涉及到数据更新：数据库和缓存更新，就容易出现缓存(Redis)和数据库（MySQL...
实战-缓存数据一致+binlog初始+cannel监听+数据迁移，数据一致性架构设计
weixin_46643875的博客
02-24 1412
缓存数据一致+binlog初始+cannel监听+数据迁移，数据一致性架构设计
缓存与数据库一致性问题
qq_35363433的博客
11-22 357
缓存和数据库数据不一致问题
8种方案，保证缓存和数据库的最终一致性
阳阳的博客
11-25 9773
​我们通常使用缓存机制来提升系统的性能，缓存系统下的读写操作，一般都需要操作数据库与缓存。 对于读操作，一般是先查询缓存，查询不到再查询数据库，最后回写进缓存。 而对于写操作，究竟是先删除(更新)缓存，再更新数据库，还是先更新数据库，再删除(更新)缓存呢？ 由于对数据库以及缓存的整体操作，并不是原子性的，再加上读写并发，究竟什么样的方案可以保证数据库与缓存的一致性呢？ 下面介绍8种方案，配合读写时序图，希望你能从其中了解到保证一致性的设计要点。
监听bin_log日志达到数据的一致性
m0_46218005的博客
07-26 708
若有不解请参考https//blog.csdn.net/m0_37583655/article/details/119148470。
基于binlog+Canal+Redis保姆级教程，帮助您实现数据一致性落地的全过程！
竹林幽深
08-09 1475
canal 是阿里巴巴的一个开源项目，基于java实现，整体已经在很多大型的互联网项目生产环境中使用，包括阿里、美团等都有广泛的应用， 是一个非常成熟的数据库同步方案，基础的使用只需要进行简单的配置即可。canal是通过模拟成为mysql 的slave的方式， 监听mysql 的binlog日志来获取数据，binlog设置为row模式以后，不仅能获取到执行的每一个增删改的脚本，同时还能获取到修改前和修改后的数据，基于这个特性，canal就能高性能的获取到mysql数据数据的变更。
tichecker:tichecker工具用于在线在线验证MySQL-> TiDB基于DM实时同步数据一致性
03-13
替身者ticheker工具用于在线在线校准MySQL-> TiDB基于同步数据一致性，支持合库合表场景，秉承最小业务侵入原则，非binlog以及加事务锁机制，主要原理是基于上下游表范围计算校验和【chunk切分切小，按理数据变化...
kingbus：基于Raft构建的分布式MySQL binlog存储系统
02-04
什么是国光客运？Kingbus是基于筏的分布式... 确保写入群集的binlog数据在多个节点之间是一致的，并且binlog事件的顺序与主节点上的顺序完全相同。 高可用性，您的mysql binlog复制始终处于打开状态，并且在kingbus中可
MySQL 主从复制搭建，基于日志（binlog）
12-14
　简单来说，是保证主SQL（Master）和从SQL（Slave）的数据是一致性的，向Master插入数据后，Slave会自动从Master把修改的数据同步过来（有一定的延迟），通过这种方式来保证数据的一致性，是主从复制。 　MySQL...
基于 jsp + servlet + mysql 三层架构实现的网上书店系统.zip
最新发布
04-19
MySQL通过日志记录来保证数据一致性、支持故障恢复和审计需求，主要包括： 错误日志（Error Log）：记录MySQL服务器运行期间的严重错误、警告和其他重要事件。 二进制日志（Binary Log，binlog）：记录对数据库...
基 于 Java 轻 量 级 的 Mysql (Mariadb) Binlog 客 户 端
03-13
宕机续读, 避免宕机期间造成数据丢失, 保证数据一致性。支持 传统项目 与 Spring Boot 项目集成, 同时兼容 Spring Boot 2.x 与 3.x 版本。数据转换, 基于 IBinlogEventHandler 的泛型参数, 提供自动的数据转换。
Java面向对象(基础篇)：一
zjdzka的博客
11-02 8977
1.面向对象思想 面向对象作为java语言的核心内容，很多初学的小伙伴在刚接触面向对象的时候，脑子都是晕晕乎乎的，什么是类？什么是对象？他们的关系是怎么样的？等等问题一拥而出，今天我就为大家做一下我自己面向对象的学习分享。 在学习面向对象之前，我先给大家看一幅图： 大家观察这幅图，不难看出：第一个框图从起床到去上课坐车，每一步的动作都很具体；而第二个框图，我们只需要将衣服放入洗衣机，然后洗完再将衣服拿出来即可。那么第一幅框图我们就可以把它看作是“面向过程”，而我们的第二幅款图则就是我们今天的主角“面向对象”
JDBC数据库连接池(超详解！！！)
zjdzka的博客
01-02 7669
JDBC 一、数据库连接池 1.数据库连接池 概念：存放数据库连接的一个容器（集合）Connection 当系统运行起来之后，这个连接池就被创建，在这个连接池当中，会申请一些对象，当有用户来访问数据库的时候，就从这个连接池当中获取连接对象，用户访问结束之后，连接池对象会归还给容器 2.连接池的实现 java官方提供了标准接口 DataSource(javax.sql包下) //常用方法 getConnection();//获取连接对象 conn.close();//归还连接池对象 此接口由数据库厂商为我
mysql主从复制如何保持数据的一致性
09-11
### 回答1： mysql主从复制可以通过以下几种方式来保持数据的一致性： 1. 在主库上开启 binlog，从库上开启 relay log，通过 binlog 和 relay log 来同步数据。 2. 在主库上开启 GTID，从库上也开启 GTID，通过 GTID 来同步数据。 3. 在主库上开启半同步复制，从库上开启半同步复制，通过半同步复制来保证数据的一致性。 4. 在主库和从库上都开启并行复制，通过并行复制来加快数据同步的速度。 以上几种方式都可以保证数据的一致性，具体选择哪种方式需要根据实际情况来决定。 ### 回答2： MySQL主从复制是一种数据同步的机制，数据的一致性是保证主库和从库之间数据完全一致的关键要素。 首先，MySQL使用二进制日志（binary log）记录主库上发生的所有操作，并将这些操作传递给从库进行重放。这确保了主库和从库拥有相同的数据集。 其次，MySQL主从复制通过复制事件（replication event）对数据进行同步。在主库上执行的每个数据库操作都被记录为一个事件，并按照顺序传递给从库进行执行。这样，不论是数据的插入、更新还是删除操作，从库都能按照相同的顺序和方式执行，保持数据的一致性。 此外，MySQL主从复制采用基于事务的方式进行数据复制。主库上执行的每个事务都会被记录为一个复制事件，并且这些事务在从库上以相同的顺序和方式执行，从而确保数据的一致性。 在主从复制中，还存在一个重要的因素是延迟（lag）。由于网络、硬件等原因，从库上执行复制事件可能会有一定的延迟。为了保持数据的一致性，需要通过设置参数和监控机制，确保从库上的延迟不会影响主库和从库之间的数据一致性。 同时，为了避免主库的故障导致数据丢失，MySQL提供了半同步复制（semi-synchronous replication）机制。通过将事务在主库上的提交确认同步到至少一个从库后再返回给客户端，确保了主库上的数据改变已经有效地被至少一个从库接收，从而提高了数据的一致性和可靠性。 综上所述，MySQL主从复制通过二进制日志记录、复制事件同步、基于事务的复制和延迟监控，以及半同步复制等机制，保证了数据在主库和从库之间的一致性。 ### 回答3： MySQL主从复制是一种常用的数据复制方案，用于同步将一个数据库的变更应用到其他多个数据库上。为了保持数据的一致性，MySQL主从复制采用了以下几个机制： 1. 二进制日志（Binary Log）：主服务器将所有的数据更新操作（如插入、更新、删除等）记录在二进制日志中，并定期将其发送给从服务器。从服务器通过读取主服务器的二进制日志，将这些操作逐一应用到自己的数据库中。这保证了数据的变更在从服务器上按照相同的顺序被执行。 2. GTID（Global Transaction Identifier）：GTID是一个全局事务标识符，用于跟踪主服务器上的每个事务操作。主服务器在每个事务的开始和结束时生成一个GTID，并发送给从服务器。从服务器通过比较主服务器和自己的GTID来判断是否已经应用了相应的事务操作，以避免重复应用。 3. 复制线程和日志解析器：MySQL从服务器通过启动一个复制线程（I/O Thread）与主服务器建立连接，并通过日志解析器（SQL Thread）解析并执行主服务器发来的二进制日志。这两个线程协同工作，确保数据的变更被正确地复制到从服务器。 4. 延迟监控和错误检测：MySQL主从复制提供了延迟监控功能，可以检测从服务器与主服务器之间的延迟情况。如果发生网络故障或其他错误，复制过程可能会中断或延迟，MySQL会自动检测并尝试重新连接。同时，还可以通过配置参数来设置复制过程的超时时间，确保数据同步的正常性和一致性。 综上所述，MySQL主从复制通过二进制日志、GTID、复制线程和日志解析器、延迟监控和错误检测等机制来保持数据的一致性。这些机制确保了主服务器上的数据变更能够同步地应用到从服务器上，从而达到数据的一致性和可靠性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值