数据完整性测试之【三】Redis缓存和数据库表里的记录

已于 2024-01-25 22:32:10 修改
阅读量402 收藏
点赞数
分类专栏： Python脚本 文章标签： redis 数据完整性测试 缓存
于 2023-01-03 23:18:55 首次发布
本文为博主原创，未经许可严禁转载。
本文链接：https://blog.csdn.net/zyooooxie/article/details/119377944
版权

本文为博主原创，未经授权，严禁转载及使用。
本文链接：https://blog.csdn.net/zyooooxie/article/details/119377944

前面分享过 接口返回值 和 表记录 的校验 、 导出的CSV、Excel文件 和 表记录 的校验，最近 我们项目常常用到Redis，也得对缓存做校验，分享下；

【实际这篇博客推迟发布N个月】

个人博客：https://blog.csdn.net/zyooooxie

【以下所有内容仅为个人项目经历，如有不同，纯属正常】

需求

日常工作中，我这边刷缓存的操作大概2种： 某些新建、删除操作 刷新相关的缓存、定时Job跑 刷全部缓存；本期讲得是 第二种：大批量的key，如何来和表记录做校验。

拿到 相关缓存的 name、value

设计重点：

  1. SCAN命令；
  2. key不同类型时，如何获取 value；
  3. 只要key的name时 【need_keyName=True】，返回的是 {key_name1：None, key_name2：None} ；要key的value时 【need_keyName=False】，返回的是 {key_name1：value1, key_name2：value2}；
"""
@blog: https://blog.csdn.net/zyooooxie
@qq: 153132336
"""

def get_key_useSCAN(key_name: str, count: int = 5000, key_type: str = 'string', need_keyName: bool = False) -> dict:
    """

    :param key_name:
    :param count: scan 让用户告知迭代命令， 在每次迭代中应该从数据集里返回多少元素
    :param key_type:
    :param need_keyName:只需要name，不需要value
    :return:只要key的name时，返回的是 {key_name1：None, key_name2：None} ；要key的value时，返回的是 {key_name1：value1, key_name2：value2}
    """
    key_name = '*{}*'.format(key_name)
    Log.info(key_name)

    host, port, pwd = host1, port1, pwd1
    master_list = get_master_list(host=host, port=port, pwd=pwd)

    res_dict = dict()

    for ml in master_list:
        host_m, port_m = ml.split(":")
        Log.debug('{}, {}'.format(host_m, port_m))

        rc = redis_connect(host_m, port_m, pwd)
        cursor = 0

        while True:

            cursor, data = rc.scan(cursor, key_name, count=count)

            Log.debug('游标：{}，长度：{}'.format(cursor, len(data)))
            # Log.debug(data)

            if need_keyName:
                data = dict.fromkeys(data)
                res_dict.update(data)

            else:

                for d in data:
                    value = rc.get(d) if key_type == 'string' else (rc.hgetall(d) if key_type == 'hash' else
                                                                    (rc.lrange(d, 0, -1) if key_type == 'list'
                                                                     else rc.smembers(d)))
                    # Log.debug(d)
                    res_dict.update({d: value})

            if not bool(cursor):
                break

        rc.close()

    # Log.debug(res_dict)
    Log.info('redis中 相关key的数量是 {}'.format(len(res_dict)))

    return res_dict

== 240125更新

此方法不再推荐，请参考、使用 cluster_get_key_Use_SCAN() https://blog.csdn.net/zyooooxie/article/details/135485606

==

校验name

在这里插入图片描述

因为 chat* 搜出来的所有相关key的value 都是 ‘true’，故我把校验重点放在 key的name；

设计重点：

  1. sql执行后，拿到结果；
  2. 依据 mobile_or_union 传的值，手动构造 key_name；
  3. 返回的是 key_name的list；
"""
@blog: https://blog.csdn.net/zyooooxie
@qq: 153132336
"""

def get_key_useSQL_chatMobile_or_chatUnionId(mobile_or_union: str, db: Connection, cur: Cursor) -> list:
    sql = """
    select t2.union_id, group_concat(distinct t3.org_code),t2.mobile 
    from table_cgc t1 
    
    left join table_cgc_member t2
    on t1.chat_id = t2.chat_id
    
    left join table_cgc_org_relation t3
    on t1.chat_id = t3.chat_id
         
    where t1.delete_flag = 0
    and t2.delete_flag = 0
    and t3.delete_flag = 0
    and t2.union_id is not null

     {} and t2.mobile is not null
    group by t2.union_id;

    """.format('' if mobile_or_union == 'mobile' else '#')

    data = fetch_sql(sql=sql, db_name='zy_db', db=db, cur=cur, fetch_mode='fetchall')
    # Log.debug(data)

    res_list = list()

    for d in data:

        mobile = d[-1]
        union_id = d[0]

        for oc in d[1].split(','):

            if mobile_or_union == 'mobile':
                res = ''.join(['chat:mobile:add:', oc, ':', mobile])

            else:
                res = ''.join(['chat:unionId:add:', oc, ':', union_id])

            res_list.append(res)

    # Log.debug(res_list)
    Log.info('手动处理后，缓存的数量为 {}'.format(len(res_list)))

    return res_list
	

"""
@blog: https://blog.csdn.net/zyooooxie
@qq: 153132336
"""

if __name__ == "__main__":
    pass

    db_m, cur_m = connect_db(db_name='zy_db')

    # --------

    # string类型
    # 只对比 name

    # # abc = get_key_useSQL_chatMobile_or_chatUnionId(db=db_m, cur=cur_m, mobile_or_union='mobile')
    # abc = get_key_useSQL_chatMobile_or_chatUnionId(db=db_m, cur=cur_m, mobile_or_union='unionId')
    # abc = dict.fromkeys(abc)
    #
    # # ABC = get_key_useSCAN('chat:mobile:add', need_keyName=True)
    # ABC = get_key_useSCAN('chat:unionId:add', need_keyName=True)
    #
    # # Log.info('手动删掉的：{}'.format(ABC.popitem()))  # 主动修改abc，看执行结果
    #
    # compare_dict_key(abc, ABC)
    # compare_dict_key(ABC, abc)

    # --------

    close_db(db_m, cur_m)

校验name、value

在这里插入图片描述

设计重点：

  1. sql在zy_db执行后，拿到结果；取division_code字段值得到 division_code_list；
  2. 组成 data_dict；
  3. sql_ 在zyooooxie_db执行后，拿到结果；
  4. 根据实际key（hash类型）的all fields，生成res_dict；
  5. 返回的是 key：value的dict
"""
@blog: https://blog.csdn.net/zyooooxie
@qq: 153132336
"""

def get_key_useSQL_deptRegionInfo(db: Connection, cur: Cursor) -> dict:
    sql = """
	SELECT
        re.region_id,
        re.division_code,
        GROUP_CONCAT(DISTINCT dept.user_id) 
    FROM
        table_relation re
    JOIN
        table_dept dept
        ON re.region_id = dept.department_id
			
    WHERE
        re.delete_flag = 0
        AND dept.delete_flag = 0
		
    GROUP BY
        re.division_code;
    """
    data = fetch_sql(sql=sql, db_name='zy_db', db=db, cur=cur, fetch_mode='fetchall')
    # Log.debug(data)

    division_code_list = [d[1] for d in data]

    data_dict = {d[1]: (d[0], d[-1]) for d in data}
    Log.debug(data_dict)

    if len(division_code_list) == 1:
        division_code = "('{}')".format(division_code_list[0])

    elif len(division_code_list) == 0:
        raise Exception('长度为空-查不到数据')

    else:
        division_code = tuple(division_code_list)

    sql_ = """
    SELECT dept_code, division_code FROM table_zddi WHERE division_code IN {} ; 
    """.format(division_code)

    data_ = fetch_sql(sql=sql_, db_name='zyooooxie_db', fetch_mode='fetchall')
    # Log.debug(data_)

    res_dict = dict()

    for d_ in data_:
        dept_code = d_[0]

        key = 'dept:region:info:{}'.format(dept_code)

        value = data_dict.get(d_[-1])
        new_value = {'regionId': value[0], 'userId': value[1]}

        res_dict.update({key: new_value})

    # Log.debug(res_dict)
    Log.info('手动处理后，缓存的数量为 {}'.format(len(res_dict)))

    return res_dict


"""
@blog: https://blog.csdn.net/zyooooxie
@qq: 153132336
"""

if __name__ == "__main__":
    pass

    db_m, cur_m = connect_db(db_name='zy_db')

    # --------

    # # hash类型
    # # 对比 name、value

    abc = get_key_useSQL_deptRegionInfo(db=db_m, cur=cur_m)
    ABC = get_key_useSCAN('dept:region:info', key_type='hash')

    delete_ = ABC.popitem()
    Log.info(delete_)

    ABC.update({delete_[0]: 'test'})  # 主动修改ABC，看执行结果

    compare_dict_key_value(abc, ABC)
    compare_dict_key_value(ABC, abc)

    # --------

    close_db(db_m, cur_m)

公共方法：元素比较

请参考、使用 compare_dict_key() 、compare_dict_key_value() https://blog.csdn.net/zyooooxie/article/details/127978957

本文链接：https://blog.csdn.net/zyooooxie/article/details/119377944

个人博客 https://blog.csdn.net/zyooooxie

zyooooxie
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
node.js利用redis数据库缓存数据的方法
01-01
一、运行redis Redis服务器默认使用6379端口 redis-server 自定义端口 redis-server –port 6390 客户端 redis-cli 指定ip和端口连接 redis-cli -h 127.0.0.1 -p 6390 测试客户端和服务器是否连通 ping 二、Nodejs连接redis 通过redis.createClient(port,host,options)来连接redis服务器 var redis = require(redis) var client = redis.createClient(); /*client.HMSET 保
Redis缓存穿透，缓存击穿和缓存雪崩
12-14
一、缓存处理流程 处理Reids缓存引发的问题时，我们首先得知道缓存处理的一个流程，如下图： 二、缓存穿透，缓存击穿和缓存雪崩 缓存穿透 描述：缓存穿透是指缓存和数据库中都没有的数据，而用户不断发起请求，如发起为id为“-1024”的数据或id为特别大不存在的数据。这时的用户很可能是攻击者，攻击会导致数据库压力过大。 解决方法: 1.接口层增加校验，如用户鉴权校验，id做基础校验，id<=0的直接拦截； 2.从缓存取不到的数据，在数据库中也没有取到，这时也可以将key-value对写为key-null，缓存有效时间可以设置短点，如30秒（设置太长会导致正常情况也没法使用）。这样可以防止攻击用
redis 缓存对查询结果的使用技巧
热门推荐
憨厚博客
04-28 1万+
首先，由于最近项目中用到缓存redis而且还有 查询分页的比较多，因此用到一个PageEntity的一个类，让实体类需要用的分页的时候来继承就可以了。 用好这个类 你的排序更酸爽。 然后，how ？ 1、 设计表的时候，必须有这个三个字段 create_time, status, status_time 2、 根据这三个字段过滤数据的场景是在是太多了
redis缓存数据表
weixin_30432179的博客
04-01 1244
直观上看，数据库中的数据都是按表存储的；更微观地看，这些表都是按行存储的。每执行一 次select查询，数据库都会返回一个结果集，这个结果集由若干行组成。所以，一个自然而然 的想法就是在Redis中找到一种对应于数据库l行的数据结构。Redis中提供了五种基本数据结构 ，即字符串（string）、列表（list）、哈希（hash）、集合（set）和有序集合（sorted set）。经过调研...
Redis学习之缓存数据类型
小草的博客
09-26 6017
Redis缓存数据类型有5种，分别是String（字符串）、List（列表）、Hash（哈希）、Set（无序，不重复集合）、ZSet（sorted set：有序，不重复集合）。 String（字符串） string类型是redis最近的类型，一个key对应一个value。 Redis中的String类型是二进制安全的，可以包含任何数据。例如序列化的对象或者图片。 String类型一
通用的报表缓存设计（Spring AOP + Redis）
Richy的博客
03-24 2903
通用的报表缓存设计项目背景现状态方案代码实现注解AOP缓存（关键）通用的条件实体通用的结果实体业务调用(部分)测试结果：第一次第二次测试结果 项目背景 1：用户群体大， 2：业务计算量大，计算逻辑复杂。 现状态 1：主面页面，嵌套多个报表，部分报表加载时间长。 2：项目已经临近开发完成，准备移交测试。 3：如果压力测试必然会死得很难看。 方案 针对目前的情况，我准备了一个优化方案 1：使用Redi...
Redis开发 --- Redis缓存数据
qq_67390364的博客
08-16 677
Redis实现数据缓存，声明式缓存
05-使用Redis缓存数据,管理员相关数据表
qq_54781283的博客
06-19 549
使用Redis可以提高查询效率，一定程度上可以减轻数据库服务器的压力，从而保护了数据库。通常，应用Redis的场景有：一旦使用Redis，就会导致Redis和数据库中都存在同样的数据，当数据发生变化时，可能出现不一致的问题！所以，还有某些数据在特定的场景中不能使用Redis：需要学会评估是否要求数据一定保持一致！要使用Redis缓存数据，至少需要：在使用Redis之前，还必须明确一些问题：暂定目标：在创建接口，并在接口中添加抽象方法： 然后在创建（接口的实现类），实现以上接口： 完成后，测试： 然后，需要修
Redis 指南（4）- jedis工具类的封装
Just game, Have fun.
05-25 3312
原文： http://blog.csdn.net/a67474506/article/details/40660031?utm_source=tuicool在项目maven的pom.xml文件中添加jedis依赖：<dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <versio
redis 数据完整性
aalbertini的专栏
03-11 1984
redis为保证数据的完整性、故障恢复， 提供了多种方式； 这多种方式可以组合使用。 回写： 0）redis命令， 主动回写磁盘 -----save: 同步回写，阻塞所有后续读写请求， 直至save操作完成。 数据量大时可能假死很长时间。 -----bgsave: 异步回写，主进程fork子进程， 子进程复制了主进程的内存地址空间；子进程回写磁盘、写完自动退出。 数据量大时
Spring AOP实现Redis缓存数据库查询
08-29
主要介绍了Spring AOP实现Redis缓存数据库查询的相关内容，源码部分还是不错的，需要的朋友可以参考下。
Redis缓存数据库_redis_数据库系统_
10-04
wondows系统下redis缓存数据库
Redis缓存与数据库一致性解决方案1
08-03
1、需求起因 2、解决方案 1、canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议 2
Python使用smtplib发送邮件踩过的坑
zyooooxie的博客
01-08 5831
smtplib发送邮件的坑
Python脚本之阿里云OSS上传、下载文件
zyooooxie的博客
03-10 4498
阿里云oss：上传、下载文件
Python脚本之大数据量读写Excel【一】
zyooooxie的博客
05-16 3110
xlsx格式的Excel 大数据量的读取和写入
数据完整性测试之【一】接口返回值和数据库表里的记录
zyooooxie的博客
08-27 3086
数据明细的完整性校验-接口返回值、数据库的记录
Python浮点数运算时 数据精度的处理
zyooooxie的博客
02-23 2817
数据精度
数据准确性测试之【一】Web页面相关的字段
zyooooxie的博客
08-22 1914
校验：Web自动化针对前端页面显示的数据、接口自动化针对接口返回值
如何保证redis缓存和数据库数据的一致性
最新发布
05-26
保证Redis缓存和数据库数据的一致性可以采取以下几种方式： 1. 双写模式：即在写入Redis缓存数据的同时，也写入数据库中，保证数据的一致性。但这种方式会增加写入操作的耗时。 2. 延时双删模式：即在更新数据库...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值