6、Redis新数据类型

已于 2022-11-22 07:12:28 修改
阅读量117 收藏
点赞数
分类专栏： Redis 文章标签： redis 数据库 java
于 2022-11-20 11:45:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhao854116434/article/details/127883153
版权

文章目录

Redis 6 入门到精通-讲师：王泽

世态炎凉，世界并不善良

6、Redis新数据类型

6.1 Bitmaps

6.1.1 简介

byte（字节）和bit（位）的区别:一个bit是0或1，中文叫位做1个二进制（位）。1个byte是8个bit，中文叫一个字节。

现代计算机用二进制（位） 作为信息的基础单位， 1个字节等于8位， 例如“abc”字符串是由3个字节组成， 但实际在计算机存储时将其用二进制表示， “abc”分别对应的ASCII码分别是97、 98、 99， 对应的二进制分别是01100001、 01100010和01100011，如下图
在这里插入图片描述
合理地使用操作位能够有效地提高内存使用率和开发效率。

Redis提供了Bitmaps这个“数据类型”可以实现对位的操作：

  1. Bitmaps本身不是一种数据类型， 实际上它就是字符串（key-value） ， 但是它可以对字符串的位进行操作。
  2. Bitmaps单独提供了一套命令， 所以在Redis中使用Bitmaps和使用字符串的方法不太相同。 可以把Bitmaps想象成一个以位为单位的数组， 数组的每个单元只能存储0和1， 数组的下标在Bitmaps中叫做偏移量。
    在这里插入图片描述

6.1.2 命令

1 setbit

  1. 格式
    setbit设置Bitmaps中某个偏移量的值（0或1）
    在这里插入图片描述
    offset:偏移量从0开始

  2. 实例
    每个独立用户是否访问过网站存放在Bitmaps中， 将访问的用户记做1， 没有访问的用户记做0， 用偏移量作为用户的id。
    设置键的第offset个位的值（从0算起） ， 假设现在有20个用户，userid=1， 6， 11， 15， 19的用户对网站进行了访问， 那么当前Bitmaps初始化结果如图
    在这里插入图片描述

users:20221116代表2022-11-16这天的独立访问用户的Bitmaps
在这里插入图片描述

注：
很多应用的用户id以一个指定数字（例如10000） 开头， 直接将用户id和Bitmaps的偏移量对应势必会造成一定的浪费， 通常的做法是每次做setbit操作时将用户id减去这个指定数字。

在第一次初始化Bitmaps时， 假如偏移量非常大， 那么整个初始化过程执行会比较慢， 可能会造成Redis的阻塞。

2 getbit
  1. 格式
    getbit获取Bitmaps中某个偏移量的值
    在这里插入图片描述

获取键的第offset位的值（从0开始算）

  1. 实例
    获取id=8的用户是否在2020-11-06这天访问过， 返回0说明没有访问过：
    在这里插入图片描述

注：因为8（偏移量）根本不存在，所以是返回0

3 bitcount

Bitmap 本身不是一种数据结构，底层实际上是字符串来存储，可以借助字符串进行位操作。

字符串是byte（字节），bit（位），1个字节=8位

bitcount统计value中1的数量，默认会统计value中全部1的数量，通过指定额外的 start 或 end 参数，设置统计指定的字节长度内1的数量，这里再说一次，一个字节八位，如果是 >bitcount user:20221116 0 0 统计的就是偏移量0~7value中1的数量。（从第0字节开始，到第0字节结束，这里的长度是1字节，8位，所以0到7）

在数组中，取出第一个值下标位0，第二个值下表位1，第三个值下标为2

在这里插入图片描述

占用字节数可以用 (max_offset / 8) + 1 公式来计算或者直接借助底层字符串函数 strlen 来计算：

127.0.0.1:6379> setbit user:20221116 0 1
(integer) 0
# (0 / 8) + 1 = 1
127.0.0.1:6379> strlen user:20221116
(integer) 1
127.0.0.1:6379> setbit user:20221116 8 1
(integer) 0
# (8 / 8) + 1 = 2
127.0.0.1:6379> strlen user:20221116
(integer) 2

统计字符串被设置为1的bit数。一般情况下，给定的整个字符串都会被进行计数，通过指定额外的 start 或 end 参数，可以让计数只在特定的位上进行。start 和 end 参数的设置，都可以使用负数值：比如 -1 表示最后一个位，而 -2 表示倒数第二个位，start、end 是指bit组的字节的下标数，二者皆包含。

  1. 格式
    bitcount[start end] 统计字符串从start字节到end字节比特值为1的数量
    在这里插入图片描述
  2. 实例
    计算2022-11-16这天的独立访问用户数量
    在这里插入图片描述

start和end代表起始和结束字节数， 下面操作计算用户id在第1个字节到第3个字节之间的独立访问用户数， 对应的用户id是11， 15， 19。
在这里插入图片描述
举例： K1 【01000001 01000000 00000000 00100001】，对应【0，1，2，3】
bitcount K1 1 2 ： 统计下标1、2字节组中bit=1的个数，即01000000 00000000
–》bitcount K1 1 2 　　--》1

bitcount K1 1 3 ： 统计下标1、2字节组中bit=1的个数，即01000000 00000000 00100001
–》bitcount K1 1 3　　--》3

bitcount K1 0 -2 ： 统计下标0到下标倒数第2，字节组中bit=1的个数，即
01000001 01000000 00000000
–》bitcount K1 0 -2　　--》3

注意：redis的setbit设置或清除的是bit位置，而bitcount计算的是byte（字节）位置。

4 bitop

  1. 格式
    bitop and(or/not/xor) [key…]
    在这里插入图片描述
    bitop是一个复合操作， 它可以做多个Bitmaps的and（交集） 、 or（并集） 、 not（非） 、 xor（异或） 操作并将结果保存在destkey中。

  2. 实例
    2020-11-04 日访问网站的userid=1,2,5,9。
    setbit unique:users:20201104 1 1
    setbit unique:users:20201104 2 1
    setbit unique:users:20201104 5 1
    setbit unique:users:20201104 9 1

2020-11-03 日访问网站的userid=0,1,4,9。
setbit unique:users:20201103 0 1
setbit unique:users:20201103 1 1
setbit unique:users:20201103 4 1
setbit unique:users:20201103 9 1

计算出两天都访问过网站的用户数量
bitop and unique:users:and:20201104_03
unique:users:20201103unique:users:20201104
在这里插入图片描述
在这里插入图片描述
计算出任意一天都访问过网站的用户数量（例如月活跃就是类似这种） ， 可以使用or求并集
在这里插入图片描述

6.1.3 Bitmaps与set对比

假设网站有1亿用户， 每天独立访问的用户有5千万， 如果每天用集合类型和Bitmaps分别存储活跃用户可以得到表

set和Bitmaps存储一天活跃用户对比

数据类型每个用户id占用空间需要存储的用户量全部内存量
集合类型64位5000000064位*50000000 = 400MB
Bitmaps1位1000000001位*100000000 = 12.5MB

很明显， 这种情况下使用Bitmaps能节省很多的内存空间， 尤其是随着时间推移节省的内存还是非常可观的

set和Bitmaps存储独立用户空间对比

数据类型一天一个月一年
集合类型400MB12GB144GB
Bitmaps12.5MB375MB4.5GB

但Bitmaps并不是万金油， 假如该网站每天的独立访问用户很少， 例如只有10万（大量的僵尸用户） ， 那么两者的对比如下表所示， 很显然， 这时候使用Bitmaps就不太合适了， 因为基本上大部分位都是0。

set和Bitmaps存储一天活跃用户对比（独立用户比较少）

数据类型每个userid占用空间需要存储的用户量全部内存量
集合类型64位10000064位*100000 = 800KB
Bitmaps1位1000000001位*100000000 = 12.5MB

6.2 HyperLogLog

6.2.1 简介

在工作当中，我们经常会遇到与统计相关的功能需求，比如统计网站PV（PageView页面访问量）,可以使用Redis的incr、incrby轻松实现。

但像UV（UniqueVisitor，独立访客）、独立IP数、搜索记录数等需要去重和计数的问题如何解决？这种求集合中不重复元素个数的问题称为基数问题。

解决基数问题有很多种方案：
（1）数据存储在MySQL表中，使用distinct count计算不重复个数
（2）使用Redis提供的hash、set、bitmaps等数据结构来处理

以上的方案结果精确，但随着数据不断增加，导致占用空间越来越大，对于非常大的数据集是不切实际的。
能否能够降低一定的精度来平衡存储空间？

Redis推出了HyperLogLog

Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的。

在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。

但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各个元素。

什么是基数?
比如数据集 {1, 3, 5, 7, 5, 7, 8}， 那么这个数据集的基数集为 {1, 3, 5 ,7, 8}, 基数(不重复元素)为5。 基数估计就是在误差可接受的范围内，快速计算基数。

6.2.2 命令

1 pfadd

（1）格式

pfadd < element> [element …] 添加指定元素到 HyperLogLog 中
在这里插入图片描述
（2）实例
在这里插入图片描述
将所有元素添加到指定HyperLogLog数据结构中。如果执行命令后HLL估计的近似基数发生变化，则返回1，否则返回0。

2 pfcount

（1）格式
pfcount [key …] 计算HLL的近似基数，可以计算多个HLL，比如用HLL存储每天的UV，计算一周的UV可以使用7天的UV合并计算即可
在这里插入图片描述
（2）实例
在这里插入图片描述

3 pfmerge

（1）格式
pfmerge [sourcekey …] 将一个或多个HLL合并后的结果存储在另一个HLL中，比如每月活跃用户可以使用每天的活跃用户来合并计算可得
在这里插入图片描述
（2）实例
在这里插入图片描述

6.3 Geospatial

6.3.1 简介

Redis 3.2 中增加了对GEO类型的支持。GEO，Geographic，地理信息的缩写。该类型，就是元素的2维坐标，在地图上就是经纬度。redis基于该类型，提供了经纬度设置，查询，范围查询，距离查询，经纬度Hash等常见操作。

6.3.2 命令

1 geoadd

（1）格式
geoadd< longitude> [longitude latitude member…] 添加地理位置（经度，纬度，名称）
在这里插入图片描述

（2）实例
geoadd china:city 121.47 31.23 shanghai
geoadd china:city 106.50 29.53 chongqing 114.05 22.52 shenzhen 116.38 39.90 beijing
在这里插入图片描述
两极无法直接添加，一般会下载城市数据，直接通过 Java 程序一次性导入。
有效的经度从 -180 度到 180 度。有效的纬度从 -85.05112878 度到 85.05112878 度。
当坐标位置超出指定范围时，该命令将会返回一个错误。
已经添加的数据，是无法再次往里面添加的。

2 geopos

（1）格式
geopos [member…] 获得指定地区的坐标值
在这里插入图片描述

（2）实例
在这里插入图片描述

3 geodist

（1）格式
geodist [m|km|ft|mi ] 获取两个位置之间的直线距离
在这里插入图片描述

（2）实例
获取两个位置之间的直线距离
在这里插入图片描述

单位：
m 表示单位为米[默认值]。
km 表示单位为千米。
mi 表示单位为英里。
ft 表示单位为英尺。
如果用户没有显式地指定单位参数， 那么 GEODIST 默认使用米作为单位

4 georadius

（1）格式
georadius< longitude>radius m|km|ft|mi 以给定的经纬度为中心，找出某一半径内的元素
在这里插入图片描述

经度 纬度 距离 单位

（2）实例

在这里插入图片描述

天宇阿
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis数据类型及应用场景
01-07
2、Redis的每个数据类型是处理不同业务场景而诞生，基本数据类型为5种，从redis5.0版发布后新增了Stream数据类型，如下思路图： 3、其中跳表为插入，删除，查询比较快的动态数据结构，跳表是一个值有序的链表建立...
Redis6 系列五 新数据类型
qq_32265203的博客
04-28 509
1.Redis新数据类型 1.1.Bitmaps 1.1.1.简介 现代计算机用二进制（位）作为信息的基础单位，1个字节等于8位，例如“abc”字符串是由3个字节组成，但实际在计算机存储时将其用二进制表示，“abc”分别对应的ASCII码分别是97、98、99，对应的二进制分别是01100001、01100010和01100011，如下图 合理地使用操作位能够有效地提高内存使用率和开...
Redis新数据类型详解（图文结合）
m0_62946761的博客
09-05 7567
Redis新数据类型详解，结合图片，易于理解
基于redis实现活跃用户统计功能
weixin_48843840的博客
12-12 1744
redis的bitmap，以及使用场景
【redis实战】Redis命令之字符串
Angus的博客
05-16 310
字符串 Redis的字符串就是一个由字节组成的序列，在Redis种字符串可以存储3种类型的值：字符串（byte string）、整数、浮点数。 字符串操作 redis拥有对字节串的其中一部分内容进行读取或者写入的操作 命令 用例 描述 注意 append append key value 将值value追加到key对应值的末尾 如果key不存在则默认是空串 getrange g...
【Springboot系列】整合redis+jedis(含源码)
热门推荐
Venus's Blog
05-15 12万+
Spring Boot集成Redis和Jedis客户端使用Redis有以下主要特点:​ 👉简单易用只需要添加相关依赖和简单配置,就可以直接在Spring Boot应用中使用Jedis客户端操作Redis。这大大简化了使用Redis的难度。​ 👉自动配置Spring Boot会根据类路径中的Jedis版本自动配置JedisConnectionFactory。我们只需要注入JedisConnectionFactory即可获取Jedis客户端实例。​ 👉功能丰富通过Jedis或者Lettuce客户端,我们可
Redis 数据类型
12-16
Redis 数据类型是 Redis 内存数据存储的基础，它支持五种主要的数据结构，分别是 String、Hash、List、Set 以及 Sorted Set（ZSet）。每种数据类型都有其独特的特性和用途，下面将详细介绍这些类型。 1. **String...
Redis常用数据类型命令实例汇总
01-19
存储sortedset： 存储：zadd key score menber1 score menber2 … 升序排列：zrange key start end [withscores] 降序排列：zrevrange key start end [withscores] 取得前三名： 按照排名范围删除元素：...
详解Redis 数据类型
09-08
Redis 数据类型是 Redis 存储数据的核心组成部分，它提供了丰富的数据结构，使 Redis 成为了一个功能强大的数据库系统。本文将详细介绍 Redis 支持的五种数据类型：String、Hash、List、Set 和 Zset（Sorted Set）。...
Redis在Jedis中的使用，以及SpringBoot整合Redis
a154555的博客
07-04 1239
Jedis是Redis官方推荐的java连接开发工具，但是现在的SpringBoot2.0以上的版本将Jedis换成Lettuce，但是Jedis还是很好用的，在Jedis中连接使用Redis，和Redis控制台命令完全一致。1、使用idea创建一个meavn项目2、在pom文件中添加依赖(Jedis和fastjson) 3、连接测试，连接的是本地的Redis服务，连接远程需要更改配置文件和关闭防火墙，先打开redis-server.exe，再进行下面的测试。 返回PONG，表示连接成功。4、常用AP
Redis内存优化——Set类型介绍及底层原理详解
Star_Inori的博客
05-09 1653
redis set 底层原理
SpringBoot 集成 Redis
快乐的小三菊的博客
12-23 895
springboot 整合 redis
SpringBoot使用Redis与 Jedis使用Redis
weixin_45067832的博客
02-02 665
一、Redis介绍 Redis是当前比较热门的NOSQL系统之一，它是一个开源的使用ANSI c语言编写的key-value存储系统（区别于MySQL的二维表格的形式存储。）。和Memcache类似，但很大程度补偿了Memcache的不足。和Memcache一样，Redis数据都是缓存在计算机内存中，不同的是，Memcache只能将数据缓存到内存中，无法自动定期写入硬盘，这就表示，一断电或重启，内存清空，数据丢失。所以Memcache的应用场景适用于缓存无需持久化的数据。而Redis不同的是它会周期性的把更
SpringBoot整合Redis，Jedis
双非二本自学到互联网公司的成长经历，有故事，有干货。
11-22 1405
依赖引入 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> 依赖解析 在SpringBoot2.×之后，原来使用的jedis 被替换为了lettuce。 jedis：采用的直连，多个线程操作的话，是不安全的，如果想要避免
Redis02:常用的五大数据类型和配置文件介绍
weixin_51418572的博客
05-08 282
常用的五大数据类型 redis常见数据类型操作命令http://www.redis.cn/commands.html Redis键（key） keys *查看当前库所有key (匹配：keys *1) exists key判断某个key是否存在 type key 查看你的key是什么类型 del key 删除指定的key数据 unlink key 根据value选择非阻塞删除 仅将keys从keyspace元数据中删除，真正的删除会在后续异步操作。就好比它先告诉你这个数据删除了，但其实它还没删
Redis的六大数据类型详细用法（一）
qq_41894786的博客
02-22 137
目录 1、string 数据类型 2、hash 数据类型 3、list 数据类型 4、set 数据类型 5、zset 数据类型 6、Redis5.0新数据结构-stream 7、系统相关命令 8、key 相关命令 我们说 Redis 相对于 Memcache 等其他的缓存产品，有一个比较明显的优势就是 Redis 不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。本篇博客我们就将介绍这些数据类型的详细使用以及顺带介绍Redis系统的相关命令用法
redis set 占多少内存？ bitmap呢？
stevewong的专栏
05-26 4252
背景 判断一个id是否存在，是用redis set好还是用redis bitmap好呢？ （id的个数只有100个的情况下） 一些理论知识 1、在元素比较少的时候，set是不会用hash的结构的，而是使用ziplist的方式存储，判断元素是否存在需要遍历； 2、小的数字(<=9999)是不需要额外的存储空间的，会整个redis共享这些数字； 实践 redis set 每次往set添加一个<=9999的数字，占用的内存增加：2Byte 可以算到，添加到100个id，60+100*2=260 bi
Redis占用内存过高怎么办
分享Java技术知识，共同成长进步！
09-21 5266
目录 前言 案例现象 定位问题 内存回收策略 键过期机制 slave的过期策略 解决问题 前言 我们知道，Redis是一个key-value数据库，它的数据是运行在内存中的 其读写效率比将数据存储到磁盘上的数据库要快很多 虽然性能强大，但是如果我们不了解Redis的内存回收策略，就有可能导致Redis消耗内存过高甚至导致内存溢出，严重影响系统性能 案例现象 发现生产环境上的一台服务器出现内存使用率达到阈值的告警 登上服务器使用 top 命令先看下 系统资源整体使用的情况 top 通过 top
Redis基本数据类型
最新发布
04-01
Redis是一种高性能的键值存储系统，支持多种数据类型。以下是Redis的基本数据类型： 1. 字符串（String）：最基本的数据类型，可以存储任意类型的字符串，包括二进制数据。 2. 列表（List）：有序的字符串列表，可以在列表的两端进行插入和删除操作，支持对列表进行修剪、获取范围等操作。 3. 集合（Set）：无序的字符串集合，不允许重复元素，支持对集合进行交集、并集、差集等操作。 4. 有序集合（Sorted Set）：有序的字符串集合，每个元素都关联一个分数，可以根据分数进行排序，支持按照分数范围获取元素。 5. 哈希表（Hash）：类似于关联数组，可以存储多个键值对，每个键都是唯一的，支持对单个键值对进行增删改查操作。 6. Bitmap：位图数据类型，可以进行位级别的操作，如设置、清除、计数等。 7. HyperLogLog：基数估算算法，用于统计集合中不重复元素的个数。 以上是Redis的基本数据类型，每种数据类型都有相应的命令和操作可以进行数据的存储和查询。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值