多线程实现项目初始化完成大规模数据写入redis缓存

最新推荐文章于 2024-08-21 23:44:22 发布
最新推荐文章于 2024-08-21 23:44:22 发布
阅读量4.9w 收藏 12
点赞数
分类专栏： 多线程 文章标签： 多线程实现项目初始化数据写入缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangcongyi420/article/details/87968159
版权
多线程 专栏收录该内容
11 篇文章 594 订阅 ¥9.90 ¥99.00
订阅专栏
本文探讨了在项目初始化时如何高效地将大量数据从MySQL迁移至Redis缓存。通过引入线程池进行数据切分和并发处理，解决了初始化慢和影响用户体验的问题。详细介绍了切分数据、创建线程执行任务以及状态跟踪的方法，并提供了一个简单的实现思路和SpringContextUtil工具类的使用。
摘要由CSDN通过智能技术生成

项目中，经常碰见需要在项目初始化时完成从mysql的数据写入到缓存如redis中的操作，例如ssm架构项目中，需要某个类实现一个initializeBean的接口，在这个类里面完成初始化的操作，将mysql的数据写到redis或其他缓存即可

说起来倒不难，但是真正执行的时候要考虑的问题点却很多，比如说，如果你的数据量是百万级甚至千万级的，单纯是项目初始化这个过程可能就要花费很久，可能你说可以利用异步线程来解决，但如果这样做了，假如项目启动完毕了，用户正在访问，这个时候缓存还没有写完，而访问的接口正好又是特别耗时的，那么这个缓存就没什么卵用了；

有没有解决办法呢？

经过仔细的考虑和探索，发现问题的关注点其实是尽可能缩短项目初始化时候将数据写入到redis的这个操作，这样我们就很自然的联想到了线程池；

但问题又来了，大规模数据通过不同的线程去执行，不同的线程好歹需要知道自己线程要处理的数据吧，也就是我这个线程要处理从哪一条到哪一条的数据呢？这就需要我们对表的数据进行切分，这样不同分片的数据交给不同的线程去做，然后提交给线程池，不就可以完美的解决这个问题吗？

有了这个思路，我们来看看具体的代

了解本专栏 订阅专栏 解锁全文
小码农叔叔
关注
专栏目录
订阅专栏
SpringBoot使用Redis缓存技术
程序员光剑
07-29 1565
随着互联网应用的普及、网站功能越来越复杂、数据量增长速度加快，单个服务器性能不足已经成为一个无法避免的问题。为了应对这个挑战，很多公司开始采用分布式缓存方案，比如Redis。本文将详细介绍如何在Spring Boot项目中集成Redis，并使用它来作为缓存服务。Redis是一个开源的高级键值存储数据库，它支持多种类型的数据结构，如字符串、哈希、列表、集合、有序集合等。它提供内存保护机制，可以有效防止缓存击穿和雪崩效应。如果你的应用程序需要高速缓存访问且对可靠性要求较高，那么Redis就是一个很好的选择。
SpringBoot 使用jedis整合redis实现缓存处理
12程序猿的博客
07-08 665
SpringBoot 使用jedis整合redis： 目录1.添加必要的依赖 pom.xml：2. 在application.properties配置文件中添加 redis的相关配置3.SpringBoot 添加 自定义 redis 配置类4.创建redis工具类5.redis使用实例(以存取为例)： 1.添加必要的依赖 pom.xml： <!-- web支持 --> <dependency> <groupId>org.springframework.boo
项目启动，ioc容器初始化后立即将数据存到redis遇到的问题
qq_40668646的博客
08-18 317
RedisTemplate redisTemplate，则用@Resource注入。RedisTemplate redisTemplate或者。RedisTemplate redisTemplate则用@Autowired注入。1、如何实现ioc容器初始化一完成就将数据存储到redis。利用@postConstruct注解。2、redis的对象在注入时。3、redis序列化的问题。...
Redis单线程和多线程
最新发布
m0_45164511的博客
08-21 1507
此时的socket应该采用非阻塞模式。这样，整个过程只有在调用select、poll、epoll这些调用的时候才会阻塞，收发客户信息是不会阻塞的，整个进程或者线程就被充分利用起来。在目前的单线程Reactor模式中，不仅I/O操作在该Reactor线程上，连非I/O的业务操作也在该线程上进行处理了，这可能会大大延迟I/O请求的响应。是由一个线程完成的，Redis在处理客户端的请求时包括获取（Socket读）、解析、执行、内容返回（Socket写）等都由一个顺序串行的主线程处理，这就是所谓的“单线程”。
大数据电信项目之Redis缓存
wenpan的博客
01-19 645
目录 表设计介绍 为什么使用Redis pom.xml配置文件 代码片段展示 1.从mysql中查询到Telid和dateid,先保存到map集合中 2.向redis中存储电话号码和电话号码的id（date和dateid一样） 整体代码 表设计介绍 在本项目的MapReduce分析阶段之后的自定义outputformat阶段，将分析后的数据写入到MySQL中。在该项目的表设计中，...
spring boot 初始化时缓存初始数据到redis
PzzZ的博客
01-06 1万+
实现InitializingBean接口的afterPropertiesSet方法,当启动时将所有需要缓存的数据缓存到redis中 @Controller @RequestMapping("/test") public class TestController implements InitializingBean { @Autowired RedisService redis
java redis 实现多线程资源复用
春风化雨
01-17 964
1、测试类 package com.redis.resource; import org.assertj.core.util.Lists; import org.junit.jupiter.api.Test; import org.springframework.boot.test.context.SpringBootTest; import org.springframework.data.redis.core.ListOperations; import org.springframework.d
mysql数据多线程写入redis_多线程实现项目初始化完成大规模数据写入redis缓存
weixin_29717341的博客
02-05 529
项目中，经常碰见需要在项目初始化时完成从mysql的数据写入到缓存如redis中的操作，例如ssm架构项目中，需要某个类实现一个initializeBean的接口，在这个类里面完成初始化的操作，将mysql的数据写到redis或其他缓存即可说起来倒不难，但是真正执行的时候要考虑的问题点却很多，比如说，如果你的数据量是百万级甚至千万级的，单纯是项目初始化这个过程可能就要花费很久，可能你说可以利用异步...
Redis 6 中的多线程是如何实现的！？
q66562636的博客
06-30 484
Redis 是一个高性能服务端的典范。它通过多路复用 epoll 来管理海量的用户连接，只使用一个线程来通过事件循环来处理所有用户请求，就可以达到每秒数万 QPS 的处理能力。单线程的 Redis 虽然性能很高，但是却有两个问题。一个问题是没有办法充分发挥现代 CPU 的多核处理能力，一个实例只能使用一个核的能力。二是如果某个用户请求的处理过程卡住一段时间，会导致其它所有的请求都会出现超时的情况。所以，在线上的 redis 使用过程时是明确禁止使用 keys * 等长耗时的操作的。那如何改进呢，思路和方向其
redis的五种数据类型
热门推荐
学Java，找哪吒
05-15 5万+
（1）Redis（Remote Dictionary Server 远程字段服务）是一个开源的使用ANSI C语言编写、支持网络、科技与内存亦可持久化的日志型、key-value数据库，并提供多种语言的API。（2）Redis是一个key-value存储系统，它支持存储的value类型相对更多，包括string、list、set、zset（sorted set --有序集合）和hash。这些数据结构都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。
java 集成 redis以及redis线程池
qq_42559793的博客
06-05 635
java 集成 redis以及redis线程池 redis远程连接需要用到jedis-x.jar、jedis线程池需要引入commons-pool2.x.jar、slf4j-api-x.jar包 1、redis线程池 public class RedisPool { static String redisURL; static Integer redisPORT; static String redisPASS; private static JedisPool jedisPool = null
redis 数据库 缓存 (准备工作）
G.D.Retop的专栏
03-02 553
学习资料： 超强、超详细Redis数据库入门教程 http://m.jb51.net/article/56448.htm
Redis 内存优化神技，小内存保存大数据
m0_67322837的博客
07-28 303
假如我们在判断用户是否登陆的场景中使用Redis的String类型实现（key->userId，value->0表示下线，1-登陆），假如存储100万个用户的登陆状态，如果以字符串的形式存储，就需要存储100万个字符串，内存开销太大。当这些集合中的数据元素数量小于某个值且元素的值占用的字节大小小于某个值的时候，存储的数据会用非常节省内存的方式进行编码，理论上至少节省10倍以上内存（平均节省5倍以上）。...
深入学习 Redis - 如何使用 Redis 作缓存？缓存更新策略？使用需要注意哪些问题（工作/重点）
CYK_byte的博客
09-19 4748
缓存可以理解为，将常用的数据从放到一个访问速度更快的的地方，方便更快的随时读取. 也就是说，速度快的设备，可以作为速度慢的设备的缓存，加快读取速度。
上海沙龙回顾 | Redis 高速缓存在大数据场景中的应用
字节跳动技术团队官方博客
11-08 2377
10月26日，字节跳动技术沙龙| 大数据架构专场在上海字节跳动总部圆满结束。我们邀请到字节跳动数据仓库架构负责人郭俊，Kyligence 大数据研发工程师陶加涛，字节跳动存储工程师徐...
项目启动时,把数据库对应的数据加载到Redis作为缓存
weixin_44321975的博客
08-27 3404
// （把普通pojo实例化到spring容器中，相当于配置文件中的 <bean id="" class=""/>就是当我们的类不属于各种归类的时候（不属于@Controller、@Services等的时候），我们就可以使用@Component来标注这个类。 @Component public class InitParameter implements ApplicationRunner { @Autowired private InitParameterService pa
设置redis最大缓存
浪克oo的博客
08-09 4875
设置最大缓存（内存）有两个好处，一是避免系统资源用尽而崩溃，而是缓存数据太大必然影响效率如内存管理。并且设置了最大缓存，当你要缓存的数据大于最大缓存时，并不会引起OOM，Redis会根据策略方式淘汰掉他认为不会是热点的数据。 设置最大缓存首先进入redis安装目录，运行redis-cli.exe 程序，输入 CONFIG GET *命令获取所有可以设置的项目，...
多线程处理海量数据的解决方案
weixin_30780221的博客
08-01 436
背景： 　　近期发现系统数据有不准确的现象发生，究其原因是因为上有数据导致的，而由于上游有多个渠道组成，所以无法要求上游统一修复数据。所以只能自己想办法每天修复错误数据。 初步解决方案： 　　1，从商城库存那边拿到所有SKU+库存的信息。 　　2，通过拿到的SKU+库存信息，修复现有的数据。 遇到的问题： 　　1，库存那边的数据是以SKU+仓库id+配送中心id为维度，但是我...
项目初始化时初始化 投票候选人数据 至 redis中。
05-31
假设你已经有了待初始化的投票候选人数据，可以按照以下步骤将其初始化至Redis中： 1. 连接Redis 使用redis-py（Python Redis客户端）连接Redis： ...这意味着你已经成功将候选人数据初始化至Redis中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小码农叔叔

谢谢鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值