辰玮-CSDN博客

原创一般实现分布式锁都有哪些方式？使用 redis 如何设计分布式锁？使用 zk 来设计分布式锁可以吗？这两种分布式锁的实现方式哪种效率比较高？

分布式系统开发中，分布式锁的使用场景还是很常见的基于redis实现分布式锁最简单的方式，直接redissetnx 命令创建一个 key，这样就算加锁执行命令：SET key value NX PX 10000NX：表示只有 key 不存在的时候才会设置成功。（redis 中存在这个 key，那么设置失败，返回 nil） PX 10000：意思是 10s 后锁自动释放。并发的时候发现创建锁已经存在，就不能加锁释放锁就是删除 key ，但是一般可以用 lu...

2020-11-25 11:37:11 180

原创 Spring Session + Redis实现分布式Session共享

Spring Session解决的基本思路很简单，即将用户的session信息全部存放到一个redis数据库中，所有的session都从这个数据库拿。由于redis是一个内存数据库，数据信息读写是非常快速的，共用一个redis数据库，即实现了session的共享问题。

2017-03-14 21:35:39 282

转载 Spring Batch批处理框架

Spring Batch是一个轻量级的，完全面向Spring的批处理框架，可以应用于企业级大量的数据处理系统。Spring Batch以POJO和大家熟知的Spring框架为基础，使开发者更容易的访问和利用企业级服务。Spring Batch可以提供大量的，可重复的数据处理功能，包括日志记录/跟踪，事务管理，作业处理统计工作重新启动、跳过，和资源管理等重要功能。

2017-03-14 21:16:59 2031

原创处理百万级以上的数据查询提高效率的办法

1.应尽量避免在 where 子句中使用!=或 2.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 3.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null 可以在nu

2016-11-25 13:29:42 544

原创分布式系统的事务处理

当我们在生产线上用一台服务器来提供数据服务的时候，我会遇到如下的两个问题：1）一台服务器的性能不足以提供足够的能力服务于所有的网络请求。2）我们总是害怕我们的这台服务器停机，造成服务不可用或是数据丢失。于是我们不得不对我们的服务器进行扩展，加入更多的机器来分担性能上的问题，以及来解决单点故障问题。通常，我们会通过两种手段来扩展我们的数据服务：1）数据分区：就是把数据分块放在不同的服务器上（如：u

2016-08-26 14:16:50 605

原创 Elastic-Job - 分布式定时任务框架

Elastic-Job是ddframe中dd-job的作业模块中分离出来的分布式弹性作业框架。去掉了和dd-job中的监控和ddframe接入规范部分。该项目基于成熟的开源产品Quartz和Zookeeper及其客户端Curator进行二次开发。 ddframe其他模块也有可独立开源的部分，之前当当曾开源过dd-soa的基石模块DubboX。项目开源地址：https://github.com/dangdangdotcom/elastic-job

2016-08-19 11:15:56 1309

原创使用Java写kafka生产者消费者

快速启动步骤1：下载代码下载最近的一个稳定版本。> tar xzf kafka-.tgz> cd kafka-> ./sbt update> ./sbt package步骤2：启动服务器Kafka brokers and consumers use this for co-ordination. bin/zookeeper-server-start.s

2016-07-10 09:11:06 7380

原创 Elastic-JOB

开发指南代码开发作业类型目前提供3种作业类型，分别是Simple, DataFlow和Script。DataFlow类型用于处理数据流，它又提供2种作业类型，分别是ThroughputDataFlow和SequenceDataFlow。需要继承相应的抽象类。Script类型用于处理脚本，可直接使用，无需编码。方法参数shardingContext包含

2016-07-08 21:43:42 9200

dubbo-admin-2.5.4.war dubbo的控制台管理工具

dubbo管理控制台开源部分主要包含：提供者路由规则动态配置访问控制权重调节负载均衡负责人，等管理功能。

2015-10-22

hadoop 大数据

我不是高手，但我可以告诉你我怎么学习。①选择一个Hadoop的版本，然后阅读文档了解Hadoop：What's Hadoop, Why Hadoop exists；②安装Hadoop，三种方式都试下；③在Hadoop文档里面有Hadoop Command的资料，I.hdfs command，II.job command，尽量试试这两方面的命令；④Hadoop Files，看看Hadoop文件的概念，关注它的分布式特点，然后看看Reduce函数输出的文件；⑤自己写WordCount与Advanced WordCount；⑥写HDFS io，这个例子在《Hadoop In Action》里面有，讲得也不错。如copy，sequenceFile等；⑦写Sort程序；⑧写MRBench程序（这个网上有很多例子），了解MRBench是什么；⑨使用RandomTextWriter；10.模仿SequenceFileInputFormat、SequenceFileOutputFormat、SequenceFileRecordReader写自己的；11.yahoo有一个Hadoop的教程，英文版的，里面的内容很好；12.《hadoop权威指南》当参考书，自己实战了

2015-04-03