- 博客(57)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 高可用Redis服务架构分析与搭建
作者：HorstXu来源：https://www.cnblogs.com/xuning基于内存的Redis应该是目前各种Web开发业务中最为常用的Key-Value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较MySQL而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互...
2019-01-13 22:42:26
151
转载 HTTP的长连接和短连接
1. HTTP协议与TCP/IP协议的关系HTTP的长连接和短连接本质上是TCP长连接和短连接。HTTP属于应用层协议，在传输层使用TCP协议，在网络层使用IP协议。 IP协议主要解决网络路由和寻址问题，TCP协议主要解决如何在IP层之上可靠地传递数据包，使得网络上接收端收到发送端所发出的所有包，并且顺序与发送顺序一致。TCP协议是可靠的、面向连接的。2. 如何理解HTTP协议是无状态的...
2019-01-13 00:06:42
766
1
转载 并发编程中的ABA问题
什么是ABA问题转发地址：http://www.lantaozi.com/article/521b199f0ff2456b5b000001 ABA并不是一个缩写，更像是一个形象的描述。ABA问题出现在多线程或多进程计算环境中。该问题Wiki上有详细的介绍，本文将进行更通俗的演绎该问题。首先描述ABA。假设两个线程T1和T2访问同一个变量V，当T1访问变量V时，读取到V的值为A；此时...
2019-01-12 23:49:10
1710
1
转载 JVM性能调优
1、JVM调优目标：使用较小的内存占用来获得较高的吞吐量或者较低的延迟。程序在上线前的测试或运行中有时会出现一些大大小小的JVM问题，比如cpu load过高、请求延迟、tps降低等，甚至出现内存泄漏（每次垃圾收集使用的时间越来越长，垃圾收集频率越来越高，每次垃圾收集清理掉的垃圾数据越来越少）、内存溢出导致系统崩溃，因此需要对JVM进行调优，使得程序在正常运行的前提下，获得更高的用户体验和运行...
2019-01-02 22:52:08
165
转载 分布式之数据库和缓存双写一致性方案解析（双删延时+异步消息）
作者：孤独烟出处：http://rjzheng.cnblogs.com一、为什么写这篇文章？首先，缓存由于其高并发和高性能的特性，已经在项目中被广泛使用。在读取缓存方面，大家没啥疑问，都是按照下图的流程来进行业务操作：但是在更新缓存方面，对于更新完数据库，是更新缓存呢，还是删除缓存？又或者是先删除缓存，再更新数据库？其实大家存在很大的争议。目前没有一篇全面的博客，对这几种方案进行解析...
2018-12-31 23:17:34
28297
27
转载 单点登录终极方案之 CAS 应用及原理
Cookie的单点登录的实现方式很简单，但是也问题颇多。例如：用户名密码不停传送，增加了被盗号的可能。另外，不能跨域！ 1、基于Cookie的单点登录的回顾基于Cookie的单点登录核心原理：将用户名密码加密之后存于Cookie中，之后访问网站时在过滤器（filter）中校验用户权限，如果没有权限则从Cookie中取出用户名密码进行登录，让用户从某种意义上觉得只登录了一次。该方...
2018-12-31 19:39:43
212
转载 七大查找算法
查找是在大量的信息中寻找一个特定的信息元素，在计算机应用中，查找是常用的基本运算，例如编译程序中符号表的查找。本文简单概括性的介绍了常见的七种查找算法，说是七种，其实二分查找、插值查找以及斐波那契查找都可以归为一类——插值查找。插值查找和斐波那契查找是在二分查找的基础上的优化查找算法。树表查找和哈希查找会在后续的博文中进行详细介绍。 查找定义：根据给定的某个值，在查找表中确定一个其关键字等于
2017-12-05 22:36:27
1134
1
转载 八大排序算法
概述排序有内部排序和外部排序，内部排序是数据记录在内存中进行排序，而外部排序是因排序的数据很大，一次不能容纳全部的排序记录，在排序过程中需要访问外存。我们这里说说八大排序就是内部排序。 当n较大，则应采用时间复杂度为O(nlog2n)的排序方法：快速排序、堆排序或归并排序序。 快速排序：是目前基于比较的内部排序中被认为是最好的方法，
2017-12-05 22:29:06
209
转载 各大公司Java后端开发面试题总结
ThreadLocal(线程变量副本) Synchronized实现内存共享，ThreadLocal为每个线程维护一个本地变量。 采用空间换时间，它用于线程间的数据隔离，为每一个使用该变量的线程提供一个副本，每个线程都可以独立地改变自己的副本，而不会和其他线程的副本冲突。 ThreadLocal类中维护一个Map，用于存储每一个线程的变量副本，Map中元素的键为线程对象，而值为对应线程
2017-10-26 08:47:19
336
转载 ESI 动态缓存技术
任何一个Web网站的内容都是在不断更新和变化，但这并不意味这这个网站的内容就是动态内容，事实上，动态的内容是指用户每次点击 相同的链接时取的的内容是由Web服务器应用程序生成的，如常见得ASP，JSP等，与此相对应，静态内容一般就是指由文本、图像和多媒体组成，在用户每 次单击相应链接时基本保持不变。现在解决动态内容缓存的最新技术就是通过ESI技术来设计网站的内容。 ESI技术工作原理
2017-09-04 08:53:04
398
原创 java类初始化顺序
我们大家都知道，对于静态变量、静态初始化块、变量、初始化块、构造器，它们的初始化顺序依次是（静态变量、静态初始化块）>（变量、初始化块）>构造器。我们也可以通过下面的测试代码来验证这一点： Java代码 public class InitialOrderTest { // 静态变量 public static String
2017-08-25 20:54:58
238
原创 Java并发编程之CAS
CAS（Compare and swap）比较和替换是设计并发算法时用到的一种技术。简单来说，比较和替换是使用一个期望值和一个变量的当前值进行比较，如果当前变量的值与我们期望的值相等，就使用一个新值替换当前变量的值。这听起来可能有一点复杂但是实际上你理解之后发现很简单，接下来，让我们跟深入的了解一下这项技术。CAS的使用场景在程序和算法中一个经常出现的模式就是“check an
2017-08-24 08:34:37
211
转载 使用消息队列实现分布式事务
消息队列实现分布式事务前阵子从支付宝转账1万块钱到余额宝，这是日常生活的一件普通小事，但作为互联网研发人员的职业病，我就思考支付宝扣除1万之后，如果系统挂掉怎么办，这时余额宝账户并没有增加1万，数据就会出现不一致状况了。上述场景在各个类型的系统中都能找到相似影子，比如在电商系统中，当有用户下单后，除了在订单表插入一条记录外，对应商品表的这个商品数量必须减1吧，怎么保证？！在搜索广告
2017-05-02 22:36:42
413
转载 Java集合面试
HashMap的工作原理是近年来常见的Java面试题。几乎每个Java程序员都知道HashMap，都知道哪里要用HashMap，知道Hashtable和HashMap之间的区别，那么为何这道面试题如此特殊呢？是因为这道题考察的深度很深。这题经常出现在高级或中高级面试中。投资银行更喜欢问这个问题，甚至会要求你实现HashMap来考察你的编程能力。ConcurrentHashMap和其它同步集合的引入
2017-05-01 10:43:52
462
转载 源码解析-集合-ConcurrentHashMap
集合是编程中最常用的数据结构。而谈到并发，几乎总是离不开集合这类高级数据结构的支持。比如两个线程需要同时访问一个中间临界区（Queue），比如常会用缓存作为外部文件的副本（HashMap）。这篇文章主要分析jdk1.5的3种并发集合类型（concurrent，copyonright，queue）中的ConcurrentHashMap，让我们从原理上细致的了解它们，能够让我们在深度项目开发中获益非浅
2017-05-01 10:42:48
242
转载 源码解析-集合-Arrays
一、Arrays.sort()数组排序Java Arrays中提供了对所有类型的排序。其中主要分为Primitive(8种基本类型)和Object两大类。 基本类型：采用调优的快速排序； 对象类型：采用改进的归并排序。 1、对于基本类型源码分析如下（以int[]为例）： Java对Primitive（int，float等原型数据）数组采用快速排
2017-05-01 10:41:51
280
转载 源码解析-集合-LinkedList
一、源码解析 1、 LinkedList类定义。 public class LinkedList extends AbstractSequentialList implements List, Deque, Cloneable, java.io.Serializable LinkedList 是一个继承于AbstractSequ
2017-05-01 10:40:49
219
转载 源码解析-集合-HashSet
一、 HashSet概述： HashSet实现Set接口，由哈希表（实际上是一个HashMap实例）支持。它不保证set 的迭代顺序；特别是它不保证该顺序恒久不变。此类允许使用null元素。 二、 HashSet的实现： 对于HashSet而言，它是基于HashMap实现的，HashSet底层使用HashMap来保存所有元素，因此HashSet 的实现比
2017-05-01 10:39:47
217
转载 源码解析-集合-ArrayList
一、 ArrayList概述： ArrayList是基于数组实现的，是一个动态数组，其容量能自动增长，类似于C语言中的动态申请内存，动态增长内存。 ArrayList不是线程安全的，只能用在单线程环境下，多线程环境下可以考虑用Collections.synchronizedList(List l)函数返回一个线程安全的ArrayList类，也可以使用concurr
2017-05-01 10:38:25
245
转载 Java线程Dump分析工具 - jstack
jstack用于打印出给定的java进程ID或core file或远程调试服务的Java堆栈信息，如果是在64位机器上，需要指定选项"-J-d64"，Windows的jstack使用方式只支持以下的这种方式： jstack [-l][F] pid 如果java程序崩溃生成core文件，jstack工具可以用来获得core文件的java stack和native stack的
2017-05-01 10:13:54
365
转载 jstack和线程dump分析
一：jstackjstack命令的语法格式： jstack 。可以用jps查看java进程id。这里要注意的是：1. 不同的 JAVA虚机的线程 DUMP的创建方法和文件格式是不一样的，不同的 JVM版本， dump信息也有差别。本文中，只以 SUN的 hotspot JVM 5.0_06 为例。2. 在实际运行中，往往一次 dump的信息，还不足以确认问题。建议产生三次 dum
2017-05-01 10:12:49
180
转载 Web安全漏洞及解决办法
Web 安全问题，很多时候会被程序员所忽略，因为他们相信会有专业的运维人员或者安全服务团队帮助他们寻找漏洞，并且指导他们修改这些漏洞。而对于小公司，没有这样专业的人员又怎么办呢？安全漏洞造成了很多不必要的维护和开发任务，产生的问题有时候更是致命的。实际上，只要程序员养成一些习惯，知道一些安全问题的基本原理，可以很大程度避免问题的出现，这也是一个优秀 Web 程序员的必备素质。本文用实际的 JS
2017-05-01 09:58:17
1113
转载 源码解析-集合-HashMap
一、HashMap概述 HashMap基于哈希表的 Map 接口的实现。此实现提供所有可选的映射操作，并允许使用 null 值和 null 键。（除了不同步和允许使用 null 之外，HashMap 类与 Hashtable 大致相同。）此类不保证映射的顺序，特别是它不保证该顺序恒久不变。 值得注意的是HashMap不是线程安全的，如果想要线程安全的HashMap，可以通过Co
2017-05-01 09:13:28
265
转载 多线程之指令重排序
一、为什么会乱序现在的CPU一般采用流水线来执行指令。一个指令的执行被分成：取指、译码、访存、执行、写回、等若干个阶段。然后，多条指令可以同时存在于流水线中，同时被执行。指令流水线并不是串行的，并不会因为一个耗时很长的指令在“执行”阶段呆很长时间，而导致后续的指令都卡在“执行”之前的阶段上。相反，流水线是并行的，多个指令可以同时处于同一个阶段，只要CPU内部相应的处理部件未被占
2017-05-01 08:42:40
818
转载 分布式Session存储方案
前言 本文主要探讨集群后不同Web服务器获取Session数据的问题解决方案。1. Session Stick Session Stick 方案即将客户端的每次请求都转发至同一台服务器，这就需要负载均衡器能够根据每次请求的会话标识（SessionId）来进行请求转发，如下图所示。 这种方案实现比较简单，对于Web服务器来说和单机的情况一样。但是可能会带来如下问题：
2017-04-29 23:49:36
431
转载 集群、分布式环境下5种session处理策略
在搭建完集群环境后，不得不考虑的一个问题就是用户访问产生的session如何处理。如果不做任何处理的话，用户将出现频繁登录的现象，比如集群中存在A、B两台服务器，用户在第一次访问网站时，Nginx通过其负载均衡机制将用户请求转发到A服务器，这时A服务器就会给用户创建一个Session。当用户第二次发送请求时，Nginx将其负载均衡到B服务器，而这时候B服务器并不存在Session，所以就会将用户踢
2017-04-29 23:47:22
319
转载 亿级Web系统搭建——单机到分布式集群
当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我们会遇到很多的问题。为了解决这些性能压力带来问题，我们需要在Web系统架构层面搭建多个层次的缓存机制。在不同的压力阶段，我们会遇到不同的问题，通过搭建不同的服务和架构来解决。 Web负载均衡 Web负载均衡（Load Balancing），简单地说就是给我
2017-04-29 23:37:30
191
转载 分布式架构的演进过程
系统架构演化历程-初始阶段架构初始阶段 的小型系统 应用程序、数据库、文件等所有的资源都在一台服务器上通俗称为LAMP特征：应用程序、数据库、文件等所有的资源都在一台服务器上。描述：通常服务器操作系统使用Linux，应用程序使用PHP开发，然后部署在Apache上，数据库使用MySQL，汇集各种免费开源软件以及一台廉价服务器就可以开始系统的发展之路了。
2017-04-29 23:36:38
251
转载 Redis与Memcached的区别（二）
Redis的作者Salvatore Sanfilippo曾经对这两种基于内存的数据存储系统进行过比较：Redis支持服务器端的数据操作：Redis相比Memcached来说，拥有更多的数据结构和并支持更丰富的数据操作，通常在Memcached里，你需要将数据拿到客户端来进行类似的修改再set回去。这大大增加了网络IO的次数和数据体积。在Redis中，这些复杂的操作通常和一般的GET/SET
2017-04-29 23:23:19
276
转载 Redis与Memcached的区别（一）
传统MySQL+ Memcached架构遇到的问题 实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题： 1.MySQL需要不断进行拆库拆表，Memcached也需不断跟着扩容，扩容和维护工作占据大量开发时间。 2.Mem
2017-04-29 23:19:49
421
转载 memcached-5-memcached的应用和兼容程序
到上次为止， 我们介绍了与memcached直接相关的话题，本次介绍一些mixi的案例和 实际应用上的话题，并介绍一些与memcached兼容的程序。mixi案例研究mixi在提供服务的初期阶段就使用了memcached。 随着网站访问量的急剧增加，单纯为数据库添加slave已无法满足需要，因此引入了memcached。 此外，我们也从增加可扩展性的方面进行了验证，证明了memca
2017-04-29 23:15:23
230
转载 memcached-4-memcached的分布式算法
memcached的分布式正如第1次中介绍的那样， memcached虽然称为“分布式”缓存服务器，但服务器端并没有“分布式”功能。 服务器端仅包括 第2次、 第3次 前坂介绍的内存存储功能，其实现非常简单。 至于memcached的分布式，则是完全由客户端程序库实现的。 这种分布式是memcached的最大特点。memcached的分布式是什么意思？这里多次使用了“分
2017-04-29 23:13:58
181
转载 memcached-3-memcached的删除机制和发展方向
memcached是缓存，所以数据不会永久保存在服务器上，这是向系统中引入memcached的前提。 本次介绍memcached的数据删除机制，以及memcached的最新发展方向——二进制协议（Binary Protocol） 和外部引擎支持。memcached在数据删除方面有效利用资源数据不会真正从memcached中消失上次介绍过， memcached不会释放已分配的
2017-04-29 23:12:34
215
转载 memcached-2-理解memcached的内存存储
Slab Allocation机制：整理内存以便重复使用最近的memcached默认情况下采用了名为Slab Allocator的机制分配、管理内存。 在该机制出现以前，内存的分配是通过对所有记录简单地进行malloc和free来进行的。 但是，这种方式会导致内存碎片，加重操作系统内存管理器的负担，最坏的情况下， 会导致操作系统比memcached进程本身还慢。Slab Allocator
2017-04-29 23:09:52
175
转载 memcached-1-memcached的基础
memcached是什么？memcached 是以LiveJournal 旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。现在已成为 mixi、 hatena、 Facebook、 Vox、LiveJournal等众多服务中 提高Web应用扩展性的重要因素。许多Web应用都将数据保存到RDBMS中，应用服务器从中读取数据并在
2017-04-29 22:52:14
191
原创 可重入锁和不可重入锁
一、锁的简单应用用lock来保证原子性（this.count++这段代码称为临界区）什么是原子性，就是不可分，从头执行到尾，不能被其他线程同时执行。可通过CAS来实现原子操作CAS(Compare and Swap):CAS操作需要输入两个数值，一个旧值（期望操作前的值）和一个新值，在操作期间先比较下旧值有没有发生变化，如果没有发生变化，才交换成新值，发生了变化则不交换。
2017-04-28 15:02:30
1100
转载 volatile深入分析( 什么时候使用volatile）
volatile 变量提供了线程的可见性，并不能保证线程安全性和原子性。什么是线程的可见性：锁提供了两种主要特性：互斥（mutual exclusion） 和可见性（visibility）。互斥即一次只允许一个线程持有某个特定的锁，因此可使用该特性实现对共享数据的协调访问协议，这样，一次就只有一个线程能够使用该共享数据。可见性要更加复杂一些，它必须确保释
2017-04-28 14:51:46
843
转载 Java序列化的几种方式
一.Java序列化的作用 有的时候我们想要把一个Java对象变成字节流的形式传出去，有的时候我们想要从一个字节流中恢复一个Java对象。例如，有的时候我们想要把一个Java对象写入到硬盘或者传输到网路上面的其它计算机，这时我们就需要自己去通过java把相应的对象写成转换成字节流。对于这种通用的操作，我们为什么不使用统一的格式呢？没错，这里就出现了java的序列化的概念。
2017-04-28 11:23:06
1097
转载 TCP/IP三次握手与四次挥手
一、TCP报文格式 TCP/IP协议的详细信息参看《TCP/IP协议详解》三卷本。下面是TCP报文格式图：图1 TCP报文格式 上图中有几个字段需要重点介绍下： （1）序号：Seq序号，占32位，用来标识从TCP源端向目的端发送的字节流，发起方发送数据时对此进行标记。 （2）确认序号：Ack序号，占32位，只有AC
2017-04-28 10:09:01
584
转载 分布式系统事务一致性解决方案
开篇在OLTP系统领域，我们在很多业务场景下都会面临事务一致性方面的需求，例如最经典的Bob给Smith转账的案例。传统的企业开发，系统往往是以单体应用形式存在的，也没有横跨多个数据库。我们通常只需借助开发平台中特有数据访问技术和框架（例如Spring、JDBC、ADO.NET），结合关系型数据库自带的事务管理机制来实现事务性的需求。关系型数据库通常具有ACID特性：原子性（Atomici
2017-04-28 08:59:15
370
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人