千万级高并发之Redis集群的一致性Hash算法

现在公司业务慢慢增大，单机的redis缓存已经只撑不住了 ，因此考虑redis集群，然而高并发集群的数据一致性性问题，是一个难以解决的问题，由于缓存数据量很大，Redis快正是快在其基于内存的快速存取。

redis存在的问题，所有的缓存数据是分散存放在各个Redis节点上的，通过客户端实现路由算法，来将某个key路由到某个具体的节点。下面简单的了解下 hash算法

一致性Hash概述

为了能直观的理解一致性hash原理，这里结合一个简单的例子来讲解，假设有4台服务器，地址为ip1,ip2,ip3,ip4。

一致性hash是首先计算四个ip地址对应的hash值hash(ip1),hash(ip2),hash(ip3),hash(ip3)，计算出来的hash值是0~最大正整数直接的一个值，这四个值在一致性hash环上呈现

 

 

算法

一致性hash算法也就是 取模的方法，对服务器的数量进行 取模，一致性hash算法

hash(服务器ip的地址)/2^32

代码分析：

class MyConsistentHash implements ConsistentHash

{

public $serverList = array(); //服务器列列表

public $virtualPos = array(); //虚拟节点的位置

public $virtualPosNum = 5; //每个节点对应5个虚节点

/**

* 将字符串转换成32位无符号整数hash值

* @param $str

* @return int

*/

public function cHash($str)

{

$str = md5($str);

return sprintf('%u', crc32($str));

}

/**

* 在当前的服务器列表中找到合适的服务器存放数据

* @param $key 键名

* @return mixed 返回服务器IP地址

*/

public function lookup($key)

{

$point = $this->cHash($key);//落点的hash值

$finalServer = current($this->virtualPos);//先取圆环上最小的一个节点当成结果

foreach($this->virtualPos as $pos=>$server)

{

if($point <= $pos)

{

$finalServer = $server;

break;

}

}

reset($this->virtualPos);//重置圆环的指针为第一个

return $finalServer;

}

/**

* 添加一台服务器到服务器列表中

* @param $server 服务器IP地址

* @return bool

*/

public function addServer($server)

{

if(!isset($this->serverList[$server]))

{

for($i=0; $i<$this->virtualPosNum; $i++)

{

$pos = $this->cHash($server . '-' . $i);

$this->virtualPos[$pos] = $server;

$this->serverList[$server][] = $pos;

}

ksort($this->virtualPos,SORT_NUMERIC);

}

return TRUE;

}

/**

* 移除一台服务器（循环所有的虚节点，删除值为该服务器地址的虚节点）

* @param $key

* @return bool

*/

public function removeServer($key)

{

if(isset($this->serverList[$key]))

{

//删除对应虚节点

foreach($this->serverList[$key] as $pos)

{

unset($this->virtualPos[$pos]);

}

//删除对应服务器

unset($this->serverList[$key]);

}

return TRUE;

}

}

$hashServer = new MyConsistentHash();

$hashServer->addServer('192.168.1.1');

$hashServer->addServer('192.168.1.2');

$hashServer->addServer('192.168.1.3');

$hashServer->lookup('key1');

$hashServer->lookup('key2');

Hash(object1) = key1；

Hash(object2) = key2；

Hash(object3) = key3；

Hash(object4) = key4；

一致性hash的特性

单调性(Monotonicity)，单调性是指如果已经有一些请求通过哈希分派到了相应的服务器进行处理，又有新的服务器加入到系统中时候，应保证原有的请求可以被映射到原有的或者新的服务器中去，而不会被映射到原来的其它服务器上去。 这个通过上面新增服务器ip5可以证明，新增ip5后，原来被ip1处理的user6现在还是被ip1处理，原来被ip1处理的user5现在被新增的ip5处理。分散性(Spread)：分布式环境中，客户端请求时候可能不知道所有服务器的存在，可能只知道其中一部分服务器，在客户端看来他看到的部分服务器会形成一个完整的hash环。如果多个客户端都把部分服务器作为一个完整hash环，那么可能会导致，同一个用户的请求被路由到不同的服务器进行处理。这种情况显然是应该避免的，因为它不能保证同一个用户的请求落到同一个服务器。所谓分散性是指上述情况发生的严重程度。好的哈希算法应尽量避免尽量降低分散性。 一致性hash具有很低的分散性平衡性(Balance)：平衡性也就是说负载均衡，是指客户端hash后的请求应该能够分散到不同的服务器上去。一致性hash可以做到每个服务器都进行处理请求，但是不能保证每个服务器处理的请求的数量大致相同