海量数据,海明距离高效检索(smlar)

（1）什么是海明距离两个码字的对应比特取值不同的比特数称为这两个码字的海明距离。在一个有效编码集中,任意两个码字的海明距离的最小值称为该编码集的海明距离。举例如下：10101和00110从第一位开始依次有第一位、第四、第五位不同，则海明距离为3。

（2）海明距离的几何意义n位的码字可以用n维空间的超立方体的一个顶点来表示。两个码字之间的海明距离就是超立方体两个顶点之间的一条边，而且是这两个顶点之间的最短距离。

（3）海明距离的应用场景用于编码的检错和纠错经过SimHash算法提取来的指纹（Simhash对长文本500字+比较适用，短文本可能偏差较大，具体需要根据实际场景测试），最后使用海明距离，求相似，在google的论文给出的数据中，64位的签名，在海明距离为3的情况下，可认为两篇文档是相似的或者是重复的，当然这个值只是参考值，针对自己的应用可能又不同的测试取值

到这里相似度问题基本解决，但是按这个思路，在海量数据几百亿的数量下，效率问题还是没有解决的，因为数据是不断添加进来的，不可能每来一条数据，都要和全库的数据做一次比较，按照这种思路，处理速度会越来越慢，线性增长。

针对海量数据的去重效率，我们可以将64位指纹，切分为4份16位的数据块，根据抽屉原理在海明距离为3的情况，如果两个文档相似，那么它必有一个块的数据是相等的。

那么数据库是否支持这种高效率的检索呢？

反正PostgreSQL是支持的，通过黑科技smlar插件。

一、需求

二、架构设计

在PostgreSQL中，从海量数据中，搜索海明距离小于N的数据，有多种设计手段。每种方法的能耗比都不一样，读者可以按需选择。

1 暴力计算

1、单机多核并行计算，暴力扫描。采用阿里云RDS PostgreSQL 10提供的多核并行能力，暴力扫描。2、多机多核并行计算，暴力扫描。采用阿里云HybridDB for PostgreSQL提供的多级并行计算能力，暴力扫描。3、利用GPU、FPGA加速暴力运算。PostgreSQL提供了扩展接口，可以利用GPU，FPGA的能力对数据进行计算。4、利用CPU向量计算指令，暴力计算。PostgreSQL提供了扩展接口，可以利用CPU向量计算指令的能力加速计算。

2 索引

索引是高效的做法，例如PostgreSQL smlar插件，在阿里的导购平台就有使用，用于实时导购文的海量相似度查询。如果要让smlar加速海明距离的搜索，需要采用更科学的方法，比如切片。直接使用位置，会有问题，因为smlar的第一道工序是块级收敛，而海明码是bit64的编码，在一个数据块中，有若干条记录，任何位置都可能同时出现0和1，任何数据块都包含0和1，因此无法完成第一道过滤。我们可以采用切片，减少这种可能性。例如每2个BIT一片，或者每4个BIT一片，或者更多。通常海明距离大于3的，就没有什么相关性了。

三、DEMO与性能

1 暴力计算1、全扫，并行扫描创建测试表

四、技术点

1、阿里云RDS PostgreSQL smlar插件，使用GIN索引，块级收敛，二重过滤。0.2毫秒的响应速度，1000万数据中，检索海明距离2以内的记录。

2、阿里云RDS PostgreSQL 10，使用多核并行，暴力扫描，1000万数据，检索海明距离为N以内的数据，约450毫秒。

3、阿里云HybridDB for PostgreSQL，使用多机并行，横向扩展计算能力，也可以做到暴力扫描。根据实际的节点数计算查询效率。

五、云端产品

阿里云 RDS PostgreSQL：https://www.aliyun.com/product/rds/postgresql

阿里云 HybridDB for PostgreSQL：https://www.aliyun.com/product/gpdb

六、类似场景、案例

《电商内容去重\内容筛选应用(实时识别转载\盗图\侵权?) - 文本、图片集、商品集、数组相似判定的优化和索引技术》：https://github.com/digoal/blog/blob/master/201701/20170112_02.md

《基于 阿里云 RDS PostgreSQL 打造实时用户画像推荐系统》:https://github.com/digoal/blog/blob/master/201610/20161021_01.md

七、小结

采用阿里云RDS PostgreSQL的SMLAR插件，对千万量级的simhash数据检索相似文本，（更多数据量的测试后续提供，响应速度应该在毫秒级），相比没有索引的情况，性能从23秒提升到了0.2毫秒。提升了11.48万倍。