Locality-Sensitive Hashing for Earthquake Detection: A Case Study of Scaling Data-Driven Science

本文介绍了一种利用LSH在海量地震数据中进行高相似性搜索的创新应用,通过整合领域知识优化工作流程,实现对多地震台站长时间序列数据的高效分析,显著提升了地震识别效率。该方法在加州代阿布洛峡谷和新西兰等地发现了大量新震例。
摘要由CSDN通过智能技术生成

摘要:在这项工作中,我们报告了局部敏感哈希(LSH)在大规模地震数据中的一种新应用。基于重复发生的地震之间的高波形相似性,我们的应用程序通过LSH搜索相似的时间序列片段来识别潜在的地震。然而,这种基于lsh的应用程序的简单实现难以扩展超过在单个地震台站测量的3个月连续时间序列数据。作为一个数据驱动的科学工作流的案例研究,我们演示了如何将领域知识整合到工作负载中,以提高效率和结果质量。我们描述了从预处理到后处理的分析管道的几个端到端优化,这使得应用程序可以扩展到多个地震台站测量的时间序列数据。我们的优化在端到端分析管道中实现了超过100个加速。这种改进的可扩展性使地震学家能够对十多个地震台站十多年来的连续时间序列数据进行地震分析,并直接使加州代阿布洛峡谷核电站附近发现了597次新地震,新西兰发现了6123次新地震。

PIPELINE OVERVIEW

图2说明了端到端检测管道的三个主要组成部分:指纹提取、相似度搜索和时空对齐

FINGERPRINT EXTRACTION

LSH-BASED SIMILARITY SEARCH

 SPATIOTEMPORAL ALIGNMENT

通过整合领域知识,我们能够显著减少输出的大小,并在相似性搜索结果中优先考虑地震发现。

 

 实验

以下是使用Python实现Locality-sensitive hashing(LSH)算法的示例代码: ```python import numpy as np import hashlib # 生成一些随机数据 data = np.random.rand(1000, 10) # 设置LSH参数 num_tables = 10 num_hashes = 5 hash_size = 10 # 初始化LSH表 tables = [{} for _ in range(num_tables)] hash_funcs = [hashlib.sha1, hashlib.md5, hashlib.sha256, hashlib.blake2s, hashlib.sha3_256] # 建立LSH表 for i in range(num_tables): for j in range(1000): hash_values = [] for k in range(num_hashes): hash_value = hash_funcs[k](data[j].tostring()).hexdigest()[:hash_size] hash_values.append(hash_value) hash_key = ''.join(hash_values) if hash_key not in tables[i]: tables[i][hash_key] = [] tables[i][hash_key].append(j) # 查询近似相似的数据点 query = np.random.rand(10) query_hash_values = [] for k in range(num_hashes): hash_value = hash_funcs[k](query.tostring()).hexdigest()[:hash_size] query_hash_values.append(hash_value) query_hash_key = ''.join(query_hash_values) similar_points = set() for i in range(num_tables): if query_hash_key in tables[i]: similar_points.update(tables[i][query_hash_key]) print(similar_points) ``` 这段代码生成一个大小为1000的随机数据集,并使用LSH算法建立10个LSH表。然后,给定一个查询点,代码计算查询点的哈希值,并在每个LSH表中查找具有相同哈希值的数据点。最后,代码返回所有这些数据点的索引,这些数据点与查询点相似。在实际应用中,可以使用更复杂的哈希函数和更多的LSH表来提高准确性和效率。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值