LISA: A Learned Index Structure for Spatial Data

摘要:在空间查询处理中,目前流行的索引r树可能会造成较大的存储消耗和IO成本。受最近学习的索引[17]用机器学习模型取代b树的启发,我们研究了一个空间数据的类比问题。我们提出了一种新的空间数据学习索引结构(LISA)。其核心思想是使用机器学习模型,通过几个步骤,为任意空间数据集在磁盘页面中生成可搜索的数据布局。具体来说,LISA包含一个映射函数(将空间键(点)映射到一维映射值)、一个学习分片预测函数(将映射空间划分到分片)和一系列本地模型(将分片组织到页面)。在LISA的基础上,设计了一个范围查询算法,并通过格回归模型将KNN查询转换为范围查询。算法也为LISA设计来处理数据更新。大量的实验表明,在查询的存储消耗和IO成本方面,LISA明显优于R-tree和其他替代方法。此外,LISA可以高效地处理数据的插入和删除。

背景:

1)最近递归模型索引(RMI)取代了b -树索引1维数据,RMI由许多分阶段进入层次结构的机器学习模型组成。RMI的想法在空间数据的背景下是行不通的。首先,空间数据使RMI所要求的一维数据假设失效。

2)最近的z阶模型(ZM)[29]结合了z阶空间填充曲线[25]和RMI来索引空间数据。然而,它需要检查许多不相关的键范围查询和不支持KNN查询或数据更新。

方法:

它的核心思想是使用机器学习模型,通过几个精心设计的步骤,为任意空间数据集在磁盘页面中生成可搜索的数据布局。它采用了一种简单而有效的策略,即根据数据沿一系列轴的分布情况将空间划分为一系列网格单元,并沿这些轴对单元进行编号。LISA根据cell的边界构造一个部分单调函数M,将D维空间的数据映射到一维中。根据键的映射值,LISA学习由一系列分段线性函数组成的单调函数SP,为每个映射值分配一个shard id。通过调优SP的参数,每个分片包含相似数量的键。通过构建一个本地模型来管理每个分片的键,属于同一个分片的键存储在一个或多个连续的磁盘页面中,两个具有不同分片id的键存储在两个不同的页面中。通常,本地模型负责分配页面以存储键,并拆分或合并页面以更新数据。因此,我们的LISA也能够处理数据更新,包括插入和删除。与RMI[17]首先修复数据布局,然后学习模型来近似布局不同,LISA使用学习的模型来生成数据布局(分片)。

框架:

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
告知:需要学习YOLOv4进行TT100K数据集上中国交通标志识别的学员请前往(1) Ubuntu系统《YOLOv4目标检测实战:中国交通标志识别》课程链接:https://edu.csdn.net/course/detail/29362(2)《Windows版YOLOv4目标检测实战:中国交通标志识别》课程链接:https://edu.csdn.net/course/detail/29363在无人驾驶中,交通标志识别是一项重要的任务。本课程中的项目以美国交通标志数据集LISA为训练对象,采用YOLOv3目标检测方法实现实时交通标志识别。具体项目过程包括包括:安装Darknet、下载LISA交通标志数据集、数据集格式转换、修改配置文件、训练LISA数据集、测试训练出的网络模型、性能统计(mAP计算和画出PR曲线)和先验框聚类。YOLOv3基于深度学习,可以实时地进行端到端的目标检测,以速度快见长。本课程将手把手地教大家使用YOLOv3实现交通标志的多目标检测。本课程的YOLOv3使用Darknet,在Ubuntu系统上做项目演示。 Darknet是使用C语言实现的轻型开源深度学习框架,依赖少,可移植性好,值得深入学习和探究。除本课程《YOLOv3目标检测实战:交通标志识别》外,本人推出了有关YOLOv3目标检测的系列课程,请持续关注该系列的其它课程视频,包括:《YOLOv3目标检测实战:训练自己的数据集》《YOLOv3目标检测:原理与源码解析》《YOLOv3目标检测:网络模型改进方法》另一门课程《YOLOv3目标检测实战:训练自己的数据集》主要是介绍如何训练自己标注的数据集。而本课程的区别主要在于学习对已标注数据集的格式转换,即把LISA数据集从csv格式转换成YOLOv3所需要的PASCAL VOC格式和YOLO格式。本课程提供数据集格式转换的Python代码。请大家关注以上课程,并选择学习。下图是使用YOLOv3进行交通标志识别的测试结果

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值