UlTraMan: A Unified Platform for Big Trajectory Data Management and Analytics

UlTraMan: A Unified Platform for Big Trajectory Data Management and Analytics

汽车和手机等装备了gps的设备正在生成大量的轨迹数据，这些设备越来越多地用于交通、基于位置的服务和城市计算。因此，针对轨迹数据的管理和分析提出了多种方法。然而，传统的系统和方法通常是为非常特定的数据管理或分析需求而设计的，这迫使用户将异构系统组合在一起，以一种低效的方式分析轨迹数据。针对大轨迹数据管理和分析的整体数据管道，我们提出了一个统一的平台，称为奥特曼。为了实现可伸缩性、效率、持久性和灵活性，(i)我们通过无缝集成key-value存储，在数据存储和计算方面扩展了Apache Spark， (ii)我们增强了MapReduce范式，允许基于随机数据访问的灵活优化。我们使用数据检索、聚合分析和模式挖掘的案例研究结果系统的灵活性。大量的真实和合成轨迹数据的实验报告，提供了深入了解的可扩展性和性能。

1.面临的问题

  首先，在实际应用中，轨迹数据的收集速度非常快。

  第二，现有的轨迹数据分析解决方案由数据存储、数据处理和数据分析的异构系统组成。

 最后，在涉及轨迹数据的真实分析场景中，不同的应用需要多种数据格式(如点[12]、段[25])、索引结构(如TB-tree[31]、TPRtree[33])和处理技术(如分割[25]、映射匹配[39])。技术的多样性要求底层系统在两个主要方面是灵活的:(i)可插拔系统组件，这意味着系统应该是可扩展的，以采用新的组件，如索引结构和分析算法;(ii)可定制的处理管道，这意味着系统应该为用户设计特定的数据预处理和分析管道。在体系结构模块和api方面，对灵活性的需求对系统设计提出了挑战。

我们推出了UlTraMan，一个大轨迹数据管理和分析的统一平台。UlTraMan通过采用统一的存储和计算引擎，提出基于MapReduce的增强分布式计算范式，并提供灵活的应用接口，实现了设计目标。UlTraMan的统一引擎是基于目前流行的分布式计算框架Apache Spark[40]构建的。Spark支持高性能分布式计算，但对于大轨迹数据管理来说，它本身并不是最优的，原因是(i)缺乏索引机制，(ii)有限且低效的运行时数据持久性，以及(iii)它对JVM垃圾收集器的巨大压力。因此，UlTraMan将Chronicle Map[7](嵌入式键值存储)集成到Spark的内部块管理器中。实现了高效的数据处理和可靠的数据管理。

   此外，在统一引擎的帮助下，我们增强了MapReduce，使之成为一个更强大、更灵活的分布式计算范式。MapReduce[14]和Spark的RDD[40]采用函数式编程的概念，便于对数据进行顺序操作。相反，许多重要的技术和优化都是基于随机数据访问实现的，比如哈希映射和索引。基于此，我们改进了MapReduce，并将一个名为TrajDataset的抽象集成到奥特曼中。这种抽象允许在局部和全局级别上进行随机访问。在本地级别，在统一引擎提供的新编程接口的帮助下，每个分区中的数据可以被随机访问;在全局级别，数据分区由两种类型的数据泛化显式管理  (i)在驱动节点中维护全局索引，以组织小的部分 (ii)元表分布在executor中，用于管理大型特性。因此，我们提供了与MapReduce兼容的奥特曼计算范式，同时提供了优化技术的可能性。

SYSTEM OVERVIEW

   物理上，UlTraMan采用主从架构，由一个驱动节点和多个工作节点组成。驱动节点负责任务调度，而数据存储和计算则分布在工作节点上。系统架构包括存储层、计算层、操作层和应用层。