Online Anomalous Subtrajectory Detection onRoad Networks with Deep Reinforcement Learning

Online Anomalous Subtrajectory Detection onRoad Networks with Deep Reinforcement Learning（ICDE 2023）

在许多基于位置的应用中，检测异常轨迹已经成为一项重要任务。虽然针对这项任务提出了许多方法，但它们都存在各种问题，包括(1)无法检测异常子轨迹，这些异常子轨迹是轨迹数据中的细粒度异常，和/或(2)非数据驱动，和/或(3)需要足够的监督标签，这些标签的收集成本很高。在本文中，我们提出了一种新的基于强化学习的解决方案RL4OASD，它避免了现有方法的所有上述问题。RL4OASD包括两个网络，一个负责学习道路网络和轨迹的特征，另一个负责根据学习到的特征检测异常子轨迹，这两个网络可以在没有标记数据的情况下迭代训练。在两个真实数据集上进行了大量的实验，结果表明，我们的解决方案可以显著优于最先进的方法(提高20-30%)，并且可以高效地在线检测(处理每个新生成的数据点所需时间小于0.1ms)。

 在数据预处理中，我们对原始轨迹进行地图匹配，将其映射到道路网络上，获得地图匹配的轨迹。在地图匹配轨迹的基础上，基于路段间的历史过渡数据，采用启发式算法计算轨迹中涉及路段的标签。这些带有噪声的标签将以弱监督的方式用于训练RSRNet。

在RSRNet中，我们学习基于交通上下文特征和正常路线特征的路段表示。这些向量形式的表示将被输入到ASDNet中，以定义MDP的状态，用于标记异常子轨迹。

在ASDNet中，我们将标记异常子轨迹的任务建模为MDP，并通过策略梯度方法学习策略[14]。ASDNet输出精炼的路段标签，这些标签进一步用于再次训练RSRNet，然后RSRNet为ASDNet提供更好的观测值，以训练更好的策略。该过程迭代，我们将结合RSRNet和ASDNet的结果算法称为RL4OASD

读者总结：1）这论文的idea创新度一般