Multimodal Fusion of Satellite Images and Crowdsourced GPS Traces for Robust Road Attribute Detectio

近年来，自动推断缺失的道路属性(如道路类型、限速等)以丰富数字地图信息得到了广泛的研究关注。许多基于机器学习的方法已被提出用于从GPS轨迹、行车记录仪视频或卫星图像中检测道路属性。然而，现有的解决方案大多专注于单一模态，没有考虑多个数据源之间的相关性。为了弥补这一不足，本文提出了一种多模态道路属性检测方法，通过对众包GPS轨迹信息与卫星图像进行像素级融合，提高了算法的鲁棒性。GPS轨迹通常由位置、方位和速度序列给出。为了与卫星图像在空间上进行匹配，将GPS轨迹绘制成一组多通道图像序列，同时捕捉每个像素处GPS点的全局分布、车辆行驶方向和速度的局部分布及其随时间的变化。与以往基于GPS的道路特征提取方法不同，本文提出的GPS绘制方法在数据预处理阶段不需要进行地图匹配。此外，我们的多模态解决方案通过学习不同数据源之间的像素级对应关系，解决了卫星图像中的遮挡和GPS轨迹数据稀疏等单模态挑战。在新加坡和雅加达的两个真实数据集上进行了大量的实验。与已有工作相比，该方法能够大幅度提高道路属性的检测精度。