小蚂蚁与大象

原创 Fredformer: Frequency Debiased Transformer for Time SeriesForecasting

大量的实验表明，我们提出的方法的有效性，在不同的真实世界时间序列数据集中，该方法可以优于其他基线。总结 ：这篇论文是挺有意思的 发现了频率上的这个特点，但是整个论文没有数学上的详细论证和保证，结论的发现更多是从实验观察而来，采用的两个消去偏差的方法，在理论上没有看出合理性。从具体的方法上说，利用Transformer模型，在加上基于patch的处理方法，得到的效果确实比sota效果好，但是在实验部分，没有看到模型训练的时间差异。然而，在一些复杂的场景中，它往往会学习数据中的低频特征，

原创 A Survey of Learned Indexes for the Multi-dimensional Space

这个图就详细的说明了当前算法解决学习索引不同场景的分类，尤其是b)是当前算法中主流采用的方法来解决新数据插入，模型重新练训练的问题，即为array gap， 或者缓冲区方法，但是这些方法对高速的流数据不适应，并且也会消耗存储，但是这些方法也尽可能得降低存储空间，这也是综述指出的未来研究方向之一。该综述是多维学习索引，分类很详细，主要对每个分类中典型论文进行了简要的解读，但是还是要看经典原文，因此本文就对综述中重要的内容进行总结，尤其是未来的工作，很有借鉴意义，其他部分跳过，直接引用原文。

原创 Multiple Time Series Forecasting with Dynamic Graph Modeling

具体来说，DCRNN [23]有一个静态关系图，它是由位置之间的距离构造的。其基本思想是，我们使用一个存储单元来记录所有历史中多个时间序列中出现的相关性，即包括早于此时间窗口的时间戳 [T −p + 1，T]，这有助于预测未来时间窗口的关系图 [T + 1，T + q]，因为很久以前发生的相关性可能会在未来再次出现。总结：这篇论文的问题挺有意思，很针对多元时间序列图建模的问题，在算法设计上面也很有新颖，尤其是推理网络，但是从实验的效果上看，和sota结果的差距不是很大，没有得到一个很大提升效果。

原创 Weakly Guided Adaptation for Robust Time Series Forecasting

图1（a）具有独立且相关的异常值。独立异常值是在某个时间点出现在单个时间序列中的异常值，而相关异常值是在一个时间点出现在多个时间序列中的异常值。在实际场景中，样本有限的时间模式，例如，由假期、人类行为或其他可预测但不常见的事件产生，可能类似于异常值;见图1（b）这种相似性可能导致预测模型将由于常规事件而导致的时间动态误认为是异常值，从而导致模型忽略不常见但重要的时间特征。此外，现有的稳健预测模型将某些突然但正常的变化（例如，由假期引起的变化）视为异常值，因为它们不经常发生，并且具有类似于异常值的数据分布。

原创 Sim-Piece: Highly Accurate Piecewise Linear Approximation through Similar Segment Merging

图1显示了四种PLA方法的压缩比，它们具有信号范围(定义为最大值和最小值之间的差值)的两个误差阈值，适度的一个等于5%，严格的一个等于0.5%。我们的实验评估表明，我们的方法很容易优于竞争技术，获得的压缩比平均比PLA算法可以提供的压缩比提高两倍以上。由于越来越需要分析不同领域的大量时间序列数据，这个问题最近受到了极大的关注，最近出现的PLA算法确实帮助我们处理了大量的信息，我们方法的上述优点显著提高了存储时间序列数据的效率，同时允许在其值的表示中有一个很小的最大误差。但代价是一些精度损失。

原创 TERI: An Effective Framework for Trajectory Recovery with Irregular Time Intervals

我们提出了一个新的框架，称为TERI，在两个阶段的过程中解决没有先验信息的轨迹恢复问题，其中首先检测恢复位置，然后输入缺失的数据点。接下来，给定检测阶段的结果，我们将相应数量的占位符插入到原始轨迹中，并执行imputation，将它们替换为预测的位置，作为最终的恢复结果(恢复阶段)。对于给定的轨迹𝑇，我们应用数据增强来生成两个轨迹变量，表示为𝑇´和𝑇´，作为𝑇的两个视图。与图像中使用的数据增强操作类似，轨迹数据增强的思想旨在生成具有额外变化的给定轨迹的替代视图，同时保留语义特征(即相同的底层路线)。

原创 Akane: Perplexity-Guided Time Series Data Cleaning

尽管图4所示的一年内的变化方式表现相似，并且可能是反复出现的模式，但由于每年乘客数量的增长，不同的基础值使得它们的值变化很大。我们的概率计算阶段，因为这样的模式将被单独计算。总结 从实验结果和解释看出来，该算法在短周期和稀疏周期的捕获能力一般，甚至对非平稳数据的清洗能力也值得考虑，因此对高频率短波数据的效率可能也一般（文中没有这类数据的比较）简单总结：1解决的问题是时间序列数据清理算法中面临的脏数据识别和清理问题，2主要采用了序列模式方法，并引入复杂度的方法，基于这种复杂度，设计算法来使得该复杂度最小。

原创 CIVET: Exploring Compact Index for Variable-LengthSubsequence Matching on Time Series

1)处理不等长序列：文中考虑的是统一缩放（uniform scale)， 即将查询序列缩放成和被查询序列等长的序列，然后进行后续处理。2） 序列摘要：文中提出了一种Uniform PAA，这是一种PAA的变体，核心想法是将原来的PAA中固定段长，变成只固定段数，这样能够实现在不同情况下的动态分段，然后使用均值等统计特征表示该段。但是论文中没有提到这些子序列怎么投影到二维空间中，它的分布如何，按照后面的实验和紧致压缩index 的说法，这个关键的环节，在这里论文中没有提到，并且实验部分也没有体现分布情况。

原创 Towards Effective Next POI Prediction: Spatial and Semantic Augmentation with Remote Sensing Data

下一个兴趣点(POI)预测是基于位置的服务中的一项重要任务，但其复杂性来自于空间和语义意图的整合。我们的方法首先结合遥感数据，捕捉关键的环境背景，以增强关于位置和语义的输入特征。利用这种方法，我们为用户的历史轨迹构建了QRP图，以封装历史旅行知识，从而通过全面的空间和语义洞察力增强输入特征。在两步预测过程中，我们首先通过预测用户偏好的瓷砖来识别潜在的空间区域，然后在预测的瓷砖中精确定位指定类型的特定poi。来自四个真实世界的基于位置的社交网络数据集的实证结果强调了我们提出的方法比竞争性基线方法的显著优势。

原创 Scaling Distributed Machine Learning with the Parameter Server

我们提出了一个用于分布式机器学习问题的参数服务器框架。数据和工作负载都分布在工作节点上，而服务器节点维护全局共享的参数，这些参数表示为密集或稀疏的向量和矩阵。该框架管理节点之间的异步数据通信，支持灵活的一致性模型、弹性伸缩性和持续的容错。为了演示所提框架的可伸缩性，我们展示了在pb级真实数据上的实验结果，包括数十亿个示例和参数，涉及问题从稀疏逻辑回归到潜在狄利克雷分配和分布式草图。

原创 神经控制微分方程

受微分方程启发的深度学习是最近的研究趋势，它标志着许多机器学习任务的艺术表现状态。在许多情况下，基于ncde的模型不仅比递归神经网络(RNNs)提供了更好的精度，而且使处理不规则时间序列成为可能。在这项工作中，我们通过重新设计其核心部分，即从离散的时间序列输入生成连续路径，来增强NCDEs。然而，我们建议i)使用编码器-解码器架构生成另一个潜在的连续路径，这对应于NCDEs的插补过程，即我们基于神经网络的插补与现有的显式插补，ii)利用解码器的生成特性，即:如有需要，可超越原始数据的时间域外推。

原创 The Case for Learned Index Structures

无论何时需要有效的数据访问，索引结构都是答案，并且存在各种各样的选择来满足各种访问模式的不同需求。例如，B 树是范围查找的最佳选择（例如，在特定时间范围内检索一段值记录 (Value)）;HashMap 在单 Key 查找这个领域是无敌的;而 Bloom-filter 通常用于检查值记录 (Value) 是否存在。由于数据库和许多其他应用的索引非常重要，因此在过去的几十年里，它们已经得到了广泛的优化，以获得更高的内存、缓存和 CPU 效率 [ 28,48,22,11]。

原创 The Case for Learned Spatial Indexes

我们表明(i)在一个维度上使用过滤时，分区内的机器学习搜索比二进制搜索快11.79%到39.51%，(ii)树结构的瓶颈是索引查找，这可能通过线性化索引分区得到改善(iii)在一维上过滤并使用机器学习的索引进行精炼，比在二维上过滤的最接近的竞争对手快1.23到1.83倍，而且(iv)学习的索引可以对低选择性查询的性能产生显著影响，而在高选择性查询下效率较低。空间数据的指数级增长导致研究界将重点放在构建能够有效处理空间数据的系统和应用程序上。与此同时，最近的研究引入了学习的指标结构。

原创 HINT: A Hierarchical Index for Intervals in Main Memory

在本文中，我们提出了一种新的、高效的内存区间索引HINT，重点关注区间重叠查询，这是许多搜索和分析任务的基本组成部分。HINT应用分层分区方法，它将每个间隔最多分配给每个级别的两个分区，并控制空间需求。我们将存储在每个分区中的信息减少到绝对必要的程度，方法是根据间隔是开始于分区边界内部还是开始于分区边界之前来划分间隔。在不同特征的真实区间集和合成区间集上的实验结果表明，HINT方法通常比现有区间索引方法快一个数量级。索引间隔是一个基本的问题，它的应用范围很广，

原创 NFL: Robust Learned Index via Distribution Transformation

为了实现分布转换的目标，我们提出了一个两阶段归一化-流学习指数框架(NFL)，包括用于分布转换的数值归一化流(Numerical NF)和用于CDF逼近的鲁棒后流学习指数(AFLI)。在这项工作中，我们提出了一种新的方法，在构造学习索引之前，将原始的键转换为一个近似一致的键空间，使学习索引能够更好地逼近CDF。在对数值NF进行转换后，考虑到转换后的键的特点，所提出的AFLI只需要一个简单有效的结构来处理局部冲突，在吞吐量和尾延迟方面都具有较好的性能。为了获得良好的逼近，现有的学习索引提出了各种分割方法。

原创 LHist: Towards Learning Multi-dimensional Histogram for Massive Spatial Data

在大型空间数据库中，数据摘要被广泛应用于提高查询处理速度。受新兴的学习索引技术的启发，本文提出了一种学习数据摘要技术——学习多维直方图(learned多维直方图)，该技术广泛使用的索引结构如b树，可以通过集成简单的机器学习模型来进一步改进。与传统的数据概要技术相比，LHist是完全数据驱动的，易于实现，并有可能实现更好的存储精度权衡。以范围COUNT查询估计为典型任务，在大型真实数据集和综合基准上的大量实验研究表明，LHist在存储成本、查询处理效率和估计精度方面优于现有的概要结构。

原创 APEX: A High-Performance Learned Index on Persistent Memory

最近学习的索引利用了数据分布，并在某些工作负载中显示出了巨大的潜力。但是，它们都不支持持久性或即时恢复，而且现有的基于pm的索引在进化B+树时通常不考虑已学习的索引。本文提出了一种新的pm优化的学习索引APEX，它提供了高性能、持久性、并发性和即时恢复。APEX基于ALEX，一个最先进的可更新的学习索引，结合和适应过去PM优化和学习索引的最佳，允许它减少PM访问，同时仍然利用机器学习。我们对Intel DCPMM的评估表明，APEX的性能比现有的PM指数高出15个百分点，并且可以在42ms内从故障中恢复。

原创 强化学习（百浆）

原创 dCAM: Dimension-wise Class Activation Mapfor Explaining Multivariate Data Series Classification

数据序列分类是数据科学中一个重要且具有挑战性的问题。通过找到导致算法做出某些决策的输入的判别部分来解释分类决策是许多应用中真正需要的。卷积神经网络在数据序列分类任务中表现良好;但是，这类算法对多元数据序列的具体情况的解释并不充分。解决这个重要的限制是一个重大的挑战。在本文中，我们提出了一种新的方法，通过突出时间和维度的判别信息来解决这个问题。我们的贡献是双重的:我们首先描述了一个卷积架构，它支持维度的比较;然后，我们提出了一种返回dCAM的方法，这是一种专门为多元时间序列(以及基于cnn的模型)设计的维度类

原创 The Price of Tailoring the Index to Your Data: Poisoning Attacks on Learned Index Structures (2022)

学习索引结构的概念依赖于这样一种思想:数据库索引的输入-输出功能可以被视为一个预测任务，因此，使用机器学习模型而不是传统的算法技术来实现。从这个新奇的角度研究几十年前的问题，在机器学习和数据结构的交叉领域激发了令人兴奋的结果。然而，学习索引结构的优势，即通过底层ml模型调整手头数据的能力，从安全性角度来看可能成为缺点，因为它可能被利用。我们在模型的各种参数化下评估了我们对真实世界和合成数据集的攻击，表明RMI的误差增加到300，其第二阶段模型的误差增加到3000。

原创 COAX: Correlation-Aware Indexingon Multidimensional Data with Soft Functional Dependencies

在本文中，我们提出了一种用于多维数据的学习索引COAX，它学习的不是键的分布，而是数据集属性之间的相关性。在许多数据集中，两个(或多个)属性的值是相关的，这一观察结果推动了我们的方法。COAX利用这些相关性来降低数据集的维度。最近的工作提出了学习索引结构，它可以学习底层数据集的分布以提高性能。对已学习索引的初步研究表明，通过学习数据的累积分布函数，诸如B-Tree之类的索引结构可以将性能提高一个数量级，同时拥有更小的内存占用。

原创 STRODE: Stochastic Boundary Ordinary Differential Equation

从连续获得的感官输入对时间的感知根植于个体有机体的日常行为。然而，大多数时间序列建模的算法无法直接从视觉或音频输入中学习随机事件时间的动态，这需要在训练过程中进行时间注释，而这在现实应用中通常是不可用的。我们的实证结果表明，我们的方法成功地推断事件时间序列数据。与现有的最先进的方法相比，我们的方法在合成和真实数据集上都实现了竞争或优越的性能。

原创 第 4 章 动态规划算法

本节分别对这两个过程进行详细介绍。4.3.1 策略评估策略评估这一过程用来计算一个策略的状态价值函数 主要是当前状态的价值4.3.2 策略提升。

原创 强化学习基础

此外，我们还证明了DQN学习到的表示能够泛化为从策略生成的数据，而不是在模拟中，我们将其作为输入呈现给人类和anget玩游戏时所经历的网络游戏状态，记录最后一个隐藏层的表示，并可视化了t-SNE算法生成的嵌入（扩展数据图1和补充讨论）。我们使用了一种特别成功的架构，即深卷积网络，它使用分层的层叠卷积滤波器来模拟感受野的影响，这种效应是由Hubel和Wiesel在早期视觉皮层的前馈处理方面的开创性工作所启发的，从而利用图像中的局部空间相关性，以及增强对自然变化的鲁棒性，如视角或尺度的变化。

原创 A Learning-based Method for Computing Shortest Path Distances on Road Networks（ICDE2021）

在现实世界的许多应用中，计算道路网络上两点之间的最短路径距离是一项核心操作，例如寻找最近的出租车/酒店。然而，现有的技术有一些局限性。针对这些问题，本文提出了一种基于学习的最短距离近似计算方法，该方法能够高效地计算最短距离近似，使得:(1)计算速度非常快，仅需60 ~ 150纳秒;本文提出道路网嵌入(road network embedding, RNE)模型，将道路网上的二维顶点(经度和纬度)嵌入到d维嵌入向量中，利用L1度量来近似最短路径距离，而不是在图上进行搜索(如图1所示)

原创 Multimodal Fusion of Satellite Images and Crowdsourced GPS Traces for Robust Road Attribute Detectio

许多基于机器学习的方法已被提出用于从GPS轨迹、行车记录仪视频或卫星图像中检测道路属性。然而，现有的解决方案大多专注于单一模态，没有考虑多个数据源之间的相关性。为了与卫星图像在空间上进行匹配，将GPS轨迹绘制成一组多通道图像序列，同时捕捉每个像素处GPS点的全局分布、车辆行驶方向和速度的局部分布及其随时间的变化。本文提出了一种多模态道路属性检测方法，通过对众包GPS轨迹信息与卫星图像进行像素级融合，提高了算法的鲁棒性。与已有工作相比，该方法能够大幅度提高道路属性的检测精度。

原创 MAD-SGCN: Multivariate Anomaly Detection with Self-learning Graph Convolutional Networks

当今的信息物理融合系统(cps)是大型且复杂的数据密集型系统。为了准确、及时地检测可能发生的入侵或故障，需要对大量相互连接的传感器和执行器产生的数据进行持续监测和分析。近年来，基于深度学习的多变量时间序列无监督异常检测技术被提出，用于检测CPSs攻击。然而，目前的方法要么受限于其表示学习方法，无法同时有效地编码时间和空间信息，要么无法在没有明确了解不同变量或传感器之间的内部关系的情况下容易扩展到其他任务，而这些变量或传感器对表征CPSs数据至关重要。在4个CPS数据集上的实验验证了所提方法的优越性。

原创 TMN: Trajectory Matching Networks for Predicting Similarity

这些激励我们设计了一个新的基于学习的模型，名为TMN，基于注意力网络，旨在显著提高准确性，以便在相似度计算时间和准确性之间实现更好的权衡。提出的匹配机制通过计算点对的注意力权重来关联轨迹上的点，从而使TMN学会模拟轨迹对之间的相似度计算。除了考虑轨迹间的相互作用外，还考虑了每条轨迹的时序信息，从而充分利用了一对轨迹的空间特征。此外，这些基于学习的模型只是在训练中使用特定相似性度量的轨迹对的相似性分数，而忽略了一个重要的信息:当计算相似性分数时，两个轨迹之间的点的映射很容易获得。

原创 Towards Backdoor Attack on Deep Learning based Time Series Classification

值得注意的是，所提出的框架对广泛的DNN分类器是不可知的。在6个具有代表性的DNN分类器和6个真实数据集上的实验结果验证了所提攻击框架的有效性。在大多数情况下，TimeTrojan以100%的攻击成功率成功注入后门，而不影响模型对干净样本的准确率，这意味着敌手完全控制了DNN分类器的行为。然而，dnn过度的学习能力可能使其容易受到后门攻击的威胁，攻击者在dnn中嵌入隐藏的功能(即后门)，并通过特殊设计的输入(即触发器)激活后门。尽管针对图像和文本领域的后门攻击进行了广泛的研究，

原创 Spatial-Temporal Hypergraph Self-Supervised Learning for Crime Prediction

Sparse Supervision Signal. 目前的时空预测模型在监督学习框架下进行时空预测任务，需要足够的监督标签来学习质量表征。但是，每个细粒度区域的城市犯罪数据极其稀疏，与整个城市空间[41]相比，设计了双阶段自监督学习范式，不仅可以联合捕捉局部和全局层面的时空犯罪模式，还可以通过增强区域自区分能力来补充稀疏犯罪表示。犯罪已成为许多城市关注的主要问题，这就要求及时预测全市范围内的犯罪发生。准确的犯罪预测结果对于政府的事前决策至关重要，可以缓解人们日益关注的公共安全问题。

原创 Fast Adaptive Similarity Search through Variance-Aware Quantization（ICDE 2022）

最先进的方法在试图平衡子空间的相对重要性的同时，在子空间之间均匀分配字典大小。不幸的是，统一的平衡并不总是可以实现的，可能会导致不满意的性能。VAQ利用其固有的降维特性得到子空间，仅部分平衡了子空间的重要性。为了证明VAQ的鲁棒性，对量化、哈希和索引方法进行了广泛的评估，使用五个大规模基准数据集。重要的是，使用100多个数据集进行的严格统计比较表明，即使预算只有一半，VAQ也明显优于竞争方法。值得注意的是，VAQ的简单数据跳跃解决方案实现了与基于索引的方法相竞争或更好的性能，突出了对量化方法新索引的需求。

原创 Practical Approach to Asynchronous Multivariate Time Series Anomaly Detection and Localization

eBay的工程师利用稳健的方法监测IT系统信号以发现异常。然而，信号规模的增长，无论是在体积还是维度上，都超过了传统的统计状态空间或监督学习工具。因此，最近的研究寻求基于无监督深度学习的最新方法。然而，在实现这些方法时，我们遇到了缺陷，例如需要部分监督和高维数据集的弱点，以及本文讨论的其他原因。我们将该方法与公共数据集和eBay数据上最先进的方法进行基准测试，使用它们的参考评估方法。在此基础上，针对现有评价方法的局限性，提出了一种更为现实的评价方法。在现实世界的应用中观察到大量时间序列，

原创 Locally Adaptive Dimensionality Reduction for Indexing Large Time Series Databases（sigmod2002）

之前的技术(如SVD、DFT和DWT)为数据库中的所有项目选择一个共同的表示，以最小化全局重建误差，而APCA用一组不同长度的常值段近似每个时间序列，使它们的单个重建误差最小。在大规模时间序列数据库中进行相似性搜索是近年来的研究热点。这是一个困难的问题，因为数据的维数通常很高。最有希望的解决方案是对数据进行维数约简，许多降维技术已经被提出，包括奇异值分解(SVD)、离散傅里叶变换(DFT)和离散小波变换(DWT)。从理论上和经验上比较了APCA与所有其他技术，并证明了其优越性。

原创 A Graph-based Approach for Trajectory Similarity Computation in Spatial Networks

本文提出了一种基于图的轨迹相似性度量方法(Graph-based approach for measurement Trajectory Similarity, GTS)，一种新的用于空间网络相似性计算的轨迹表示学习框架。从轨迹之间的相似性度量开始，这是学习轨迹嵌入的鲁棒框架的第一步。从兴趣点距离、兴趣点轨迹距离和轨迹相似度3个方面定义轨迹相似度，既能反映路网上轨迹之间的关系，又能反映单个轨迹的继承属性。不同于以往在欧氏空间中学习轨迹表示的研究，它不仅需要捕获轨迹的序列信息，还需要捕获空间网络的结构信息。

原创 Multi-Variate Time Series Forecasting on Variable Subsets（KDD2022）

在推理过程中，由于长期的数据丢失，变量是缺失的。传感器故障)或高→低资源域在训练/测试之间切换。据我们所知，在存在此类故障时，MTSF模型的鲁棒性还没有在文献中研究过。通过广泛的评估，本文首先表明，最先进方法的性能在VSF设置中显著下降。本文提出一种非参数的包装技术，可应用于任何现有的预测模型。通过对4个数据集和5个预测模型的系统实验，表明所提出技术能够恢复模型近95%的性能，即使只有15%的原始变量存在。

原创 Representative Routes Discovery From Massive Trajectories(KDD2022)

如交通监控和公共交通规划。操作员是时间敏感的，因为它必须能够适应交通条件变化的结果。首先证明了该问题的np -困难性，然后提出了一系列响应时间短的有效近似解。最后，在两个真实数据集上进行了全面的实验，验证了所提算法的有效性和效率，并证明了所提算法在交通监控任务中的有用性和快速响应时间。

原创 Meta-Learned Metrics over Multi-Evolution Temporal Graphs

Temp-GFSM中的每个组件都回答了以下问题:在时序图中有哪些模式在演变?如何在只有几个标签的指导下学习指标?最后，在多个领域的真实时序图分类任务上的实验结果表明了Temp-GFSM的有效性。然而，在实践中，图通常具有异质动力学(例如，微观和宏观的演化模式)。因此，标记时序图通常是昂贵的，还需要背景知识。图度量学习方法旨在学习图上的距离度量，使相似(如同类)的图更接近，不相似(如不同类)的图距离更远。这在许多图分类应用中至关重要，如药物发现和流行病分类。大多数图度量学习技术认为输入图是静态的，

原创 MDTP: A Multi-source Deep Traffic Prediction Framework over Spatio-Temporal Trajectory Data

在多源连接阶段，提出了两种方法Sum和Concat来连接不同轨迹数据源的特征。在两个真实数据集上的实验表明，与经典的时间序列方法、机器学习方法和最新的基于神经网络的方法相比，MDTP i)具有更高的效率;交通预测因其在交通管理、城市计算、公共安全等领域的广泛应用而受到越来越多的关注。近年来，海量轨迹数据的可用性和深度学习的成功激发了大量深度交通预测研究。然而，现有的基于神经网络的方法往往忽略了位于同一时空交通区域的多种移动对象之间的相关性，这不利于交通预测分析。

原创 Graph Learning: A Survey 阅读笔记

作为一种基于结构和模型的学习方法的补充，GSP为图的谱分析提供了一个新的视角。图学习方法为新的表示空间中的图分析铺平了道路，许多图分析任务，如链接预测、推荐和分类，都可以被有效解决。粗略地说，GSP处理的是图的采样和恢复，以及从数据中学习拓扑结构。基于随机游走的方法包括基于结构的随机游走、基于结构和节点信息的随机游走、异构网络中的随机游走以及 time-varying网络中的随机游走。第二节概述了图学习方法，包括基于图信号处理的方法、基于矩阵分解的方法、基于随机游走的方法和基于深度学习的方法。

原创 Deep Recurrent Q-Learning for Partially Observable MDPs（DRQN）

Abstract　　深度RL已经为复杂的任务提供了精通的控制器。但是，这些控制器的内存有限，并且依赖于能够在每个决策点感知完整的游戏画面。为了解决这些缺点，本文研究了用循环LSTM替换卷积后的第一个全连接层，从而在DQN中增加循环的影响。最终的DRQN尽管每个时间步骤只能看到一个帧，但可以成功地随时间整合信息，并在标准Atari游戏和具有闪烁游戏画面的部分可观察的等效游戏中达到与DQN相当的性能。此外，在接受部分观测值训练并逐步评估更完整的观测值后，DRQN的性能随可观察性而改变。相反，当接受完整观察并经过