A Model-Agnostic Approach for Learning with Noisy Labels of Arbitrary Distributions

大多数现实世界的数据集都包含标签噪声，这会对在其上训练的下游机器学习模型产生负面影响。为了解决这个问题，可以在训练前对错误标记的数据进行清洗，这不仅耗时且昂贵，而且需要领域专业知识。另一种方法是使用抗噪声机器学习训练算法。然而，现有方法具有一些先决条件，在许多应用中可能不实用(例如，它们与特定的下游模型架构相关联，或适用于特定的噪声分布)。本文提出一种与模型无关的方法，用于学习任意分布的噪声标签。该方法可以与任何基于梯度下降优化的机器学习模型一起工作，并处理任何标签噪声分布。通过提出两个理论上接地的噪声鲁棒损失函数(针对不同的噪声分布)来实现这些目标，能够基于一个新的噪声设置检测模块自动决定使用哪个损失函数。通过元学习技术直接学习损失函数中所需的超参数，以最小化给定的小干净验证集上的损失，并提出了几种策略来提高训练效率。在具有真实世界噪声和注入标签噪声的多个数据集上的实验表明，所提出方法的性能优于最先进的方法。

阅读者总结：这篇论文涉及到训练数据中存在噪声问题，这个一个很有趣的研究内容。文中很清晰的将整个划分为依赖类和依赖特征，两个方面进行问题分解，然后分别使用梯度优化方法找到使得loss最小的超参数。

图1显示了其中两个在现实中更可能发生的情况。这里，不同颜色的点表示不同标签的数据，图1(a)表示无噪声标签的状态。图1(b)中的标签噪声是类相关的，其中出现了标签错误取决于真实的类别标签。因此，我们可以观察到紫色的点作为噪声数据均匀分布在橙色区域。在这种情况下，一个噪声转移矩阵就足以证明不同标签错误的概率。相比之下，图1(c)中的标签噪声是依赖于特征的，其中标签错误的发生取决于特征和真实标签。我们可以观察到，紫色的点作为噪声数据位于橙色区域的边界附近(图1(c1))或集中在内部特定区域(图1(c-2))，每个样本都有自己的噪声过渡向量。

方法：

我们的建议。本文提出一种与模型无关的方法，用于学习任意分布的噪声标签。本文建议使用两个噪声鲁棒损失函数Jc和Jf，并证明了所提出的损失函数是无偏的(即，在噪声数据上的Jc或Jf的最小化等价于在干净数据上的传统损失J的最小化)。Jc适用于类依赖的噪声设置，其中标签错误的概率仅取决于真实的类别，标签噪声分布可以通过噪声转移矩阵t进行建模。Jf主要适用于特征依赖的噪声设置，其中标签错误的概率也取决于示例的特征(因此可以对任意标签噪声分布进行建模)。在这种情况下，我们为每个训练示例创建过渡向量，以执行其自身的损失校正

 

 

 框架：

 

 

 也就是：先判断到底是那种类型的依赖，类依赖还是特征依赖

 

 

 IV. NAR NOISE SETTING

我们首先研究了更简单的情况，标签错误的概率只取决于类别，在这种情况下，标签噪声可以简单地通过转移矩阵建模。在第IV-A节中，我们介绍了NAR噪声环境的鲁棒损失函数

 

上述损失函数的有效性高度依赖于噪声转移矩阵T的估计，本文将T视为超参数。单纯地调优超参数T需要对模型进行多次训练

V. NNAR NOISE SETTING

在现实中，更实际的做法是假设标签噪声的概率不仅取决于真类，还取决于特征。 

 

 

 

 

 

 。。。。。。。。。。。。

。。。。。。。。。。。。