Strong Baselines for Neural Semi-supervised Learning under Domain Shift

Strong Baselines for Neural Semi-supervised Learning under Domain Shift
第六周阅读材料
在领域转移方面出现了新颖的神经网络，但是许多网络的评估方式是很弱的？很糟糕的
于是这个文章评估了经典的 bootstrappping 方法 并提供了一种新评估方式：multi-task tri-training（多重任务三次训练）是一种比传统三次训练方式更节省空间和时间的方法.
虽然他们的新方法技术先进但是表现得不太好，然后结论是经典的tri-training加上一些补充条件，就能优于他们的新方法，所以经典方法是最重要且最强的baseline？

介绍

重新评估了self-training 自我训练，tri-training 三重训练，tri-training with disagreement 带分歧的三重训练
两个不同序列预测的 NLP 任务和一个分类任务 (POS tagging and sentiment analysis).
作者在两个完善的基准上评估跨多个领域的方法，而不采取任何进一步的特定任务措施，并与文献中发表的最佳结果进行比较。
multi-task tri-training 建立了一个用于情感分析的无监督域适应的最新技术，但它没有优于用于 POS 标记的经典三重训练
作者认为这种 multi-task tri-training 可以为当前NLP模型提供一种强且鲁棒性高的半监督学习baseline

算法细节

self training

self training是最早且最简单的 boot-strapping方法。本质上，它利用模型对未标记数据的预测来获取可在训练期间使用的附加信息。置信度最高的预测被当作 face value。

在标签训练集 L 和未标签训练集 U 上训练一个模型 M ，每次迭代中，模型以概率分布的形式为 U 中所有未标记的示例 x 提供预测 m(x)，概率高于阈值T，x 被添加到带有 p(x) = arg max m(x) 作为伪标签的标记示例中。

但是因为神经网络校准能力很弱，所以使用固定T值不是理想选择，虽然绝对的置信值不准确，我们可以预测相对
置信顺序更鲁棒性。

Throttling就是选择top n 未标签例子，在每轮epoch用作预测置信度，然后把他们加进标签数据。

tri-training

Tri-training 是一种经典的方法，它通过利用三个独立训练的模型的一致性来减少对未标​​记数据的预测偏差。三重训练首先在标记数据 L 的引导样本上训练三个模型 m1、m2 和 m3。如果其他两个模型 mj 和 mk同意它的标签，则将未标记数据点添加到模型 mi 的训练集中。当分类器不再改变时训练停止。

tri-training with disagreement 有分歧的三重训练

基于tri-training，增强点在于标记的数据不应该被简单的数据所扭曲，为了实现这一点，添加了一个简单的修改原始算法（改变 2 中的 第八行），要求对于 mj 和 mk 一致的未标记数据点，另一个模型 mi 不同意预测。有分歧的三重训练比三重训练的数据效率更高，并且在词性标注上表现良好。

采样未标记的数据

两种三重训练方式可能都很昂贵，因为要给三种模型在所有未标记数据样本上生成预测，在实际中可能会达到数百万的数据。因此提议在每个epoch采样一定数量的未标记数据。

多重任务三次训练 Multi-task tri-training

应该算是先迁移学习
比普通快5~6倍，3倍空间效率

asymmetric tri-training 不对称三重训练 ASYM

ASYM 仅利用来自 m1 和 m2 一致的数据点的伪标签，且仅使用一项任务 (m3) 作为最终预测器。

结果

情绪分析：
自监督取得惊人的好结果，但无法与三重训练竞争。三重有分歧的训练只是比自监督略好，这意味着当强域转移时，分歧能起到的作用不大。三重训练在两个目标域上取得了平均好成绩且优于当下最优技术。
多重三重训练超越了传统三重训练，是总体上最好的方法。

Tri-D perform better on low-data and Tri better on high-data