多示例学习以及对应的神经网络算法

1、多示例学习的概念

简单介绍下多示例学习。多示例学习实际是一种半监督算法。考虑这样一种训练数据：我们有很多个数据包(bag)，每个数据包中有很多个示例(instance)。我们只有对bag的正负类标记，而没有对instance的正负例标记。当一个bag被标记为正时，这个包里一定有一个instance是正类，但也有可能其他instance是负类，当一个bag被标记为负类时，它里面的所有instance一定是负类。我们的目标是训练一个分类器，可以对instance的正负进行判别。

多示例学习在现实中其实很常见。如一篇文章违禁时通常是因为该文章具有某些违禁词，但我们可能无法知道具体是哪个词违禁。在这个例子中，bag就是文章，instance就是单词。又如在医学图像领域，CT图被标定为有无病症，而一个人有病症是因为在CT图的某个区域被检测为病灶区域。我们往往只有CT图的标注，但没有CT图中每个区域的标注。这时，bag就是CT图像，而instance就是CT图中的小区域。

2、多示例学习的特点

 

3、使用神经网络来做多示例学习

人工神经网络是一种非线性学习方法,分类效率高,鲁棒性好,因此基于神经网络的多示例学习算法也是多示例问题研究的热点问题之一。Zhou 等人[4](2002)通过设计一个新颖的多示例误差函数,成功的将人工神经网络应用于多示例学习。

 

正标签用1 标记，负标签用0标记。

我们只有包的标签，没有示例的标签。

我们把每一个示例都输到网络里，预测标签，如果出现了1  就预测该包为正包。如果全部为0，就预测该包为负包。

可以看出只有当全部的负示例都被完美预测，或者至少有一个正示例被完美预测，损失才为0.