【特征工程系列2】如何获得训练数据的标签？

       机器学习可以大致分为有监督和无监督两大类。其中，有监督是指训练数据是带标签的，如果标签准确，其性能一般优于无监督学习。

       在各大教科书上，“带标签”和“不带标签”都是直接假定的。那么，问题来了，在现实中，如何获得带标签的训练数据呢？结合自己最近参与的数据挖掘项目，我总结出了以下三种方法：

1） 人工标注：顾名思义，就是由专家人工标注部分数据，用作训练集。这种方法工作量很大，特别是在大数据挖掘中。

2） 规则标注：此方法用的较多，即通过专家设定一些过滤条件（规则），给部分数据贴上标签，获得训练集。然后，需要注意的是，规则一定要精准，宁可少获得一些训练数据，也要保证贴上标签的数据非常准确；否则，后面的机器学习学到的都是错误的啦。正是因为这样的考虑，此方法还隐藏着一个问题：样本不均衡问题，即有些类别的样本用规则可以识别出很多，而有些类的样本却很难用规则识别。另外，规则的制定往往带有专家的主观视角，也就是说，获得的训练集其实是有偏的，有些专家不具备的“知识”被丢失了。

3） 聚类标注：即在特征工程之后，通过聚类的方法，获得不同类别的标注。这种方法首先将面对聚类算法本身的一些问题，如聚类数目的确定，初始聚类中心怎么选等问题。此外，聚类更像个黑匣子，它可以解决专家主观规则带来的有偏问题，但问题也随之而来：聚类之后的类别划分方法可能和业务中想要的类别划分方法有所不同，或者说，聚类算法有可能获得相同数据的不同划分方法。这需要在特征工程中好好设计特征来解决。