额,养成一个好习惯不容易,贵在坚持
原文链接 http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=7549212
论文主要研究内容
文章以大数据背景下带来的“5V”特点作为引入。提出文章着重关注于,大数据背景下数据的不确定性急剧改变,同时数据建模/处理过程的不确定性也会发生改变,从而带来“Veracity”变低的问题。
5V:
1.Huge volume - 数据规模大
2.High velocity - 不仅是指数据收集的速度,也值数据分析和利用的速度快
3.Much variety - 数据类型多种多样
4.Low veracity - 数据规模不断增大,不确定性会急剧变化,同时大规模数据更容易存在数据丢失的问题,从而带来低可信度/准确率的问题
5.High value - 挖掘大数据背后隐藏的高价值信息
当前研究状况及存在的问题
文章总结了大数据分析比一般规模数据分析更具挑战性的六个原因:
Complex data representation - 由于数据的多模态,使用统一表示多类型数据变得困难
Super-high dimensionality - 维数灾难
Massive classes - 当处理的分类问题类别数成千上万时,现有的分类器能够处理这类分类问题,但是性能很差
Weak relation - relation 是相对于mapping来说的。对于大数据来说,很找出精确的映射关系,只能找到relation,但也只需要relation
Unscalable computation ability - 当处理大规模数据时,问题的复杂度和当前算法的计算能力急剧增大,但是计算能力还是赶不上复杂度的提升速度。
2.介绍了七种目前用于大数据分析的策略:
Divide-and-conquer - 分而治之就是把大化小,处理每个小块,再将单独的结果融合。在高性能计算领域常用
Parallelization - 把大问题分解成能过同时独立解决的小问题,无法减少工作量,但能减少工作时间
Incremental learning - 增量学习,每当新增数据时,并不需要重建所有的知识库,而是在原有知识库的基础上,仅做由于新增数据所引起的更新
Sampling - 是概率统计中常用的方法,通过抽样技术研究单样本和总体的关系
Granular computing - 粒度计算,将数据大小降低到不同的粒度级别
Feature selection - 特征选择,使用更具代表性/特征维度更少的集合代表原来的特征空间
Hierarchical Classes - 此方法在文章中未提及,补充:类别层次结构来分解问题和组织分类器,可有效解决多类分类问题
3.五种不确定性度量的方法
Shannon entropy - 香农熵,用于衡量随机不定性,值越大表明不确定性越大:
Classification entropy - 类别分布的纯度,二分类问题:
多分类问题:
Fuzziness - Fuzzy subsets 用于说明类似于老和少的边界,这种人类语言描述中无法确切划分的不确定性。通常,对于一个集合
对应的fuzzy subset 定义为:
A中元素是通过映射函数得到的[0,1]之间的值,此映射函数称为隶属函数,表明属于某一个x的隶属度。
而Fuzziness是一种判定模糊程度的度量方法,定义为:
Nospecificity - 非特异性也称ambiguity,是另一种度量fuzzy subset不确定性的方法,定义如下:
Rough degree - 粗糙度
论文方法和创新点
介绍了两种基于不确定性的大数据研究方法:
1.基于fuzziness的半监督学习
假定A是一个大规模数据集,但存在label缺失的情况,B是A的一个子集。可以通过使用B训练出分类器,并对A-B集合中数据进行预测,根据预测结果挑选数据加入训练集合B中。关键问题是,这个训练好的分类器要达到什么要求–通常来说,训练精度应该在0.5以上才有意义; 另一个问题是如何挑选数据–利用不确定性进行数据挑选,算法如下:
创新点在于:将G3和G1都加入训练集
2.基于ambiguity的模型树(AMT)处理混合属性数据
模型树在处理混合属性,尤其是数据多模态下的分类问题时,非常高效率。模型树也是树形结构,但是叶节点是一些特殊的结构。文章提出的AMT是在划分孩子节点时,使用ambiguity度量的方法完成的,叶子节点是一个三层的前馈神经网络(ELM),算法如下:
AMT与deep learning结合应用于图像和文本特征的分析在近几年很火
实验
使用scene evaluation 函数和基于fuzziness的半监督学习算法,分别对1.86GB的中国象棋游戏场景分类数据进行训练/预测,最终结果表明基于fuzziness的半监督学习算法性能高很多
实验证明AMT在并行处理大数据集时性能表现有益,用了15个数据集进行测试,表明AMT的测试精度比functional tree/朴素贝叶斯 tree/logistic model tree都要高。