为了科研项目的需求,作为在博一快结束时转而进行机器学习领域的研究。周围没有同事从事相关的研究,用最快的速度完成了对机器学习和深度学习的了解。我感觉经常问自己的一个问题就是为什么要从机器学习到深度学习?对我的科研工作有没有帮助。
我主要看了两个资料《Deep Learning Book MIT》introduction部分和《21天实战caffe》。第一本英文书已经讲得足够清楚,但是闭上书自己用中文表达,感觉只可意会不可言传。终于在这本中文书中找到了我认为比较理想的表达:
1960年后,线性分类器的局限性开始被认识到,它只能将输入空间切分为非常简单的区域,即由一个超平面分离的两个半区间。对于像图像和语音识别这类问题,需要输入-输出函数对输入的非相关变化(位置的变化,方向变化,光照变化,语音的高音和低音变化)不敏感,而对类别敏感(如白狼和萨摩耶犬)。 在像素级别,两张不同的姿态,不同环境下萨摩耶犬的照片会有极大的不同,而同样的背景,同样位置的萨摩耶犬和白狼的照片可能非常相似。对直接操作图像像素的线性分类器或者其他“浅层”分类器可能不容易区分后两张照片,同时将前两张放在同一类。这就是为什么浅层分类器需要好的特征提取器—有选择地产生图片中重要类别信息的表示,同时对无关信息如姿态具有不变性—-以解决选择无关的困境。
为了让分类器更强大,可以使用广义非线性特征以及核函数方法。但广义特征(如高斯核函数)泛华能力差,常规的方法是手动设计好的特征提取器,而这需要大量工程经验和领域专家才能完成。如果好的特征可以使用通过学习的方法自动学习得到,上述问题就可以避免,这是深度学习的核心优势。
想到周志华《机器学习》那本书,里面提到的纹理,根蒂,敲声….这些都是专家给出的特征,但是如果这些特征没有给出,那怎么办呢?这就是深度学习的工作了。