笔记：神经网络与深度学习—表示学习、深度学习

一、介绍

当我们用机器学习来解决一些模式识别任务时，一般的流程包含以下几个步骤：

特征处理：又可成为特征工程（Feature Engineering），即人工的进行许多特征处理工作，起关键作用。
浅层学习：（Shallow Learning），不涉及特征学习，其特征主要靠人工经验或特征转换方法来抽取。

1.语义鸿沟：人工智能的挑战之一

底层特征 & 高层语义

人们对文本、图像的理解无法从字符串或者图像的底层特征直接获得。

比如我们学过的一首诗，李白的《静夜思》，我们拿到的底层特征就是这些字，他们组合在一起，我们知道它所反映的含义，所以我们需要从这些底层特征构造出一些表示，这些表示可以蕴含出他的高层语义。

2.什么是好的数据表示（Representation)

“好的表示”是一个非常主观的概念，没有一个明确的标准。

但一般而言，一个好的表示具有以下几个优点：

数据表示是机器学习的核心问题。

二、表示形式

1.表示形式

局部表示
离散表示、符号表示、One-Hot向量
通常需要配合知识库、规则来用

分布式表示
压缩、低维、稠密向量
用O(N)个参数表示O(2的K次方)区间，其中K为非0参数，K<N

2.一个例子——颜色

局部表示用的是One-Hot向量，解释能力比较强。
分布式表示用的是RGB，解释能力比较弱，便于计算相似度。

3.转换

嵌入：压缩、低维、稠密向量

三、表示学习

表示学习，即为如何自动从数据中学习好的表示

通过构建具有一定”深度“的模型，可以让模型来自动学习好的特征表示（从底层特征，到中层特征，再到高层特征），从而最终提升预测或识别的准确性。

1.传统的特征提取

2.特征提取 & 表示学习

特征提取：基于任务或先验对去除无用特征

表示学习：通过深度模型学习高层语义特征
难点在于没有明确的目标。

四、深度学习

一个好的表示学习策略必须具备一定的深度
深度学习=表示学习+决策（预测）学习

深度学习的数学描述