数据挖掘与机器学习与深度学习的关联

数据挖掘，机器学习，深度学习的区别是什么？

• 数据挖掘通常是从现有的数据中提取规律模式以及使用算法模型。核心目的是找到这些数据变量之间的关系，因此我们也会通过数据可视化对变量之间的关系进行呈现，用算法模型挖掘变量之间的关联关系，通常情况下，我们只能判断出变量A和变量B是有关系的，但并不一定清楚这两者之间的具体关系
• 机器学习是人工智能的一部分，通过训练数据和算法模型让机器具有一定的智能。一般是通过已有的数据来学习知识，并通过各种算法模型形成一定的处理能力，比如说分类，聚类，预测，推荐能力等。然后通过这些训练好的模型对这些数据进行预测
• 深度学习是机器学习的一种，他的目的是让机器具有智能，只是它是通过神经网络来实现的，神经网络就类似人的大脑，通过多次训练之后，“大脑”就可以开始具备某种能力。这个训练过程总，我们只需要告诉这个大脑输入数据是什么，以及对应的输出结果是什么即可，通过多次训练，“大脑”中的多层神经网络的参数就会自动优化，从而得到一个适应于训练数据的模型

所以在面对传统的机器学习模型中，我们会更加注重模型算法的原理，而在神经网络中我们则是更关注网络结构，以及网络结构中每层神经元的传输机制。我们不需要告诉机器具体的特征规律是什么，只需我们想要训练的数据和对应的结果告诉机器大脑即可。深度学习会自己找到数据的特征规律，而传统机器学习往往需要专家来告诉机器采用什么样的模型算法。

神经网络的工作原理

这里有一些重要的概念需要了解

• 节点：神经网络是由神经元组成的，也称为节点，它们分布在神经网络的各个层中，这些层包括输入层，输出层和隐藏层

• 输入层：负责接收信号，并分布到隐藏层。一般我们将数据传给输入层。

• 输出层：负责输出计算结果，一般来说输出层节点数等于我们要分类的个数

• 隐藏层：除了输入层和输出层的神经网络都属于隐藏层，隐藏层可以是一层也可以是多层，每个隐藏层都会把前一层节点传输出来的数据进行计算（你可以理解是某种抽象表示），这相当于是数据抽象到另一个维度的空间，可以更好的提取和计算数据的特征

• 工作原理：神经网络就好比一个黑盒子，我们只需要告诉这个黑盒子输入数据和输出数据，神经网络就可以自我训练，一旦训练好之后，就可以像黑盒子一样使用，当你传入一个新的数据时，它就会告诉你对应的输出结果，在训练过程中，神经网络主要是通过前向传播和反向传播机制运转

  • 前向传播：数据从输入层传递到输出层的过程叫做前向传播，这个过程的计算结果通常是通过上一层的神经元的输出经过矩阵运算和激活函数得到的。这样就完成了每层之间的神经元数据的传输
  • 反向传播：当前向传播作用到输出层得到分类结果之后，我们需要与实际值进行比对，从而得到误差。反向传播也叫做误差反向传播，核心原理是通过代价函数对网络中的参数进行修正，这样更容易让网络参数得到收敛

  所以，整个神经网络训练的过程就是不断通过前向-反向传播迭代完成的，当达到指定的迭代次数或者达到收敛标准的时候既可以停止训练。然后我们就可以拿训练好的网络模型对新的数据进行预测

常用的神经网络

神经网络分为：FNN、CNN、RNN

• FNN指的是全连接神经网络，全连接的意思是每一层的神经元与上一层的所有神经元都是连接的。不过在实际使用中，全连接的参数会过多，导致计算量过大。因此在实际使用中全连接神经网络的层数一般比较少

  

• CNN叫做卷积神经网络，在图像处理中有广泛的应用，在CNN网络中，包括卷积层，池化层和全连接层

  • 卷积层相对于有一个滤镜的作用，它可以把图像进行分块，对每一块的图像进行变换操作

    

    

    

    

  • 池化层相对于神经元的数据进行降维处理，这样输出的维数就会减少很多，从而降低整体的计算量，池化层通常在两个卷积层之间，它的作用相当于对神经元的数据做降维处理，这样就能降低整体计算量，假设池化的窗的大小是2 * 2，就相当于一个2 * 2的窗口对输出数据进行计算，将原图中2 * 2 矩阵的4个点变成一个点。常用的池化操作是平均池化和最大池化。平均池化是对特征点求平均值，也就是用4个点的平均值来做代表。最大池化则是对特征点求最大值，也就是用4个点的最大值来做代表

  • 全连接层通常是输出层的上一层，它将上一层神经元输出的数据转变成一维的向量，全连接的作用就是将前面一层的输出结果与当前层的每个神经元都进行了连接。这样就可以把前面计算出来的所有特征，通过全连接层将输出值输送给分类器

• ＲＮＮ称为循环神经网络，它的特点是神经元的输出可以在下一个时刻作用到自身，这样ＲＮＮ就可以看做是在时间上传递的神经网络。它可以应用在语音识别，自然语音处理等

激活函数的作用

做完卷积操作之后，通常还需要用激活函数对图像进一步处理。在逻辑回归中，sigmoid函数，它在深度学习中有广泛的应用，除了sigmoid函数作为激活函数以外，tanh,ReLU都是常用的激活函数

这些激活函数通常都是非线性函数，使用它们的目的是把线性数值映射到非线性空间中。卷积操作实际上是两个矩阵之间的乘法，得到的结果也是线性的，只有通过非线性的激活函数运算之后，才能映射到非线性空间中，这样也可以让神经网络的表达能力更强大。