《感知机与多层感知机的介绍》

最新推荐文章于 2024-05-20 21:07:56 发布

zhouazhu

最新推荐文章于 2024-05-20 21:07:56 发布

阅读量691

点赞数

文章标签：人工智能算法机器学习

本文链接：https://blog.csdn.net/zhouazhu/article/details/130059940

版权

本文介绍感知机这一算法。在1957年由美国的一位学者Frank Rosenblatt提出感知机。因为感知机作为深度学习的起源，所以学习感知机是必要的，对弄懂深度学习具有很大的帮助。

1感知机

1.1感知机是什么？

感知机就是接受多个信号，输出一个信号。比如图1-1所示，是一个接受两个输入信号的感知机例子。x1、x2是输入信号，y是输出信号，w1、w2是权重。图中的圆圈被称为“神经元”或者“节点”。输入信号被送往神经元时，会被分别乘以固定的权重。神经元会计算传送过来的信号总和。当总和超过一定的界限时，就会输出。这个界限被称为“阈值”。

把感知机用数学来表达就是：

$y=\left\{\begin{matrix} 0 (w1x1+w2x2)\leqslant \theta & & \\ 1(w1x1=w2x2)> \theta & & \end{matrix}\right.$

感知机的多个输入信号都有各自的权重，这些权重发挥着控制哥哥信号的重要作用。权重越大，对应权重的信号的重要性越高。

1.2感知机的基本应用

1.2.1与门

现在用感知机来解决基本的应用。我们先来了解逻辑电路中的与门（AND gate）。与门是有两个输入和一个输出的门电路。下图1.2给出与门真值表。

下面就是考虑感知机来表示这个与门。那么我们就要想出满足条件的w1、w2、和阈值的值。满足与门的条件很简单。当 $(w1,w2,\theta )=(0.5,0.5,0.7)$ 时就可以满足。在（1.0，1.0，1.0）时也可以满足或者（0.5，0.5，0.8）时也可以得到满足（无限存在）。

1.2.2与非门和或门

下面，我们来考虑一下与非门（NAND gate）。与非门就是颠倒了与门的输出，其真值表如下图1.3所示。

要表示与非门其实也很简单，可以用（-0.5，-0.5，-0.7）这样的组合。只要把满足与门的参数值增加负号就可以满足与非门的条件（无限存在）。

下面我们一起看一下或门的真值表，如下图1.4所示。

或门的参数值与上面两种有区别。或门是一个输入信号是“1”，那么输出就是“1”。

1.3感知机的实现

1.3.1与门代码实现

下面代码就是与门的实现代码（python），先定义一个接受参数x1，x2的AND函数。在函数初始化参数w1， w2，theta，当输入的甲醛总和超过阈值时返回1，否则返回0，按这样的方法就可以实现与非门和或门。不过这样虽然简单易懂，但稍微有些许的繁琐，所以我们可以对它进行修改。

def AND(x1, x2):
    w1, w2, theta = 0.5, 0.5, 0.7
    tmp = x1 * w1 + x2 * w2 
    if tmp <= theta:
        return 0
    elif:
        return 1

1.3.2导入权重和偏置

上面的代码简单易懂，但是考虑到以后的事情就需要对其进行修改。在这之前我们需要理解下面的公式。我们将上面式中的 $\theta$ 换成-b，于是就可以用下面式子来表达感知机的行为。b就是偏置。

$y=\left\{\begin{matrix} 0 &(b+w1x1+w2x2\leqslant 0) & \\ 1 & (b+w1x1+w2x2> 0) & \end{matrix}\right.$

感知机会计算输入信号和权重的乘积，然后加上偏置，如果这个值大于0则输出1，否则输出0.下面的代码就是按照上式来实现感知机。

import numpy as np

x = np.array([x1, x2])    #输入
w = np.array([0.5, 0.5])  #权重
b = -0.7                  #偏置
w * x
np.sum(w*x) + b

1.3.3使用权重和偏置的实现

import numpy as np

def AND(x1, x2):
    x = np.array([x1, x2])
    w = np.array([0.5, 0.5])
    b = -0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

偏置和权重的作用是不一样的。权重是控制输入信号的重要性的参数，偏置是调整整个神经元被激活的容易程度的参数。比如b=-0.1，那么只要输入信号的甲醛总和超过0.1，神经元就会被激活。

下面实现与非门和或门

import numpy as np

def NAND(x1, x2):
    x = np.array([x1, x2])
    w = np.array([-0.5, -0.5])
    b = 0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

import numpy as np

def OR(x1, x2):
    x = np.array([x1, x2])
    w = np.array([0.5, 0.5])
    b = -0.2
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

1.4感知机的局限性

我们知道感知机可以实现与门、与非门、或门。异或门感知机确实现不了。异或门被称为逻辑异或电路，其真值表如下图1.5所示.仅当x1、x2中的一方为1时，才会输出1

无论我们怎么样去考虑其权重，都找不到一个合适的值去满足异或门的条件。感知机的局限性就在于它只能表示由一条直线分割的空间。如果使用非线性的方法，很容易就能解决这个条件。所以下面衍生出多层感知机（MLP）这个算法。

2多层感知机

2.1已有门电路组合

异或门的制作方法有很多，这里我们介绍用已有门电路的组合方法来实现异或门。如下图2.1所示就是通过组合实现异或门

下图2.2为异或门的真值表，确认组合是否满足异或门的条件。

2.2异或门的代码实现

因为之前我们已经了解完与门、与非门、或门的代码，所以编写异或门的代码是非常的简单的，也只是把代码组合就好。

from and_gate import AND
from or_gate import OR
from nand_gate import NAND

def XOR(x1, x2):
    s1 = NAND(x1, x2)
    s2 = OR(x1, x2)
    y = AND(s1, s2)
    return y

下面我们再来考虑用感知机的形式将这个过程描绘出来。如图2.3所示，异或门是一种多层结构的神经网络。最左边一层称为第0层，中间层为第1层，最右边称为第2层。异或门与与门、与非门、或门不一样。与门、与非门和或门是单层感知机，而异或门则为2层感知机，也被称为多层感知机。