本文介绍感知机这一算法。在1957年由美国的一位学者Frank Rosenblatt提出感知机。因为感知机作为深度学习的起源,所以学习感知机是必要的,对弄懂深度学习具有很大的帮助。
1感知机
1.1感知机是什么?
感知机就是接受多个信号,输出一个信号。比如图1-1所示,是一个接受两个输入信号的感知机例子。x1、x2是输入信号,y是输出信号,w1、w2是权重。图中的圆圈被称为“神经元”或者“节点”。输入信号被送往神经元时,会被分别乘以固定的权重。神经元会计算传送过来的信号总和。当总和超过一定的界限时,就会输出。这个界限被称为“阈值”。
![](https://i-blog.csdnimg.cn/blog_migrate/dbfa59444d071390b0b256d06ddc2d48.png)
把感知机用数学来表达就是:
感知机的多个输入信号都有各自的权重,这些权重发挥着控制哥哥信号的重要作用。权重越大,对应权重的信号的重要性越高。
1.2感知机的基本应用
1.2.1与门
现在用感知机来解决基本的应用。我们先来了解逻辑电路中的与门(AND gate)。与门是有两个输入和一个输出的门电路。下图1.2给出与门真值表。
![](https://i-blog.csdnimg.cn/blog_migrate/1b98aa6aa4de6e2e4bbfebe1bda07576.png)
下面就是考虑感知机来表示这个与门。那么我们就要想出满足条件的w1、w2、和阈值的值。满足与门的条件很简单。当时就可以满足。在(1.0,1.0,1.0)时也可以满足或者(0.5,0.5,0.8)时也可以得到满足(无限存在)。
1.2.2与非门和或门
下面,我们来考虑一下与非门(NAND gate)。与非门就是颠倒了与门的输出,其真值表如下图1.3所示。
![](https://i-blog.csdnimg.cn/blog_migrate/a5e7081ea0c636e1293c02a0b9c4e40f.png)
要表示与非门其实也很简单,可以用(-0.5,-0.5,-0.7)这样的组合。只要把满足与门的参数值增加负号就可以满足与非门的条件(无限存在)。
下面我们一起看一下或门的真值表,如下图1.4所示。
![](https://i-blog.csdnimg.cn/blog_migrate/b7ea3dd8fca032c50770f3767f906df2.png)
或门的参数值与上面两种有区别。或门是一个输入信号是“1”,那么输出就是“1”。
1.3感知机的实现
1.3.1与门代码实现
下面代码就是与门的实现代码(python),先定义一个接受参数x1,x2的AND函数。在函数初始化参数w1, w2,theta,当输入的甲醛总和超过阈值时返回1,否则返回0,按这样的方法就可以实现与非门和或门。不过这样虽然简单易懂,但稍微有些许的繁琐,所以我们可以对它进行修改。
def AND(x1, x2):
w1, w2, theta = 0.5, 0.5, 0.7
tmp = x1 * w1 + x2 * w2
if tmp <= theta:
return 0
elif:
return 1
1.3.2导入权重和偏置
- 上面的代码简单易懂,但是考虑到以后的事情就需要对其进行修改。在这之前我们需要理解下面的公式。我们将上面式中的
换成-b,于是就可以用下面式子来表达感知机的行为。b就是偏置。
感知机会计算输入信号和权重的乘积,然后加上偏置,如果这个值大于0则输出1,否则输出0.下面的代码就是按照上式来实现感知机。
import numpy as np
x = np.array([x1, x2]) #输入
w = np.array([0.5, 0.5]) #权重
b = -0.7 #偏置
w * x
np.sum(w*x) + b
1.3.3使用权重和偏置的实现
import numpy as np
def AND(x1, x2):
x = np.array([x1, x2])
w = np.array([0.5, 0.5])
b = -0.7
tmp = np.sum(w*x) + b
if tmp <= 0:
return 0
else:
return 1
偏置和权重的作用是不一样的。权重是控制输入信号的重要性的参数,偏置是调整整个神经元被激活的容易程度的参数。比如b=-0.1,那么只要输入信号的甲醛总和超过0.1,神经元就会被激活。
下面实现与非门和或门
import numpy as np
def NAND(x1, x2):
x = np.array([x1, x2])
w = np.array([-0.5, -0.5])
b = 0.7
tmp = np.sum(w*x) + b
if tmp <= 0:
return 0
else:
return 1
import numpy as np
def OR(x1, x2):
x = np.array([x1, x2])
w = np.array([0.5, 0.5])
b = -0.2
tmp = np.sum(w*x) + b
if tmp <= 0:
return 0
else:
return 1
1.4感知机的局限性
我们知道感知机可以实现与门、与非门、或门。异或门感知机确实现不了。异或门被称为逻辑异或电路,其真值表如下图1.5所示.仅当x1、x2中的一方为1时,才会输出1
![](https://i-blog.csdnimg.cn/blog_migrate/bcc33033ab06245882ecdf44e7b42840.png)
无论我们怎么样去考虑其权重,都找不到一个合适的值去满足异或门的条件。感知机的局限性就在于它只能表示由一条直线分割的空间。如果使用非线性的方法,很容易就能解决这个条件。所以下面衍生出多层感知机(MLP)这个算法。
2多层感知机
2.1已有门电路组合
异或门的制作方法有很多,这里我们介绍用已有门电路的组合方法来实现异或门。如下图2.1所示就是通过组合实现异或门
![](https://i-blog.csdnimg.cn/blog_migrate/a2c106292707120d099b81d7fc684215.jpeg)
下图2.2为异或门的真值表,确认组合是否满足异或门的条件。
![](https://i-blog.csdnimg.cn/blog_migrate/c63957aef5e7825dffc79e8ff676d6ff.png)
2.2异或门的代码实现
因为之前我们已经了解完与门、与非门、或门的代码,所以编写异或门的代码是非常的简单的,也只是把代码组合就好。
from and_gate import AND
from or_gate import OR
from nand_gate import NAND
def XOR(x1, x2):
s1 = NAND(x1, x2)
s2 = OR(x1, x2)
y = AND(s1, s2)
return y
下面我们再来考虑用感知机的形式将这个过程描绘出来。如图2.3所示,异或门是一种多层结构的神经网络。最左边一层称为第0层,中间层为第1层,最右边称为第2层。异或门与与门、与非门、或门不一样。与门、与非门和或门是单层感知机,而异或门则为2层感知机,也被称为多层感知机。
![](https://i-blog.csdnimg.cn/blog_migrate/239105d0389a9bd066805971300a15bc.png)
目录
本文介绍了感知机有关的内容。我们知道感知机是具有输入和输出的算法。给定一个输入后,将输出一个既定的值;感知机将权重和偏置设定为参数;使用感知机可以表示与门、与非门和或门等逻辑电路;异或门可以通过两层感知机来表示;单层感知机只能表示线性空间,而多层可以表示非线性空间。感知机是学习神经网络的基础,所以了解感知机是非常重要的。
参考书目:《深度学习入门:基于python的理论与实现》