机器学习算法之感知机模型算法原理及实现


感知机是一种二分类线性模型,属于判别模型

1 算法原理

1.1 感知机模型

  1. 输入空间: X ⊆ R n X \subseteq R^{n} XRn
  2. 输入变量: x ∈ X x \in X xX
  3. 输出空间: Y = { + 1 , − 1 } Y=\{+1,-1\} Y={ +1,1}
  4. 输出变量: y ∈ { + 1 , − 1 } y \in\{+1,-1\} y{ +1,1}
  5. 假设空间: f ( x ) = sign ⁡ ( w ⋅ x + b ) f(x)=\operatorname{sign}(w \cdot x+b) f(x)=sign(wx+b)
  6. 相关说明: 输入变量是一个维向量, 表示该实例是正类, 表示该实例是负类。
    感知机模型
    如图,输入空间为两维,即 X ⊆ R 2 X \subseteq R^{2} XR2 x ( 1 ) x^{(1)} x(1) x ( 2 ) x^{(2)} x(2)表示实例的两个特征分量,然后根据训练集中每一个实例在这两个输入变量上的取值,将其划分到输入空间中对应的点,实例就是由图中的 ∘ \circ × \times ×表示的,其中 ∘ \circ 表示正类, 表示 × \times ×负类。
    感知机模型的输入变量是线性可分的,即图中的点可以使用一条直线分开。在直线上方的是正类,下方的是负类。该直线的表示形式为: w 1 x ( 1 ) + w 2 x ( 2 ) + b = 0 w_{1} x^{(1)}+w_{2} x^{(2)}+b=0 w1x(1)+w2x(2)+b=0,该平面中所有的直线构成该模型的假设空间。则实例分类按照如下公式:
    w 1 x ( 1 ) + w 2 x ( 2 ) + b { ⩾ 0 正例 < 0 负例 w_{1} x^{(1)}+w_{2} x^{(2)}+b\left\{\begin{array}{l}{\geqslant 0} & {\text {正例} }\\ {<0}& {\text {负例} }\end{array}\right. w1x(1)+w2x(2)+b{ 0<0正例负例
    假设空间:
    f ( x ) = sign ⁡ ( w ⋅ x + b ) = { + 1 w ⋅ x + b ⩾ 0 − 1 w ⋅ x + b < 0 f(x)=\operatorname{sign}(w \cdot x+b)=\left\{\begin{array}{ll}{+1} & {w \cdot x+b \geqslant 0} \\ {-1} & {w \cdot x+b<0}\end{array}\right. f(x)=sign(wx+b)={ +11wx+b0wx+b<0
    其中 w w w n n n维向量。
    w ⋅ x = w 1 x ( 1 ) + w 1 x ( 1 ) + ⋯ + w n x ( n ) w \cdot x=w_{1} x^{(1)}+w_{1} x^{(1)}+\cdots+w_{n} x^{(n)} wx=w1x(1)+w1x(1)++wnx(n)
    总结: 在感知机模型中,假设空间是关于输入变量的线性函数,再取其符号函数。取符号函数的目的是输出变量是需要分类的,为+1或-1。

1.2 感知机学习策略

1.2.1 损失函数

所有误分类点到分类超平面的距离和:
L ( w , b ) = − ∑ x i ∈ M y i ( w ⋅ x i + b ) L(w, b)=-\sum_{x_{i} \in M} y_{i}\left(w \cdot x_{i}+b\right) L(w,b)=xiMyi(wxi+b)
M M M为总体中误分类实例的集合。

1.2.2 损失函数推导

感知机模型中,损失函数定义如下:误分类的实例到分类超平面的距离。
对于任意实例 x i x_i xi到超平面的距离为 ∣ w ⋅ x i + b ∣ ∥ w ∥ \frac{\left|w \cdot x_{i}+b\right|}{\|w\|} wwxi+b,其中 ∥ w ∥ = w 1 2 + ⋯ + w n 2 \|w\|=\sqrt{w_{1}^{2}+\cdots+w_{n}^{2}} w=w12++wn2 ,误分类实例 x i x_i xi到超平面的距离等价于
− y i ( w ⋅ x i + b ) ∥ w ∥ \frac{-y_{i}\left(w \cdot x_{i}+b\right)}{\|w\|} wyi(wxi+b)
因为 ∣ w ⋅ x i + b ∣ \left|w \cdot x_{i}+b\right| wxi+b带有绝对值符号,对于误分类实例 y i ( w ⋅ x i + b ) < 0 y_{i}\left(w \cdot x_{i}+b\right)<0 yi(wxi+b)<0,因此加上符号使其始终为正。
对于: − y i ( w ⋅ x i + b ) ∥ w ∥ \frac{-y_{i}\left(w \cdot x_{i}+b\right)}{\|w\|} wyi(wxi+b)
计算其最小值,只需计算:
− ∑ x i ∈ M y i ( w ⋅ x i + b ) -\sum_{x_{i} \in M} y_{i}\left(w \cdot x_{i}+b\right) xiMyi(wxi+b)
**附:**超平面:在输入变量是2维的时候,用一条直线来分类的,当输入变量是3维的时候,用一个平面类划分,当输入变量是4维的时候,用一个3维的平面来划分,这个时候,该平面被称为超平面。当输入变量是 n n n维的时候,用一个 n − 1 n-1 n1维的超平面来分类,所以就用超平面来表示分割平面。

1.3 感知机学习算法

1.3.1 感知机学习算法的原始形式

算法1 随机梯度下降法
输入: 训练数据集 T = [ ( x 1 , y 1 ) , … , ( x N , y N ) ] T=\left[\left(x_{1}, y_{1}\right), \ldots,\left(x_{N}, y_{N}\right)\right] T=[(x1,y1),,(xN,yN)],学习率 η \eta η

  1. 初始化初值 w 0 w_0 w0, b 0 b_0 b0,即初始化假设空间中的一个模型

  2. 在训练集中选取数据 ( x i , y i ) \left(x_{i}, y_{i}\right) (xi,yi)

  3. 如果 y i ( w ⋅ x i + b ) ⩽ 0 y_{i}\left(w \cdot x_{i}+b\right) \leqslant 0 yi(wxi

  • 1
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
完整版:https://download.csdn.net/download/qq_27595745/89522468 【课程大纲】 1-1 什么是java 1-2 认识java语言 1-3 java平台的体系结构 1-4 java SE环境安装和配置 2-1 java程序简介 2-2 计算机中的程序 2-3 java程序 2-4 java类库组织结构和文档 2-5 java虚拟机简介 2-6 java的垃圾回收器 2-7 java上机练习 3-1 java语言基础入门 3-2 数据的分类 3-3 标识符、关键字和常量 3-4 运算符 3-5 表达式 3-6 顺序结构和选择结构 3-7 循环语句 3-8 跳转语句 3-9 MyEclipse工具介绍 3-10 java基础知识章节练习 4-1 一维数组 4-2 数组应用 4-3 多维数组 4-4 排序算法 4-5 增强for循环 4-6 数组和排序算法章节练习 5-0 抽象和封装 5-1 面向过程的设计思想 5-2 面向对象的设计思想 5-3 抽象 5-4 封装 5-5 属性 5-6 方法的定义 5-7 this关键字 5-8 javaBean 5-9 包 package 5-10 抽象和封装章节练习 6-0 继承和多态 6-1 继承 6-2 object类 6-3 多态 6-4 访问修饰符 6-5 static修饰符 6-6 final修饰符 6-7 abstract修饰符 6-8 接口 6-9 继承和多态 章节练习 7-1 面向对象的分析与设计简介 7-2 对象模型建立 7-3 类之间的关系 7-4 软件的可维护与复用设计原则 7-5 面向对象的设计与分析 章节练习 8-1 内部类与包装器 8-2 对象包装器 8-3 装箱和拆箱 8-4 练习题 9-1 常用类介绍 9-2 StringBuffer和String Builder类 9-3 Rintime类的使用 9-4 日期类简介 9-5 java程序国际化的实现 9-6 Random类和Math类 9-7 枚举 9-8 练习题 10-1 java异常处理 10-2 认识异常 10-3 使用try和catch捕获异常 10-4 使用throw和throws引发异常 10-5 finally关键字 10-6 getMessage和printStackTrace方法 10-7 异常分类 10-8 自定义异常类 10-9 练习题 11-1 Java集合框架和泛型机制 11-2 Collection接口 11-3 Set接口实现类 11-4 List接口实现类 11-5 Map接口 11-6 Collections类 11-7 泛型概述 11-8 练习题 12-1 多线程 12-2 线程的生命周期 12-3 线程的调度和优先级 12-4 线程的同 12-5 集合类的同问题 12-6 用Timer类调度任务 12-7 练习题 13-1 Java IO 13-2 Java IO原理 13-3 流类的结构 13-4 文件流 13-5 缓冲流 13-6 转换流 13-7 数据流 13-8 打印流 13-9 对象流 13-10 随机存取文件流 13-11 zip文件流 13-12 练习题 14-1 图形用户界面设计 14-2 事件处理机制 14-3 AWT常用组件 14-4 swing简介 14-5 可视化开发swing组件 14-6 声音的播放和处理 14-7 2D图形的绘制 14-8 练习题 15-1 反射 15-2 使用Java反射机制 15-3 反射与动态代理 15-4 练习题 16-1 Java标注 16-2 JDK内置的基本标注类型 16-3 自定义标注类型 16-4 对标注进行标注 16-5 利用反射获取标注信息 16-6 练习题 17-1 顶目实战1-单机版五子棋游戏 17-2 总体设计 17-3 代码实现 17-4 程序的运行与发布 17-5 手动生成可执行JAR文件 17-6 练习题 18-1 Java数据库编程 18-2 JDBC类和接口 18-3 JDBC操作SQL 18-4 JDBC基本示例 18-5 JDBC应用示例 18-6 练习题 19-1 。。。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值