机器学习(周志华) 参考答案 第三章 线性模型 3.3

13 篇文章 0 订阅
8 篇文章 0 订阅

一:matlab实现
1.数据的Excel处理
这里写图片描述
西瓜数据集3.0

2.代码

# -*- coding: utf-8 -*-

old_l = 0;
n = 0;
b = [0;0;1]; %对应书中(3.25)下的B=(w;b),因为x有两个属性:密度,含糖率,所以有b三行,还有一个是w*x+b中的b。

x = xlsread('E:\Program Files\octave\西瓜3.0.xlsx', 'Sheet1', 'A1:Q3')
y = xlsread('E:\Program Files\octave\西瓜3.0.xlsx', 'Sheet1', 'A4:Q4')

while(1)
  cur_l = 0;
  bx = zeros(17,1);

  for i=1:17
    bx(i) = b.'*x(:,i);
    cur_l = cur_l + (-y(i)*bx(i)) + log(1+exp(bx(i))); %对应式(3.27end

  if abs(cur_l-old_l) < 0.0001
    break;
  end

  n += 1;
  old_l = cur_l;
  dl = 0;
  d2l = 0;

  for i=1:17 %牛顿法求解(3.29)
    pl(i) = 1 - 1 / (1+exp(bx(i)));
    dl = dl - x(:,i) * (y(i) - pl(i)); %(3.30)
    d2l += x(:,i) * x(:,i).'* pl(i)*(1-pl(i)); %(3.31end
  b -= d2l \ dl;
end

%绘图
for i=1:17
  if y(i) == 1
    plot(x(1,i),x(2,i),'+r');
    hold on;
  else if y(i) == 0
    plot(x(1,i),x(2,i),'og');
    hold on;
  end
end
end  


ply = -(0.1*b(1)+b(3))/b(2);
pry = -(0.9*b(1)+b(3))/b(2);     
line([0.1 0.9],[ply pry]);        

xlabel('density');
ylabel('Sugar content');
title('Rate regression');

3.绘图结果
这里写图片描述

二:Python实现
1.Excel处理数据
这里写图片描述

2.代码

# -*- coding: utf-8 -*-
#对率回归分类
import numpy as np
from numpy import linalg
import pandas as pd
#读取数据集
inputfile = 'E:/Program Files/octave/xigua.xlsx'
data_original = pd.read_excel(inputfile, 'Sheet1')
#数据的初步转化与操作--属性x变量2行17列数组,并添加一组1作为吸入的偏置x^=(x;1)
x=np.array([list(data_original[u'密度']),list(data_original[u'含糖率']),[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]])
y=np.array([1,1,1,1,1,1,1,1,0,0,0,0,0,0,0,0,0])
#定义初始参数
beta = np.array([[0],[0],[1]])       #β列向量
old_l = 0 #3.27式l值的记录,这是上一次迭代的l值
n=0

while 1:
    beta_T_x = np.dot(beta.T[0], x)  # 对β进行转置取第一行(因为β转置后是array([[0, 0, 1]],取第一行得到array([0, 0, 1])
                                      # ,再与x相乘(dot),beta_T_x表示β转置乘以x)
    cur_l = 0   #当前的l值
    for i in range(17):
        cur_l = cur_l + ( -y[i]*beta_T_x[i]+np.log(1+np.exp(beta_T_x[i])) )#计算当前3.27式的l值,这是目标函数,希望他越小越好
    #迭代终止条件
    if np.abs(cur_l - old_l) <= 0.000001:   #精度,二者差在0.000001以内就认为可以了,说明l已经很收敛了
        break               #满足条件直接跳出循环

    #牛顿迭代法更新β
    #求关于β的一阶导数和二阶导数
    n=n+1
    old_l = cur_l
    dbeta = 0
    d2beta = 0
    for i in range(17):
        dbeta = dbeta - np.dot(np.array([x[:,i]]).T,( y[i]-(  np.exp(beta_T_x[i])/(1+np.exp(beta_T_x[i])) ) )) #一阶导数
        d2beta =d2beta + np.dot(np.array([x[:,i]]).T,np.array([x[:,i]]).T.T) * (  np.exp(beta_T_x[i])/(1+np.exp(beta_T_x[i])) ) * (1-(  np.exp(beta_T_x[i])/(1+np.exp(beta_T_x[i])) ))
    beta = beta - np.dot(linalg.inv(d2beta),dbeta)
print('模型参数是:',beta)
print('迭代次数:',n)

3.运行结果
这里写图片描述

来源
用对数几率回归实现周志华《机器学习》习题3.3西瓜分类,python编程

机器学习(周志华) 参考答案 第三章 线性模型 3.3

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值