参数估计 python实践

1、背景想要探究movielens 1M评分数据的评分分布情况是否符合某种分布,做如下假设

2、理论推导 

 

3、算法实现 

3.1 数据准备工作

#导入所需要的库
import pandas as pd
import numpy as np
import math
import matplotlib.pyplot as plt
#数据的准备工作
with open("ratings.dat") as file:
    data = []
    for line in file:
        if len(line) != 0:
            data.append(int(line.split(",")[2]))

 rating 原始数据VS 单列的评分特征

原始数据
原始数据
处理后的特征数据
处理后的特征数据

 

 

# 计算theta值
def calTheta(data):
    sum = 0
    for num in data:
        sum += math.log(num,math.e)
    return sum/(len(data))

# 计算sigma值
def calSigma(data,theta):
    sum = 0
    for num in data:
        mid = math.log(num,math.e) - theta
        mid *= mid
        sum += mid
    return math.sqrt(sum/(len(data)))

# 画出图像
def drawP1(sigma,theta):
    x = np.linspace(1,5,5000)
    y = np.array([1/(sigma*i*math.sqrt(2*math.pi))*math.exp(-math.pow(math.log(i,math.e)-theta,2)/(2*sigma*sigma)) for i in x])
    maxNum = y.max()*1.2
    minNum = 0
    plt.plot(x,y)
    plt.ylim(minNum,maxNum)
    plt.show()
    print("sigma is {} theta is {}".format(sigma,theta))

# 主函数
if __name__ == '__main__':
    npdata = np.array(data)
    theta = calTheta(data)
    sigma = calSigma(data,theta)
    drawP1(sigma,theta)

运行结果为: 

 

 

假设二验证:

# 计算theta值
def calTheta(data):
    sum = 0
    for num in data:
        sum += num
    return sum/(len(data))

# 计算sigma值
def calSigma(data,theta):
    sum = 0
    for num in data:
        mid = num - theta
        mid *= mid
        sum += mid
    return math.sqrt(sum/(len(data)))

# 画出图像
def drawP1(sigma,theta):
    x = np.linspace(-10,10,5000)
    y = np.array([1/(sigma*math.sqrt(2*math.pi))*math.exp(-math.pow(i-theta,2)/(2*sigma*sigma)) for i in x])
    maxNum = y.max()*1.2
    minNum = 0
    plt.plot(x,y)
    plt.ylim(minNum,maxNum)
    plt.show()
# 主函数
if __name__ == '__main__':
#    data = readFile(path)
    npdata = np.array(data)
    theta = calTheta(data)
    sigma = calSigma(data,theta)
    drawP1(sigma,theta)

 运行结果:

 

 

实验结果分析

可以看出,由于最开始假设的概率密度函数的不同,即使使用同一份数据训练,也会得到完全不同的结果,也就是说,该实验结果可以表明,参数估计的方法的结果准确性极大地依赖于假设的概率密度分布是否正确

参考:

动手实践参数估计

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值