总结起来,有以下几点不同:
(1) Naive Bayes是一个生成模型,在计算P(y|x)之前,先要从训练数据中计算P(x|y)和P(y)的概率,从而利用贝叶斯公式计算P(y|x)。
Logistic Regression是一个判别模型,它通过在训练数据集上最大化判别函数P(y|x)学习得到,不需要知道P(x|y)和P(y)。
(2) Naive Bayes是建立在条件独立假设基础之上的,设特征X含有n个特征属性(X1,X2,...Xn),那么在给定Y的情况下,X1,X2,...Xn是条件独立的。
Logistic Regression的限制则要宽松很多,如果数据满徐条件独立假设,Logistic Regression能够取得非常好的效果;当数据不满度条件独立假设时,Logistic Regression仍然能够通过调整参数让模型最大化的符合数据的分布,从而训练得到在现有数据集下的一个最优模型。
(3) 当数据集比较小的时候,应该选用Naive Bayes,为了能够取得很好的效果,数据的需求量为O(log n)
当数据集比较大的时候,应该选用Logistic Regression,为了能够取得很好的效果,数据的需求量为O( n)
Naive Bayes运用了比较严格
LR和贝叶斯的关系
最新推荐文章于 2024-06-09 11:47:12 发布
本文对比了LR(逻辑回归)和贝叶斯分类器(Naive Bayes)的异同。LR作为判别模型,不依赖条件独立假设,适合大数据集;而贝叶斯分类器是生成模型,依赖条件独立,适用于小数据集。两者都在特征线性和条件概率建模上有应用,但在相关特征处理和数据需求量上存在差异。
摘要由CSDN通过智能技术生成