朴素贝叶斯(Naive Bayes)是一种基于贝叶斯定理的简单但有效的分类算法。朴素贝叶斯算法假设特征之间是独立的,这就是“朴素”的来源。下面是使用Python实现朴素贝叶斯分类器的代码示例。
import numpy as np
class NaiveBayes:
def __init__(self):
self.classes = None
self.mean = None
self.var = None
self.priors = None
def fit(self, X, y):
n_samples, n_features = X.shape
self.classes = np.unique(y)
n_classes = len(self.classes)
self.mean = np.zeros((n_classes, n_features), dtype=np.float64)
self.var = np.zeros((n_classes, n_features), dtype=np.float64)
self.priors = np.zeros(n_classes, dtype=np.float64)
for idx, c in enumerate(self.classes):
X_c = X[y == c]
self.mean[idx, :] = X_c.mean(axis=0)
self.var[idx, :] = X_c.var(axis=0)
self.priors[idx] = X_c.shape[0] / float(n_samples)
def _calculate_probability(self, class_idx, x):
mean = self.mean[class_idx]
var = self.var[class_idx]
numerator = np.exp(- (x - mean) ** 2 / (2 * var))
denominator = np.sqrt(2 * np.pi * var)
return numerator / denominator
def _calculate_class_probabilities(self, x):
posteriors = []
for idx, c in enumerate(self.classes):
prior = np.log(self.priors[idx])
class_conditional = np.sum(np.log(self._calculate_probability(idx, x)))
posterior = prior + class_conditional
posteriors.append(posterior)
return self.classes[np.argmax(posteriors)]
def predict(self, X):
y_pred = [self._calculate_class_probabilities(x) for x in X]
return np.array(y_pred)
# 测试朴素贝叶斯分类器
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
from sklearn.metrics import accuracy_score
# 加载数据集
data = load_iris()
X, y = data.data, data.target
# 分割数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 训练模型
nb = NaiveBayes()
nb.fit(X_train, y_train)
# 预测
y_pred = nb.predict(X_test)
# 输出准确率
print(f"Accuracy: {accuracy_score(y_test, y_pred):.4f}")
代码说明:
-
类初始化 (
__init__
):self.classes
:存储所有唯一的类标签。self.mean
和self.var
:存储每个类对应的均值和方差。self.priors
:存储每个类的先验概率。
-
模型训练 (
fit
):- 计算每个类的均值、方差以及先验概率。
-
计算概率 (
_calculate_probability
):- 使用高斯分布计算特定类下特征值的条件概率。
-
计算类的后验概率 (
_calculate_class_probabilities
):- 对每个类计算其后验概率,选择概率最大的类作为预测结果。
-
预测 (
predict
):- 对于测试数据中的每个样本,计算其属于每个类的概率,最终返回预测结果。
-
测试模型:
- 使用Iris数据集测试模型,计算其在测试集上的准确率。
运行结果:
上述代码将输出模型在测试集上的准确率。你可以运行此代码并根据需要调整数据集或参数。