zxl52012的博客

集成学习通过组合多个弱学习器构建更强模型。训练：依次训练多个弱模型预测：所有弱学习器联合决策优势：比单个模型更准、更稳、更不易过拟合集成学习 = 多个弱模型组合Bagging：并行、有放回、平权投票Boosting：串行、纠错、加权投票基于Bagging + 决策树有放回抽样随机选择部分特征训练多棵 CART 树平权投票输出结果随机森林 = Bagging + 决策树 + 双随机步骤：抽样 → 选特征 → 建多棵树 → 投票效果明显优于单决策树。

分数越高，聚类效果越好，它的目标是用尽量少的类别，聚类尽量多的样本，同时获得较好的效果。：综合衡量簇内的内聚程度和簇间的分离程度，取值 [-1,1]，值越大效果越好。：常用的样本相似度计算方法，衡量样本之间的差异，是聚类算法的基础相似度指标。：基于划分的聚类算法，通过质心将样本划分为指定数量的簇，是最常用的聚类算法。不同的相似度计算方法，会得到不同的聚类结果，常用的相似度计算方法有欧式距离法。：衡量簇内的聚合程度，值越小，簇内样本越接近，聚类效果越好。

摘要 混淆矩阵是评估分类模型性能的重要工具，通过对比预测结果与真实标签，揭示模型的预测准确性。核心指标包括真正例(TP)、伪反例(FN)、伪正例(FP)和真反例(TN)。精确率(查准率)衡量预测正例的准确性，召回率(查全率)评估正例的覆盖程度，F1-score则综合两者表现。在癌症预测等不平衡数据场景中，仅依赖准确率可能产生误导，需结合多个指标全面评估模型性能。实际应用中，可通过Python的sklearn库计算这些指标，为模型优化提供依据。

逻辑回归是一种经典的二分类算法，广泛应用于疾病预测、贷款审批、情感分析等场景。其核心是通过Sigmoid函数将线性回归输出转换为概率值，利用阈值判断完成分类。算法涉及边际概率、联合概率和条件概率等数学基础，采用二分类交叉熵作为损失函数，通过极大似然估计进行优化。实战中可使用sklearn的LogisticRegression API，案例演示了癌症分类预测的完整流程，包括数据预处理、标准化、模型训练与评估。逻辑回归将分类问题转化为概率预测，具有计算高效、解释性强的特点。

线性回归核心知识点摘要 本文系统介绍了线性回归的核心概念与应用。主要内容包括： 基础概念：定义线性回归模型，区分一元与多元线性回归，列举典型应用场景如房价预测等。 实践应用：通过身高预测体重的案例演示Sklearn API使用流程，包括数据准备、模型训练、参数查看和预测。 数学原理：解析线性回归四大要素（数据、模型、损失函数、优化方法），详细介绍导数、偏导数、矩阵运算等数学基础。 求解方法：对比正规方程法（直接计算）和梯度下降法（迭代优化）的原理、公式及适用场景。 评估指标：说明MAE、MSE、RMSE等常

KNN算法是一种基于距离度量的简单机器学习方法，核心思想是通过计算样本与K个最近邻居的距离进行分类（多数表决）或回归（平均值）。算法流程包括距离计算、排序、选取K个邻居和决策。常用距离度量有欧氏、曼哈顿和切比雪夫距离。K值选择对模型性能影响大，可通过网格搜索和交叉验证调优。特征预处理（归一化/标准化）是关键步骤，标准化更推荐。sklearn提供KNeighborsClassifier和KNeighborsRegressor API，适用于鸢尾花分类、手写数字识别等任务。KNN优点简单直观，缺点计算复杂度高、

AI → ML → DL 是包含关系学习方式分：规则学习、模型学习核心术语：样本、特征、标签、训练集 / 测试集四大算法：监督、无监督、半监督、强化学习建模六步：数据→处理→特征→训练→评估→上线特征工程决定模型上限欠拟合（太简单）、过拟合（太复杂）开发工具：scikit-learnAI的目标 → 用ML的方法实现 → 按数据类型选学习方式（监督/无监督等） → 按流水线建模（数据→特征→训练→评估） → 重点关注特征工程和过拟合/欠拟合问题 → 用scikit\-learn工具落地。