Xgboost模型之二特征重要性计算及模型的特征选择

XGBOOST模型对于一些场景有着不错的表现,切提供了一个很多的特征重要性的计算:

准备:

把一些用到的包安装一下,如xgboost,sklearn等

建议使用国内的镜像源,否则106M会让你等很久,

具体可以参考:

pip安装包较慢的解决办法_这孩子谁懂哈的博客-CSDN博客

1.使用的 Pima印第安人糖尿病的测试数据集;

下载地址:皮马印第安人糖尿病数据集免费下载分享-机器学习文档类资源-CSDN下载

2.计算特征重要性:

# plot feature importance manually
from numpy import loadtxt
from xgboost import XGBClassifier
from xgboost import plot_importance
from matplotlib import pyplot
import sklearn
# load data   FE_pima-indians-diabetes.csv
dataset = loadtxt(r'C:\Users\Administrator\Desktop\pima-indians-diabetes.csv', delimiter=",",skipro
  • 1
    点赞
  • 27
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
好的,以下是一个简单的 R 语言示例代码,用于构建 XGBoost 分类模型并输出特征重要性: ```R # 加载必要的包 library(xgboost) library(caret) library(MLmetrics) # 读取数据集 data <- read.csv("your_data.csv") # 划分数据集 set.seed(123) trainIndex <- createDataPartition(data$target, p = 0.7, list = FALSE) train <- data[trainIndex, ] test <- data[-trainIndex, ] # 定义 XGBoost 模型参数 params <- list( objective = "binary:logistic", eval_metric = "auc", max_depth = 3, eta = 0.1, gamma = 0.5, subsample = 0.8, colsample_bytree = 0.8, min_child_weight = 1, nthread = 4 ) # 训练 XGBoost 模型 xgb_model <- xgboost( data = as.matrix(train[, -1]), label = train$target, nrounds = 100, early_stopping_rounds = 10, params = params, verbose = 0 ) # 预测测试集 test_pred <- predict(xgb_model, as.matrix(test[, -1])) # 输出模型评估指标 print(paste("Accuracy:", round(Accuracy(test$target, ifelse(test_pred > 0.5, 1, 0)), 4))) print(paste("AUC:", round(AUC(test$target, test_pred), 4))) # 输出特征重要性 importance <- xgb.importance(colnames(train[, -1]), model = xgb_model) xgb.plot.importance(importance) ``` 在这个例子中,我们首先加载了必要的包并读取了 CSV 格式的数据集。然后,我们使用 `createDataPartition` 函数将数据集划分为训练集和测试集。接下来,我们定义了 XGBoost 模型的参数,并使用 `xgboost` 函数训练了模型。然后,我们对测试集进行了预测并输出了一些模型评估指标。最后,我们使用 `xgb.importance` 函数计算特征重要性,并使用 `xgb.plot.importance` 函数将其可视化。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值