python特征选择


# -*- coding: UTF-8 -*-
import numpy as np
from sklearn.feature_selection import SelectKBest 
from sklearn.feature_selection import chi2
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score
from sklearn import cross_validation
###########################################
#卡方(Chi2)检验
e14601 = np.loadtxt(open("/home/zlf/Documents/e14601_data_set_n0.csv", "rb"), delimiter=",", skiprows=0)  

a = e14601.shape;
print(a[0], a[1]);

data = e14601[:, 0:a[1] - 1];
label = e14601[:, a[1] - 1];

select = 48
data_new = SelectKBest(chi2, select).fit_transform(data, label)
print(data_new.shape)

e14601_new = np.zeros([a[0], select+1])
e14601_new[:,:select] = data_new;
e14601_new[:,select] = label;
print(e14601_new.shape);

np.savetxt('/home/zlf/Documents/e14601_data_set_n0_select.csv', e14601_new, delimiter=',')

###########################################
# 基于模型的特征排序 (Model based ranking)
e14601 = np.loadtxt(open("/home/zlf/Documents/e14601_data_set.csv", "rb"), delimiter=",", skiprows=0)  
a = e14601.shape;
data = e14601[:, 0:a[1] - 1];
label = e14601[:, a[1] - 1];

rf = RandomForestClassifier(n_estimators=20, max_depth=4)
scores = []
# 单独采用每个特征进行建模,并进行交叉验证
for i in range(a[1]-1):
    score = cross_val_score(rf, data[:, i:i+1], label, scoring="accuracy",  # 注意X[:, i]和X[:, i:i+1]的区别
                            cv=cross_validation.ShuffleSplit(a[0], n_iter=3, test_size=0.3, random_state=0))
    scores.append((format(np.mean(score), '.3f'), i))
A = sorted(scores, reverse=True);
print(A)
print(A[0][1])

select = 48;
e14601_new = np.zeros([a[0], select+1])
print(e14601_new.shape)
for i in range(select):
    e14601_new[:, i]=e14601[:, A[i][1]]

e14601_new[:,select] = label;
print(e14601_new[:,0])
np.savetxt('/home/zlf/Documents/e14601_data_set_n0_select0.csv', e14601_new, delimiter=',')





  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python特征选择作为数据预处理的重要环节之一,通过对数据进行筛选和提取,将重要的特征筛选出来,提高分析模型的效率和准确度。Python本身提供了多种有用的特征选择技术,包括基于嵌入式特征选择、过滤式特征选择、Wrapper特征选择等。 其中,基于嵌入式特征选择是指直接将特征选择与模型的训练过程融合在一起,例如在决策树或支持向量机中,通过设置正则化项或损失函数的权重参数来进行特征选择。此方法的优点是可以直接针对模型进行特征选择而不影响训练过程,提高了模型的整体性能。 另一方面,过滤式特征选择是指利用一些统计分析方法来筛选出重要的特征,例如基于卡方检验、方差分析和相关系数等统计指标,在分析算法输入数据之前,先对数据进行特征选择。该方法的优点是可以高效筛选出重要的特征,并提升分析算法的性能。 最后,Wrapper特征选择是在特征选择与模型训练之间不断切换的一种方法,通过将特征的子集传入模型,利用模型的指标来评估特征的质量,并逐步剔除不重要的特征。这种方法的优点是能够充分利用模型的性能指标,精细地进行特征选择,提供了更好的特征选择结果。 总之,Python特征选择在数据分析中有着广泛的应用,为用户提供许多优秀的特征筛选算法,根据不同的需求和实际情况选择不同的特征选择算法,可以提高分析算法的效率和准确度,为用户提供更加精准的数据分析结果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值