特征处理--First_Chapter

最新推荐文章于 2024-09-11 18:01:31 发布
最新推荐文章于 2024-09-11 18:01:31 发布
阅读量157 收藏
点赞数
分类专栏： 特征处理 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyoulanxin/article/details/108856658
版权

数据处理

一、数据抽取

1.CountVectorizer返回词频矩阵

英文分词
from sklearn.feature_extraction import DictVectorizer
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from sklearn.preprocessing import MinMaxScaler, StandardScaler, Imputer
from sklearn.feature_selection import VarianceThreshold
from sklearn.decomposition import PCA
import jieba
import numpy as np
                              

"""

CountVectorizer(max_df=1.0,min_df=1,…)

max_df：可以设置为范围在[0.0 1.0]的float，也可以设置为没有范围限制的int，默认为1.0。
这个参数的作用是作为一个阈值，当构造语料库的关键词集的时候，如果某个词的document frequence大于max_df，这个词不会被当作关键词。
如果这个参数是float，则表示词出现的次数与语料库文档数的百分比，如果是int，则表示词出现的次数。
如果参数中已经给定了vocabulary，则这个参数无效

min_df：类似于max_df，不同之处在于如果某个词的document frequence小于min_df，则这个词不会被当作关键词


CountVectorizer.fit_transform(X,y)       
X:文本或者包含文本字符串的可迭代对象
返回值：返回sparse矩阵

CountVectorizer.inverse_transform(X)
X:array数组或者sparse矩阵
返回值:转换之前数据格式

CountVectorizer.get_feature_names()
返回值:单词列表


"""

vector = CountVectorizer()

res = vector.fit_transform(["life is short,i like python","life is too long,i dislike python"])

print(vector.get_feature_names())

print(res.toarray())

print(vector.inverse_transform(res))

结果：
['dislike', 'is', 'life', 'like', 'long', 'python', 'short', 'too']
[[0 1 1 1 0 1 1 0]
 [1 1 1 0 1 1 0 1]]
[array(['python', 'like', 'short', 'is', 'life'], dtype='<U7'), array(['dislike', 'long', 'too', 'python', 'is', 'life'], dtype='<U7')]

vector = CountVectorizer(min_df=2)

res = vector.fit_transform(["life is short,i like python","life is too long,i dislike python"])

print(vector.get_feature_names())

print(res.toarray())

结果：
['is', 'life', 'python']
[[1 1 1]
 [1 1 1]]
中文分词
def countvec():
    """
    对文本进行特征值化
    :return: None
    """
    cv = CountVectorizer()

    data = cv.fit_transform(["人生 苦短，我 喜欢 python", "人生漫长，不用 python"])

    print(cv.get_feature_names())

    print(data.toarray())

    return None
countvec()
结果：
['python', '不用', '人生', '人生漫长', '喜欢', '苦短']
[[1 0 1 0 1 1]
 [1 1 0 1 0 0]]

def cutword():

    con1 = jieba.cut("今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。")

    con2 = jieba.cut("我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。")

    con3 = jieba.cut("如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。")

    # 转换成列表
    content1 = list(con1)
    content2 = list(con2)
    content3 = list(con3)

    # 吧列表转换成字符串
    c1 = ' '.join(content1)
    c2 = ' '.join(content2)
    c3 = ' '.join(content3)

    return c1, c2, c3


def hanzivec():
    """
    中文特征值化
    :return: None
    """
    c1, c2, c3 = cutword()

    print(c1, c2, c3)

    cv = CountVectorizer()

    data = cv.fit_transform([c1, c2, c3])

    print(cv.get_feature_names())

    print(data.toarray())

    return None
hanzivec()

结果：
今天 很 残酷 ， 明天 更 残酷 ， 后天 很 美好 ， 但 绝对 大部分 是 死 在 明天 晚上 ， 所以 每个 人 不要 放弃 今天 。 我们 看到 的 从 很 远 星系 来 的 光是在 几百万年 之前 发出 的 ， 这样 当 我们 看到 宇宙 时 ， 我们 是 在 看 它 的 过去 。 如果 只用 一种 方式 了解 某样 事物 ， 你 就 不会 真正 了解 它 。 了解 事物 真正 含义 的 秘密 取决于 如何 将 其 与 我们 所 了解 的 事物 相 联系 。
['一种', '不会', '不要', '之前', '了解', '事物', '今天', '光是在', '几百万年', '发出', '取决于', '只用', '后天', '含义', '大部分', '如何', '如果', '宇宙', '我们', '所以', '放弃', '方式', '明天', '星系', '晚上', '某样', '残酷', '每个', '看到', '真正', '秘密', '绝对', '美好', '联系', '过去', '这样']
[[0 0 1 0 0 0 2 0 0 0 0 0 1 0 1 0 0 0 0 1 1 0 2 0 1 0 2 1 0 0 0 1 1 0 0 0]
 [0 0 0 1 0 0 0 1 1 1 0 0 0 0 0 0 0 1 3 0 0 0 0 1 0 0 0 0 2 0 0 0 0 0 1 1]
 [1 1 0 0 4 3 0 0 0 0 1 1 0 1 0 1 1 0 1 0 0 1 0 0 0 1 0 0 0 2 1 0 0 1 0 0]]

2.TfidfVectorizer(stop_words=None,…)返回词的权重矩阵

"""
TfidfVectorizer.fit_transform(X,y)       
X:文本或者包含文本字符串的可迭代对象

返回值：返回sparse矩阵
TfidfVectorizer.inverse_transform(X)
X:array数组或者sparse矩阵
返回值:转换之前数据格式

TfidfVectorizer.get_feature_names()
返回值:单词列表

"""

def tfidfvec():
    """
    中文特征值化
    :return: None
    """
    c1, c2, c3 = cutword()

    print(c1, c2, c3)

    tf = TfidfVectorizer()

    data = tf.fit_transform([c1, c2, c3])

    print(tf.get_feature_names())

    print(data.toarray())

    return None

tfidfvec()

结果:
今天 很 残酷 ， 明天 更 残酷 ， 后天 很 美好 ， 但 绝对 大部分 是 死 在 明天 晚上 ， 所以 每个 人 不要 放弃 今天 。 我们 看到 的 从 很 远 星系 来 的 光是在 几百万年 之前 发出 的 ， 这样 当 我们 看到 宇宙 时 ， 我们 是 在 看 它 的 过去 。 如果 只用 一种 方式 了解 某样 事物 ， 你 就 不会 真正 了解 它 。 了解 事物 真正 含义 的 秘密 取决于 如何 将 其 与 我们 所 了解 的 事物 相 联系 。
['一种', '不会', '不要', '之前', '了解', '事物', '今天', '光是在', '几百万年', '发出', '取决于', '只用', '后天', '含义', '大部分', '如何', '如果', '宇宙', '我们', '所以', '放弃', '方式', '明天', '星系', '晚上', '某样', '残酷', '每个', '看到', '真正', '秘密', '绝对', '美好', '联系', '过去', '这样']
[[0.         0.         0.21821789 0.         0.         0.
  0.43643578 0.         0.         0.         0.         0.
  0.21821789 0.         0.21821789 0.         0.         0.
  0.         0.21821789 0.21821789 0.         0.43643578 0.
  0.21821789 0.         0.43643578 0.21821789 0.         0.
  0.         0.21821789 0.21821789 0.         0.         0.        ]
 [0.         0.         0.         0.2410822  0.         0.
  0.         0.2410822  0.2410822  0.2410822  0.         0.
  0.         0.         0.         0.         0.         0.2410822
  0.55004769 0.         0.         0.         0.         0.2410822
  0.         0.         0.         0.         0.48216441 0.
  0.         0.         0.         0.         0.2410822  0.2410822 ]
 [0.15698297 0.15698297 0.         0.         0.62793188 0.47094891
  0.         0.         0.         0.         0.15698297 0.15698297
  0.         0.15698297 0.         0.15698297 0.15698297 0.
  0.1193896  0.         0.         0.15698297 0.         0.
  0.         0.15698297 0.         0.         0.         0.31396594
  0.15698297 0.         0.         0.15698297 0.         0.        ]]

3.DictVectorizer(# 将字典中非数值型数据转化为one_hot编码)

"""
实例化过程中可将sparse设置为False,返回数组
DictVectorizer.fit_transform(X)
X:字典或者包含字典的迭代器,返回sparse矩阵

DictVectorizer.inverse_transform(X)
返回之前数据格式

DictVectorizer.get_feature_names()
返回类别名称

DictVectorizer.transform(X)
按照原先标准进行转换

实例化过程中sparse=True,返回数组
返回值可用toarray（）转化为数组

"""

def dictvec():
    """
    字典数据抽取
    :return: None
    """
    # 实例化
    dict = DictVectorizer(sparse=False)

    # 调用fit_transform
    data = dict.fit_transform([{'city': '北京','weather':'cold','temperature': 100}, {'city': '上海','weather':'warm','temperature':60}, {'city': '深圳','weather':'hot','temperature': 30}])
    
    print(data)
    
    print(dict.get_feature_names())
    
    print(dict.inverse_transform(data))

    return None
dictvec()

结果：
[[  0.   1.   0. 100.   1.   0.   0.]
 [  1.   0.   0.  60.   0.   0.   1.]
 [  0.   0.   1.  30.   0.   1.   0.]]
['city=上海', 'city=北京', 'city=深圳', 'temperature', 'weather=cold', 'weather=hot', 'weather=warm']
[{'city=北京': 1.0, 'temperature': 100.0, 'weather=cold': 1.0}, {'city=上海': 1.0, 'temperature': 60.0, 'weather=warm': 1.0}, {'city=深圳': 1.0, 'temperature': 30.0, 'weather=hot': 1.0}]

def dictvec():
    """
    字典数据抽取
    :return: None
    """
    # 实例化
    dict = DictVectorizer(sparse=True)

    # 调用fit_transform
    data = dict.fit_transform([{'city': '北京','temperature': 100}, {'city': '上海','temperature':60}, {'city': '深圳','temperature': 30}])
    
    print(data)
    
    print(data.toarray())

    print(dict.get_feature_names())

    print(dict.inverse_transform(data))

    return None
dictvec()

结果：
def dictvec():
    """
    字典数据抽取
    :return: None
    """
    # 实例化
    dict = DictVectorizer(sparse=True)

    # 调用fit_transform
    data = dict.fit_transform([{'city': '北京','temperature': 100}, {'city': '上海','temperature':60}, {'city': '深圳','temperature': 30}])
    
    print(data)
    
    print(data.toarray())

    print(dict.get_feature_names())

    print(dict.inverse_transform(data))

    return None
dictvec()
1
def dictvec():
2
    """
3
    字典数据抽取
4
    :return: None
5
    """
6
    # 实例化
7
    dict = DictVectorizer(sparse=True)
8
​
9
    # 调用fit_transform
10
    data = dict.fit_transform([{'city': '北京','temperature': 100}, {'city': '上海','temperature':60}, {'city': '深圳','temperature': 30}])
11
    
12
    print(data)
13
    
14
    print(data.toarray())
15
​
16
    print(dict.get_feature_names())
17
​
18
    print(dict.inverse_transform(data))
19
​
20
    return None
21
dictvec()
  (0, 1)	1.0
  (0, 3)	100.0
  (1, 0)	1.0
  (1, 3)	60.0
  (2, 2)	1.0
  (2, 3)	30.0
[[  0.   1.   0. 100.]
 [  1.   0.   0.  60.]
 [  0.   0.   1.  30.]]
['city=上海', 'city=北京', 'city=深圳', 'temperature']
[{'city=北京': 1.0, 'temperature': 100.0}, {'city=上海': 1.0, 'temperature': 60.0}, {'city=深圳': 1.0, 'temperature': 30.0}]

二、特征处理

1.归一化

def mm():
    """
    归一化处理
    :return: NOne
    """
    mm = MinMaxScaler(feature_range=(2, 3))

    data = mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]])

    print(data)

    return None
mm()

结果：
[[3.         2.         2.         2.        ]
 [2.         3.         3.         2.83333333]
 [2.5        2.5        2.6        3.        ]]

2.标准化

def stand():
    """
    标准化缩放
    :return:
    """
    std = StandardScaler()

    data = std.fit_transform([[ 1., -1., 3.],[ 2., 4., 2.],[ 4., 6., -1.]])

    print(data)

    return None
stand()

结果：
[[-1.06904497 -1.35873244  0.98058068]
 [-0.26726124  0.33968311  0.39223227]
 [ 1.33630621  1.01904933 -1.37281295]]

3.缺失值处理

def im():
    """
    缺失值处理
    :return:NOne
    """
    # NaN, nan
    im = Imputer(missing_values='NaN', strategy='mean', axis=0)

    data = im.fit_transform([[1, 2], [np.nan, 3], [7, 6]])

    print(data)

    return None
im()

结果：
[[1. 2.]
 [4. 3.]
 [7. 6.]]

4.特征选择(删除低方差特征)

def var():
    """
    特征选择-删除低方差的特征
    :return: None
    """
    var = VarianceThreshold(threshold=1.0)

    data = var.fit_transform([[0, 2, 0, 3], [0, 1, 4, 3], [0, 1, 1, 3]])

    print(data)
    return None
var()

结果：
[[0]
 [4]
 [1]]

5.PCA降维

def pca():
    """
    主成分分析进行特征降维
    :return: None
    """
    pca = PCA(n_components=0.9)

    data = pca.fit_transform([[2,8,4,5],[6,3,0,8],[5,4,9,1]])

    print(data)

    return None
pca()

结果：
[[ 1.22879107e-15  3.82970843e+00]
 [ 5.74456265e+00 -1.91485422e+00]
 [-5.74456265e+00 -1.91485422e+00]]
蔚蓝祥和的天空
关注
专栏目录
python爬虫-----网络数据分析_正则表达式，xpath库，BeautifulSoup库
weixin_44568633的博客
04-23 1346
文章目录python爬虫-----网络数据分析一、正则表达式1.为什么要学正则表达式2.什么是正则表达式3.re 模块一般使用步骤Pattern 对象正则表达式实现步骤4.正则split和sub5.常用的正则常量项目案例：基于requests和正则 的猫眼电影TOP100定向爬虫报错二、xpath库1.XPath如何实现文档解析?2.xpath用法项目案例：基于requerts和Xpath的猫眼电...
ml-100k推荐数据_ML-了解统计数据
cunzai1985的博客
09-24 1229
ML-了解统计数据 (ML - Understanding Data with Statistics) Advertisements 广告 Previous Page 上一页 Next Page 下一页 介绍 (Introduction) While working with machine learning projects, usually we ign...
特征处理（Feature Processing）
yuzhi829的专栏
07-08 2374
原文链接：http://breezedeus.github.io/2014/11/15/breezedeus-feature-processing.html 特征工程（Feature Engineering）经常被说为机器学习中的black art，这里面包含了很多不可言说的方面。怎么处理好特征，最重要的当然还是对要解决问题的了解。但是，它其实也有很多科学的地方。这篇文章我之所以命名为特
sklearn——CountVectorizer详解
热门推荐
欢迎光临啊噗不是阿婆主的酒馆
09-02 15万+
参考如下链接整理： http://stackoverflow.com/questions/27488446/scikit-learn-countvectorizer http://www.itkeyword.com/doc/4813494854317445586/TfidfVectorizer-sklearn-CountVectorizer 这个链接写的很棒,主要参考他的： https:/...
sklearn文本特征提取
du_qi的博客
06-02 1万+
sklearn中一般使用CountVectorizer和TfidfVectorizer这两个类来提取文本特征，sklearn文档中对这两个类的参数并没有都解释清楚，本文的主要目的就是解释这两个类的参数的作用 （1）CountVectorizer class sklearn.feature_extraction.text.CountVectorizer(input='content'
ffmpeg学习日记502-源码-ffmpeg_parse_options()函数分析
WenCoo的博客
03-31 1252
源码分析一分析到了parse_loglevel()，继续往下，接下来代码如下： //argv[1]中包含”-d”，则进入if逻辑，回调log_callback_null函数内容是空的，ffmpeg的指令中也没有单独找到”-d”的选项，都是与”n”结合的，所以，这里的代码是什么意思，没有想明白 if(argc>1 && !strcmp(argv[1], "-d")){ run_as_daemon=1; av_log_set_callback(log_cal
在ROS使用 Kinect 完成3D图像处理（1）-- 测试OpenNI_camera
Combine Art and Sciences.
09-15 4711
认识kinect 3D摄像头： https://en.wikipedia.org/wiki/Kinect 有两个包，支持kinect在ROS上的运行： openni_camera & openni_launch, 前者应该是driver, 后者应该是运行程序。 ROS Package: http://wiki.ros.org/openni_camera
byteArray的妙用Chapter 1 - The first bits
10-12
本章我们将深入探讨byteArray的妙用，特别是如何利用其处理二进制信息，即"The first bits"。 首先，我们来理解一下什么是byteArray。在Java中，一个byteArray是一个固定大小的数组，每个元素都是一个字节（8位），...
Head First Python 学习笔记-Chapter5：数据处理
生命在于折腾
08-27 1372
本章的目的是学习简单的数据处理，首先给出了一些文本数据，需要将这些文本数据读取，并转换为列表，然后对列表中的数据进行统一格式化，最后进行排序。
蒙特卡罗方法——布丰投针实验近似计算圆周率python代码实现
2301_79376014的博客
09-09 495
蒙特卡罗——布丰实验
pip-tools：打造可重复、可控的 Python 开发环境，解决依赖关系，让代码更稳定
weixin_53707653的博客
09-09 836
是一个强大且易用的工具，可以帮助开发者轻松管理 Python 项目的依赖关系，确保代码的可重复性和稳定性。是一组命令行工具，旨在简化 Python 依赖关系的管理，确保项目环境的稳定性和可重复性。可以确保每次构建环境时都使用相同的依赖项版本，从而避免由于依赖项版本不一致导致的错误，提高代码可重复性和稳定性。自动化了依赖关系管理过程，节省了开发者的时间和精力，可以将更多时间投入到实际的开发工作中。文件中的信息，更新虚拟环境，安装、升级或卸载所需的软件包，确保虚拟环境与。命令可以从你的项目配置文件中生成。
Python实现多线程、多进程及协程
qq_42568323的博客
09-09 1083
本文详细介绍了 Python 中多线程、多进程和协程的并发模型及其实现方式，并通过具体场景演示了如何使用面向对象思想实现这些模型。在实际应用中，应根据任务的类型和需求选择合适的并发模型，从而优化程序的性能和资源利用率。本文将详细介绍 Python 中的多线程、多进程和协程的概念及其实现方式，并通过具体场景展示如何在 Python 中使用面向对象的思想实现这些并发模型。接下来，我们通过一个计算密集型任务的示例来演示多进程的实现：计算一系列大数字的阶乘。主程序中创建并启动了多个计算进程，并使用。
[Python]生成器和yield关键字
weixin_57336987的博客
09-07 449
概述:​ 它指的是 generator, 类似于以前学过的: 列表推导式, 集合推导式, 字典推导式…作用:​ 降低资源消耗, 快速(批量)生成数据.实现方式:​ 1.推导式写法.​ 2.yield写法.yield i # yield会记录每个生成的数据, 然后逐个的放到生成器对象中, 最终返回生成器对象.问题: 如何从生成器对象中获取数据?​ 答案:​ 1.for循环遍历​ 2.next()函数, 逐个获取.
Django-Celery-Flower实现异步和定时爬虫及其监控邮件告警
最新发布
weixin_50556117的博客
09-11 1038
【代码】Django-Celery-Flower实现异步和定时爬虫及其监控邮件告警。
程序的格式框架与缩进
qq_57335683的博客
09-08 378
在上一课时中，我们介绍了 Python 的基本概念，并成功运行了第一个 Python 程序。本课时将深入探讨 Python 程序的基本结构、缩进的重要性，以及如何正确使用注释。通过本课时的学习，你将更好地理解 Python 代码的组织方式，并能够避免一些常见的编程错误。通过本课时的学习，你了解了 Python 程序的基本结构，认识到缩进在 Python 中的重要性，并学会了如何避免常见的缩进错误。缩进不仅是 Python 代码风格的一部分，而且是语法的一部分。这意味着如果缩进不正确，程序将无法正常运行。
币安/OK现货合约量化系统APP开发
I592O929783的博客
09-08 621
后端：考虑系统需要处理大量实时数据和高频交易的特点，选择高性能的编程语言和技术框架，如Python的Django或Flask框架，Java的Spring Boot等。用户交互界面：设计直观易用的用户交互界面，包括交易界面、策略配置界面、风险管理界面等，方便用户进行交易操作、策略配置和风险管理。市场数据接入：开发市场数据接入模块，从币安等交易所或数据服务商获取实时的市场数据，包括行情数据、订单簿数据、成交数据等。前端：选择适合开发复杂界面的前端框架，如React、Vue.js等，以提供用户友好的交互界面。
Python 检测人脸筛选指定尺寸人脸图片
刚刚入门的小码农
09-09 676
主要功能是处理一个指定文件夹中的所有图像文件（.jpg和.png），并根据图像中检测到的人脸特征，筛选和移动符合条件的图像。
JIT编译器
Flying_Fish_roe的博客
09-11 548
JIT（Just-In-Time，实时编译）编译器是 Java 虚拟机（JVM）中的一项重要技术，用于将 Java 字节码（Bytecode）在运行时动态编译为机器码。Java 程序最初通过编译器（如javac）将源代码编译为字节码，字节码在 JVM 中解释执行。然而，由于解释执行每次都需要逐条翻译字节码指令为机器指令，这种方式效率较低。为了解决性能问题，JIT 编译器在程序运行时将热点代码编译为机器码，从而提高运行效率。JIT 编译器是 Java“编译型”和“解释型”语言的结合特性的重要体现之一。
iOS开发入门：Objective-C指南
3. **Chapter 2: Write Your First Hello World! Application**：这一章通常会引导读者编写第一个简单的“Hello, World!”应用，这是一个常见的编程入门示例，用于演示基本的代码结构和输出机制。 4. **Chapter 3: ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值