re包=》正则匹配包=》匹配字符 =》https://www.cnblogs.com/helloczh/articles/1648029.html
CountVectorizer是通过fit_transform函数将文本中的词语转换为词频矩阵=》https://blog.csdn.net/weixin_38278334/article/details/82320307
argsort函数
argsort函数返回的是数组值从小到大的索引值
>>> x = np.array([3, 1, 2])
>>> np.argsort(x)
array([1, 2, 0])
a[::-1]相当于 a[-1:-len(a)-1:-1],也就是从最后一个元素到第一个元素复制一遍,即倒序=》https://blog.csdn.net/u011010840/article/details/78861463
x="62425"
print(x[-1:-4:-1]) => 524
正则表达式:()代表分组 \w 字母数字下划线
()=》https://www.cnblogs.com/pigwan7/p/7813757.htm
[...] | 用来表示一组字符,单独列出:[amk] 匹配 'a','m'或'k' |
$=>匹配字符串的末尾。
^[\u4E00-\u9FA5]+$=>这是专门用于匹配简体中文的正则表达式, 实际上繁体字也在里面, 我用测试器测试了下’中華人民共和國’, 也通过了
DictVectorizer =》https://vinking934296.iteye.com/blog/2320403
分类变量特征提取
分类数据的独热编码方法,分类变量特征提取(One-of-K or One-Hot Encoding):通过二进制数来表示每个解释变量的特征
例子:假设city变量有三个值:New York, San Francisco, Chapel Hill。独热编码方式就是用三位二进制数,每一位表示一个城市。
from sklearn.feature_extraction import DictVectorizer
onehot_encoder = DictVectorizer()
instances = [{'city':'New York','y':'New York'},{'city':'San Francisco'},{'city':'New York', 'Beth': '9102'},{'city1': 'Chapel Hill'}]
print (onehot_encoder.fit_transform(instances))
(0, 2) 1.0
(0, 4) 1.0
(1, 3) 1.0
(2, 0) 1.0
(2, 2) 1.0
(3, 1) 1.0
#第一行是字 典下标=》转为数组后的行 后面是value=》转为数组后的列 不同键值个数即为列数 =》用1填充数组
五个不同的键值编号 完了以后对应入矩阵
onehot_encoder.fit_transform(instances).toarray()
array([[0., 0., 1., 0., 1.],
[0., 0., 0., 1., 0.],
[1., 0., 1., 0., 0.],
[0., 1., 0., 0., 0.]])