lda 小说分析

re包=》正则匹配包=》匹配字符 =》https://www.cnblogs.com/helloczh/articles/1648029.html

CountVectorizer是通过fit_transform函数将文本中的词语转换为词频矩阵=》https://blog.csdn.net/weixin_38278334/article/details/82320307

 

argsort函数
argsort函数返回的是数组值从小到大的索引值

>>> x = np.array([3, 1, 2])
>>> np.argsort(x)
array([1, 2, 0])

 

a[::-1]相当于 a[-1:-len(a)-1:-1]，也就是从最后一个元素到第一个元素复制一遍，即倒序=》https://blog.csdn.net/u011010840/article/details/78861463

x="62425"
print(x[-1:-4:-1])   => 524

 

 

正则表达式：（）代表分组    \w 字母数字下划线   

（）=》https://www.cnblogs.com/pigwan7/p/7813757.htm

[...]

用来表示一组字符,单独列出：[amk] 匹配 'a'，'m'或'k'

$=>匹配字符串的末尾。

^[\u4E00-\u9FA5]+$=>这是专门用于匹配简体中文的正则表达式, 实际上繁体字也在里面, 我用测试器测试了下’中華人民共和國’, 也通过了

 

 

DictVectorizer =》https://vinking934296.iteye.com/blog/2320403

分类变量特征提取

分类数据的独热编码方法,分类变量特征提取(One-of-K or One-Hot Encoding):通过二进制数来表示每个解释变量的特征

例子：假设city变量有三个值：New York, San Francisco, Chapel Hill。独热编码方式就是用三位二进制数，每一位表示一个城市。

from sklearn.feature_extraction import DictVectorizer  
onehot_encoder = DictVectorizer()  
instances = [{'city':'New York','y':'New York'},{'city':'San Francisco'},{'city':'New York', 'Beth': '9102'},{'city1': 'Chapel Hill'}]  
print (onehot_encoder.fit_transform(instances))  
  

 (0, 2)        1.0
  (0, 4)	1.0
  (1, 3)	1.0
  (2, 0)	1.0
  (2, 2)	1.0
  (3, 1)	1.0

#第一行是字 典下标=》转为数组后的行    后面是value=》转为数组后的列  不同键值个数即为列数 =》用1填充数组

五个不同的键值编号  完了以后对应入矩阵

onehot_encoder.fit_transform(instances).toarray()

array([[0., 0., 1., 0., 1.],
       [0., 0., 0., 1., 0.],
       [1., 0., 1., 0., 0.],
       [0., 1., 0., 0., 0.]])