2018年10月_zkq_1986

原创【shell】从文本文件中随机选取若干条记录

shuf -n 1000 test.txt > sample_1000.txt用shuf命令，从test.txt中随机抽取1000条，存入sample_1000.txt

2018-10-31 16:38:30 4398 2

原创【Tensorflow】tensorboard的使用

代码例子：import tensorflow as tfclass TCNNConfig(object): # class TCNNConfig(filename): """CNN配置参数""" embedding_dim = 8 # 词向量维度 seq_length = 3 # 序列长度 num_classes = 2 # 类别数 ...

2018-10-25 16:03:26 368

原创【深度学习】卷积运算

1 卷积的目的卷积是为了进行特征提取。卷积的输出通常称为特征映射。在卷积网络的术语中，第一个参数通常叫输入（input），第二个参数叫核函数（kernel function），第三个参数被称为特征映射（feature map）。2 卷积运算卷积的运算分为没有翻转和有翻转两种。通常情况，我们只用没有翻转的方法。下面例子，是在一个二维张量上的卷积运算，它没有对核进行翻转。 ...

2018-10-25 15:20:37 1451

原创【Python】中文分词并过滤停用词

中文分词并过滤停用词，python代码如下。#coding=utf-8import jiebainput_path='../data/train_pos_100.txt'output_path='../data/train_pos_100_seg.txt'stopwords_path='../data/stopwords1893_cn.txt'# 设置停用词print('s...

2018-10-25 09:51:42 8205 3

原创【Tensorflow】Tensorflow生成一个服从正态分布的变量

Tensorflow生成一个服从正态分布的变量：import tensorflow as tfa = tf.get_variable('a',shape=[2,3],initializer=tf.random_normal_initializer(stddev=1))with tf.Session() as sess: tf.initialize_all_variables()...

2018-10-23 18:20:32 3121

原创【Tensorflow】tf.nn.embedding_lookup函数的用法

tf.nn.embedding_lookup函数的用法主要是选取一个张量里面索引对应的元素。tf.nn.embedding_lookup（tensor, id）:tensor就是输入张量，id就是张量对应的索引，其他的参数不介绍。例如：import tensorflow as tf;import numpy as np; c = np.random.random([10,1])b...

2018-10-16 19:12:22 555

原创【神经网络】经过卷积核的filter维度计算公式

输入：15×13，经过3×3的卷积核，stride为2的卷积之后输出：6×6 即 ((15-3)/stride+1) × ((13-3)/stride+1) = 6 × 6

2018-10-16 19:04:15 3255 1

原创【Python】利用gensim计算文本的tfidf相似度

python代码：# -*- coding: utf-8 -*-from gensim import corpora, models, similaritiesimport loggingfrom collections import defaultdictlogging.basicConfig(format='%(asctime)s : %(levelname)s : %(mes...

2018-10-16 15:02:09 7570

原创【分类】KNN分类算法之Python实现

KNN称为K最近邻。对于待分类数据，它先计算出与其最相近的K个的样本，然后判断这K个样本中最多的类标签，并将待分类数据标记为这个最多的类标签。python样例代码：import numpy as npfrom sklearn.neighbors import KNeighborsClassifier as kNNK = 3train_mat = np.array([[1, 2,...

2018-10-16 13:50:25 303

原创【Python】python之字符串格式化（format）

line='深度'new_line="""{}"title":","doc":"{}"{}\n""".format('{',line,'}')print(new_line)输出： {"title":","doc":"深度"}

2018-10-15 10:39:22 338

原创【Python】python 数组输出为 json 并显示中文，解决中文边ascii码

import jsonls=[{"name":"我暗暗","age":25},{"name":"Katie","age":33}]with open('a.txt','w',encoding='utf-8') as f: f.write(json.dumps(ls,ensure_ascii=False))

2018-10-15 10:06:49 1410

原创【英语】段落连贯、衔接题解题技巧

段落连贯题，做题步骤：1）通读全篇，捞出关键词（主要为名词）、衔接词（主要为连词）。2）把每个选项单独都尝试一遍，看是否合适。3）最后通读一遍，看是否通顺。...

2018-10-14 14:47:06 439

原创【NLP】语义与语用的区别

语义学（semantics [sɪˈmæntɪks] ）研究句子的字面含义，语用学（pragmatics [prægˈmætɪks] ）研究句子的言外之意。举个例子说，比如小红和小明在一间屋子里写作业，这个时候小红说：“啊呀我觉得好冷啊。”那semantics研究的就是小红说的那句话的意思为：小红在那一天在那间屋子里在那个时刻觉得很冷，不是有点冷（可能是会发抖的冷，这里的好冷属于...

2018-10-14 08:52:28 6400

原创【Python】pandas.DataFrame大写json格式

json的格式如下 split，样式为 {index -> [index], columns -> [columns], data -> [values]}records，样式为[{column -> value}, … , {column -> value}]index ，样式为 {index -> {column -> value}}colum...

2018-10-12 14:49:28 708

1. PageRank算法　　PageRank设计之初是用于Google的网页排名的，以该公司创办人拉里·佩奇（Larry Page）之姓来命名。Google用它来体现网页的相关性和重要性，在搜索引擎优化操作中是经常被用来评估网页优化的成效因素之一。PageRank通过互联网中的超链接关系来确定一个网页的排名，其公式是通过一种投票的思想来设计的：如果我们要计算网页A的PageRank值（以下简...

2018-10-11 14:47:27 877

原创【NLP】关键词提取之PositionRank详解

PositionRank提取关键词与TextRank相似，都是基于PageRank的图关系计算词的得分。用S(V_i)表示词的重要性得分，其公式如下：（1）其中，表示词的初始得分归一化后的值。 ...

2018-10-11 11:53:22 1776

原创【tensorflow】tf.name_scope和tf.variable_scope以及tf.variable和tf.get_variable区别

tf.name_scope()和tf.variable_scope()是两个作用域，一般与两个创建、调用变量的函数tf.variable() 和tf.get_variable()搭配使用。它们搭配在一起的两个常见用途：1)变量共享，2)tensorboard画流程图时为了可视化封装变量。tf.name_scope（名字范围）下可以有相同的变量名，但仅限tf.Variable的变量tf.va...

2018-10-10 18:33:32 152

转载【tensorflow】tensorflow常用函数

1.矩阵操作1.1矩阵生成这部分主要将如何生成矩阵，包括全０矩阵，全１矩阵，随机数矩阵，常数矩阵等tf.ones | tf.zerostf.ones(shape,type=tf.float32,name=None)tf.zeros([2, 3], int32)用法类似，都是产生尺寸为shape的张量(tensor)sess = tf.InteractiveSession()...

2018-10-10 17:23:15 361

转载【NLP】文本生成评价指标：BLEU

BLEUBLEU(Bilingual Evaluation understudy)是一种流行的机器翻译评价指标，用于分析候选译文和参考译文中n元组共同出现的程度，由IBM于2002年提出。转载自：--------------------- 作者：狂风摆渡Alex 来源：CSDN 原文：https://blog.csdn.net/jkwwwwwwwwww/arti...

2018-10-10 14:50:28 5461

原创【NLP】文本摘要评价指标：ROUGE-N

文本摘要评价指标ROUGE-N的公式如下：简单地说，参考的摘要的n-gram类似于待检索项，生成的摘要的n-gram类似于检索出的项，然后计算下召回率。

2018-10-10 14:34:49 6332

原创【语法】get/make/have/let sb do sth区别

1.get sb do“使/让某人做某事”，有种劝说的感觉，如：Our teacher get us students finish our homework.2.make sb do有一种强迫、被动的感觉，如：The teacher made him do his homework.老师逼着他做作业。在学生没有做作业的情况下被老师强迫要做。3.let sb do是给人有选择、主动的感觉...

2018-10-09 18:56:45 23517

原创【java】webdriver selenium爬虫html解析，class名有空格

WebElement S_main = driver.findElement(By.className("S_main"));WebElement plc_main = S_main.findElement(By.id("plc_main"));WebElement S_content_clearfix = plc_main.findElement(By .className("S_co...

2018-10-01 19:01:46 1073

zkq_1986的博客