2018年08月_refresh&grow

10月 09月 08月 07月

原创关键词提取算法

Table of Contents概述TF-IDF算法传统算法加权变种TextRank算法PageRankTextRankLSA/LSI/LDA算法LSA/LSILDA概述关键词是代表文章重要内容多一组词，对文本聚类、分类、自动摘要等起重要的作用。现实中大量文本不包含关键词，如果我们可以准确的将所有文档都用几个简单的关键词描述出来，就能使人们便捷地浏...

2018-08-31 00:38:16 10736

原创词性标注与命名实体识别

Table of Contents词性标注简介词性标注规范jieba命名实体识别简介基于条件随机场的命名实体识别词性标注简介词性是词汇基本的语法属性，也称为词类。词性标注是在给定句子中判定每个词的语法范畴，确定其词性并加以标注的过程。词性标注是很多NLP任务的预处理步骤，如句法分析，经过词性标注后的文本会带来很大的便利性，但也不是不可或缺的步骤。整体上看在中...

2018-08-29 23:56:31 8471

原创中文分词技术

Table of Contents简介规则分词正向最大匹配法（Maximum Match Method, MM法）逆向最大匹配法（Reverse Maximum Match Method, RMM法）双向最大匹配法（Bi-direction Matching Method, BM法）统计分词HMMCRF混合分词（规则＋统计）jieba三种分词模式简介...

2018-08-29 00:01:15 2117

转载两篇不错的Kaggle入门总结

Table of ContentsGeneral ApproachData ExplorationData PreprocessingFeature EngineeringModel SelectionEnsemble Generation*PipelineHome Depot Search RelevanceEDAPreprocessingFeatur...

2018-08-21 08:30:05 476

原创机器学习笔记7 －－ KNN & K-Means

Table of Contents三种监督学习算法有监督学习算法无监督半监督KNN（K-Nearest Neighbor/K-近邻算法）基本思想：问题及优化方法K-Means基本思想K-Means算法的局限三种监督学习算法有监督学习算法训练数据中同时拥有输入变量和输出变量，用一个算法把从输入到输出的映射关系学习出来，当我们拿到新的数据后，就可以通...

2018-08-20 21:42:32 419

转载初识LSTM长短期记忆网格

本文为译文，喜欢阅读原版的请转 Understanding LSTM NetworksTable of ContentsRecurrent Neural Networks长期依赖（Long-Term Dependencies）问题LSTM 网络LSTM 的核心思想逐步理解 LSTMLSTM 的变体结论Recurrent Neural Networks人类并不...

2018-08-18 17:51:41 443

转载初识RNN循环神经网络、Seq2Seq、Attention机制

本文主要是利用图片的形式，详细地介绍了经典的RNN、RNN几个重要变体，以及Seq2Seq模型、Attention机制。希望这篇文章能够提供一个全新的视角，帮助初学者更好地入门。Table of Contents一、从单层网络谈起二、N vs N（RNN经典结构）三、N VS 1（类别判断）四、1 VS N（生成模型）五、N vs M（Seq2Seq模型）六、Atten...

2018-08-18 17:22:35 990

转载马拉松赛前准备以及注意事项

Table of Contents装备篇训练篇比赛篇赛后篇装备篇护脚：训练及赛前要把脚趾甲剪短、剪平；可通过足浴放松，并经常用热水泡脚；号码布：最好在比赛前一天睡觉前缝好，避免第二天早上手忙脚乱；运动装：应遵循宽松、透气和吸汗的原则，衣服不宜过多或过少，以免影响运动或肌肉痉挛；跑鞋：应选择穿着轻便、舒适、透气、耐磨的跑鞋，最好在赛前已穿过数次，经过磨合。建议...

2018-08-18 12:57:13 6246

原创初识CNN卷积神经网络

作用及优势卷积神经网络(Convolutional Neural Networks)本质上是一个多层感知机，其成功的关键在于它所采用的局部连接和共享权值的方式，一方面减少了的权值的数量使得网络易于优化，另一方面降低了过拟合的风险。实现过程及意义卷积对图像【下图绿色大正方形】（不同的数据窗口数据）和滤波矩阵【下图黄色小正方形】（一组固定的权重：因为每个神经元的多个权重固定，所以...

2018-08-16 23:41:40 544

原创机器学习笔记6 －－隐马尔科夫模型 Hidden Markov Model

Table of Contents问题域为什么HMM可以解决NLP问题HMM基于两个假设模型训练三组参数三个基本问题问题域概率模型将学习任务归结于计算变量的概率分布，其核心是如何基于可观测变量推测出未知变量的条件分布。概率图模型就是一类用图来表达变量相关关系的概率模型，根据性质不同可以分为两类：第一类是使用有向无环图表示变量之间的依赖关系，称为有向图模型或者贝叶...

2018-08-11 21:53:18 818

原创数据结构与算法分类练习－－动态规划

动态规划算法通常基于一个递推公式［状态转移公式］及一个或多个初始状态［边界］。当前子问题的解将由上一次子问题的解［最优子结构］推出。使用条件：当问题具有“最优子结构”、“子问题重叠”、“边界”时，就可以用动态规划求解。动态规划和贪心算法的区别：贪心不能保证求得的最后解是最佳的；不能用来求最大或最小解问题；下面以找钱为例对两个算法进行对比：如何用1，5，11三种面额的纸币找...

2018-08-05 23:17:41 258

原创数据结构与算法分类练习－－DFS BFS

深度优先遍历：对每一个可能的分支路径深入到不能再深入为止，不全部保留结点，占用空间少；有回溯操作(即有入栈、出栈操作)，运行速度慢。广度优先遍历：又叫层次遍历，从上往下对每一层依次访问，在每一层中，从左往右（也可以从右往左）访问结点，访问完一层就进入下一层，保留全部结点，占用空间大；常用优先队列，无回溯操作，运行速度快。Number of Islands 小岛数量Given a 2d...

2018-08-04 23:52:42 332

原创数据结构与算法分类练习－－字典字符串

字典是Python语言中唯一的映射类型。格式为：d = {key1 : value1, key2 : value2 }映射类型对象里哈希值（键，key）和指向的对象（值，value）是一对多的的关系，通常被认为是可变的哈希表。字典对象是可变的，它是一个容器类型，能存储任意个数的Python对象，其中也可包括其他容器类型。字典类型与序列类型（列表，元组）的区别是存取和访问数据的方式不同...

2018-08-02 23:27:14 250