ZHO9504的博客

逻辑回归逻辑回归是用于解决离散型的输出结果的问题（分类问题）。文本分类就是一个典型的分类问题。在描述线性回归数学模型之前，先约定好一些表达形式： 代表输入数据 （features），代表输出数据（分类标签），代表一组训练数据（training example） ，m代表训练数据的个数，n代表特征数量。1 逻辑回归函数表达对于逻辑回归分类问题，y的输出等于 0 或者 1。逻辑回归函数...

（会持续更新） 0-1 损失函数 交叉熵损失函数 平方损失函数 Hinge 损失函数 

卷积层：计算量大，参数少数据并行是把训练数据分成多份，在不同机器训练，然后参数更新到parameter server； 数据并行是指对训练数据做切分，同时采用多个模型实例，对多个分片的数据并行训练。要完成数据并行需要做参数交换，通常由一个参数服务器（Parameter Server）来帮助完成。在训练的过程中，多个训练过程相互独立，训练的结果，即模型的变化量ΔW需要汇报给参数服务器.数据...

归纳逻辑程序设计（Inductive Logic Programming，ILP）在一阶规则学习中引入了函数和逻辑表达式嵌套。这使得，一方面机器学习系统具备了更为强大的表达能力；另一方面ILP可看作用机器学习技术来解决基于背景知识的逻辑程序（logic program）贵南，其学得的规则可被PROLOG等逻辑程序设计语言直接使用。然而，函数和逻辑表达式嵌套的引入也带来了计算上的巨大挑战。...

Foil(First Order Inductive Learner), [Quinlan,1990]paper： Learning Logical Definitions from Relations.Foil是著名的一阶规则学习算法，它遵循序贯覆盖框架采用自顶向下的规则归纳策略。———序贯覆盖：规则学习的目标是产生一个能覆盖尽可能多的样例的规则集。最直接的做法是序贯覆盖（sequen...

西瓜数据集2.0 西瓜数据集3.0编号,色泽,根蒂,敲声,纹理,脐部,触感,密度,含糖率,好瓜 1,青绿,蜷缩,浊响,清晰,凹陷,硬滑,0.697,0.46,是 2,乌黑,蜷缩,沉闷,清晰,凹陷,硬滑,0.774,0.376,是 3,乌黑,蜷缩,浊响,清晰,凹陷,硬滑,0.634,0.264,是 4,青绿,蜷缩,沉闷,清晰,凹陷,硬滑,0.608,0.318,是 ...

受限于命题逻辑表达能力，命题规则学习难以处理对象之间的关系（relation），而关系信息再很多任务中是很重要的，要用一阶逻辑表示，使用一阶规则学习。描述了样例间关系的数据称为关系数据（relational data），有原样本属性转化而来的原子公式称为背景知识（backgroundknowledge），而由样本类别转化而来的原子公式称为关系数据样例（examples）。如从西瓜集学出的一阶规...

周志华 第15章 看到有人总结很详细：http://blog.csdn.net/fjssharpsword/article/details/72674841详细介绍就不写了，写一下自己看的时候觉得重要的东西，便于自己回顾。。。。 规则学习概念：机器学习中的规则（rule）通常是指语义明确、能描述数据分布所隐含的客观规律或领域概念、可写成"若…则…"形式的逻辑规则。规则学习（rulel...

传统的RNN在训练long-term dependencies 的时候会遇到很多困难，最常见的便是vanish gradient problen。期间有很多种解决这个问题的方法被发表。大致可以分为两类：一类是以新的方法改善或者代替传统的SGD方法，如Bengio提出的clip gradient；另一种则是设计更加精密的recurrent unit，如LSTM，GRU。而本文的重点是比较LSTM，G...

http://www.cnblogs.com/pinard/p/7048333.html 从随机场到马尔科夫随机场　　随机场是由若干个位置组成的整体，当给每一个位置中按照某种分布随机赋予一个值之后，其全体就叫做随机场。还是举词性标注的例子：假如我们有一个十个词形成的句子需要做词性标注。这十个词每个词的词性可以在我们已知的词性集合（名词，动词...)中去选择。当我们为每个词选择完词性后，这就...

参考网址：https://www.cnblogs.com/zhzhang/p/5437778.htmlK-means  首先选择K，代表分为几类例如分为两类2-means，下面是计算过程： 一堆数据一、先设两个中心  例如16，19    二、接着计算各个点与中心之间的距离 距离如何计算可以自己定义？例如计算欧氏距离 三、根据计算出来的距离，找出离1...

参考网址：https://my.oschina.net/fengcunhan/blog/101281http://www.cnblogs.com/geniferology/p/what_is_kNN_algorithm.html kNN 的算法就是：在已知的 data points 中，逐一点检视（把這每一點叫作 P）：1、首先计算「？」和 P 之间的距离2、所有距离计算之后...

KNN（K-Nearest Neighbor）算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。所以比较特殊的是它不需要训练，易于理解，易于实现。在KNN中，通过计算对象间距离来作为各个对象之间的相似性指标，在这里距离一般使用...

 http://mp.weixin.qq.com/s/4gElB_8AveWuDVjtLw5JUAsigmoid函数：导数推导：所以sigmoid的倒数 y' = 1 - y。 其他激活函数及其导数： rectifier(x) = max(0, x) rectifier 函数被认为有生物上的解释性。神经科学家发现神经元具有单侧抑制、宽兴奋边界、稀疏激...