- 博客(91)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 深信度网络
\quad\quad虽然Yoshua Bengio在Deep learning(2015)说深信度网络现在的研究已经不多，被一些其他的方法所替代，但是深信度网络在深度学习历史上还是有重要地位的。所以本文将详细描述深信度网络。本文主要参考Hinton在2006年发表的文章a fast learning algorithm for deep belief nets. 1.explaining away
2015-12-31 17:54:22
1449
原创 熵，相对熵和互信息
1.熵.熵\textbf{1.熵.}\color{red}{熵}表示随机变量不确定度的度量。也是平均意义上描述随机变量所需要信息量的度量。一个离散型随机变量的熵H(X)定义为： H(X)=−∑x∈
2015-12-25 17:42:05
5167
原创 monte carlo simulation
1.连续状态马尔科夫链\textbf{1.连续状态马尔科夫链}\quad\quad我们默认本文中的马尔科夫链都是离散时间的。通常，我们所见到的马尔科夫链是离散状态的，但是为了能够模拟出连续随机变量的样本，我们必须引入连续状态马尔科夫链。通常，一个马尔科夫链由初始分布和状态转移矩阵来决定，相似的，连续状态马尔科夫链也是由这两个因素构成，只不过状态转移矩阵没办法来描述连续状态，我们再次引入转移核的概念，
2015-12-22 17:49:37
682
原创 complementary priors
1.hammersley-clifford theorem \quad\quad参见hammersley-clifford theorem.在这里我们只需解释一下什么叫clique，A subset A is said to be complete(clique) if each pair of vertices in A defines an edge of the graph.hammersl
2015-12-21 18:51:16
1274
原创 python基础知识---抽象--函数
\quad\quad创建函数的一般形式def function_name(parameters): function_body函数参数注意事项\textbf{函数参数注意事项}参数值传递：引用？传值？收集参数 map,filter,reduce 1. 参数值传递：引用？传值？\textbf{ 1. 参数值传递：引用？传值？} 针对第一条，我们可以参考如下文章 参数值传递：引用
2015-12-19 21:57:14
401
原创 python基础知识－－语句
\quad\quad在python中经常会见到一些用空格隔开的表示方式，例如下例。这些叫做语句。print aimport numpy\quad\quad常见的语句有 1. print，import语句 2. 赋值语句 3. 条件语句 4. 循环语句 5. pass，del，exec语句2.赋值.\textbf{2.赋值.}（1）序列解包：在python中经常会看到如下的赋值语
2015-12-17 22:00:25
327
原创 python基础知识-字典
1.字典的创建\textbf{1.字典的创建} \quad\quad使用dict函数.dict([('a',1),('b',2)])Out[8]: {'a': 1, 'b': 2}dict(a=1,b=2)Out[10]: {'a': 1, 'b': 2}{'a':1,'b':2}Out[11]: {'a': 1, 'b': 2}2.字典的方法\textbf{2.字典的方法} \qua
2015-12-16 22:03:16
308
原创 python基础知识－－字符串
1.字符串对象\large{\textbf{1.字符串对象}} \quad\quad使用函数str\color{red}{str}将其它的非字符串对象转变成字符串对象。 2.字符串对象的方法\large{\textbf{2.字符串对象的方法}} \quad\quad(1).find函数.\color{red}{find函数.}在一个较长的字符串中查找子字符串的位置，返回子字符串首字母所在的位置
2015-12-10 22:09:25
363
原创 python基础知识－－列表和元组
1.序列\Large{\textbf{1.序列}} \quad\quadpython中的序列包含6种，分别是列表，元组，字符串，Unicode字符串，buffer对象，xrange对象。 1.1通用序列操作1.1\large{通用序列操作} 包括：索引（index），分片（slicing），加（adding），乘（multiplying），检查成员资格，计算序列长度，找出最大元素，最小元素。我
2015-11-25 20:33:07
347
转载 模型过度拟合
这几天在训练一个文本处理的机器学习算法，使用支持向量机和决策树算法在训练集上的数据的准确度特别高，但是在测试集上的数据的准确度确很低，于是陷入过度拟合的烦恼中，查找资料发现一些多度拟合的看法。仔细想想确实在训练时存在一些问题，第一：输入变量多，由于缺乏对问题的根本认识，使用了很多无关变量，这个问题打算从其它途径先认识变量和问题的关系；第二：数据的噪声可能是比较大，没有考虑到关键的特征和信息。下面的几
2015-09-03 15:14:17
1616
原创 数据挖掘笔试题
1.过拟合和欠拟合的原因有哪些，如何避免？ 过拟合：模型过于复杂，模型参数过多，决策树中的分支过多，神经网络中的神经元过多 欠拟合：模型过于简单（模型参数过少，。。 在最小化模型误差的同时，对参数进行惩罚，也就是正则化方法，调整模型复杂度，使得模型泛化误差达到最小。决策树中对树进行剪枝，控制叶节点的个数 2.决策树中父节点和子节点之间的信息熵大小关系，原因 原因就是信息增益是大于零的，信息
2015-08-25 17:38:52
1178
原创 序列模型
2.中级篇\Large\textbf{2.中级篇} 1.非二元变量\textbf{1.非二元变量} \quad\quad在基础篇中我们处理的是购物篮数据，一个事务中是否包含某个项。如果我们面对的数据是，每个事务中都会包含大多数项，但是重要的区别是一个事务中包含某个项的多少是不同的，换句话说，如果我们将项看成是变量（属性），购物篮数据处理的是二元变量，而有可能我们需要处理的是分类变量，甚至是连续型
2015-08-25 15:45:46
460
原创 Power law distribution
本文的主要内容如下： 1.给出连续型Power law 分布和离散型Power law 分布的定义 2.给出估计power law模型中的参数xminx_{min}和α\alpha 3.计算power law模型的拟合优度 4.通过似然比检验进行power law和其他分布优劣比较1.定义\textbf{1.定义} 连续型.\textbf{连续型.}假设α>1\alpha>1,power
2015-07-31 16:28:12
2600
原创 非参数密度估计
统计中，当给出一系列的数据，我们希望知道数据的分布如何，例如给出一个班级的期末考试成绩，那么我们对成绩的分布很感兴趣，那么如何去对这个分布函数（或者是相应的密度函数）进行估计。
2015-07-25 22:20:57
2154
原创 图论算法的基础知识
图的表示\large\textbf{图的表示} \quad\quad如果有向图是稠密的，也就是图中的边数|E||E|和定点数|V||V|满足如下关系|E|=O(|V|2)|E|=O(|V|^2)。那么我们就用二维数组来表示，如果有向图是稀疏的，也就是边数相当的少，那么我们就用邻接表来表示。它就是一个结构体数组，每个元素表示一个顶点，然后指向它的所有相邻的顶点（这个相邻是指出边）。 \quad\q
2015-06-05 20:10:00
3148
原创 连续时间马尔科夫过程
1.连续时间马尔科夫链的一般定义\textbf{1.连续时间马尔科夫链的一般定义} \quad\quad一个随机过程{X(t),t≥0}\{X(t),t \geq 0\}称为连续时间的马尔科夫链，如果 P(X(t+s)=j|X(s)=i,X(u)=x(u),0≤u<s)=P(X(t+s)=j|X(s)=i)P(X(t+s)=j|X(s)=i,X(u)=x(u),0 \leq u<s)=P(X(t
2015-05-30 10:57:09
27652
4
原创 指数分布与泊松过程（三）
到达时间的条件分布.\textbf{到达时间的条件分布.}针对一个泊松过程，我们可能对如下问题感兴趣：在时间t之前恰有1个事件发生，那么这个时间发生的具体时间的分布是什么？其实我们直观的来说，由于泊松过程具有独立增量性，也就是在两个不相交的时间段内事件的发生相互独立。同时有平稳增量性，也就是在两个不相交的时间段内事件的发生服从泊松分布，分布只和时间段有关，而和时间的起始位置无关。那么我们就容易想到上
2015-05-30 10:39:15
3578
转载 N的阶乘(N!)中的末尾有多少个0
问题：N的阶乘(N!)中的末尾有多少个0? 例如:N = 5,N! = 120.末尾有1个0.分析:想到这个问题，有人可能第一反应就是现求出N!,然后再根据求出的结果，最后得出N!的末尾有多少个0。但是转念一想，会不会溢出，等等。其实，从”那些数相乘可以得到10”这个角度，问题就变得比较的简单了。 首先考虑，如果N的阶乘为K和10的M次方的乘积，那么N!末尾就有M的0。如果将
2015-05-30 09:43:59
610
原创 寻找不大于n的素数
运用Sieve of Eratosthenes算法，简单来说就是从2出发，除掉是2的倍数的数，然后从3出发，除掉3的倍数的数（3的2倍已经除掉，所以可以从3*3来除掉数），以此类推。已除掉的数就不在考虑，直到sqrt(n)sqrt(n)。
2015-05-24 21:40:15
910
原创 不相交集ADT
首先我们必须明白不相交集这种数据结构是用来干什么的。不相交即主要用来实现动态等价问题的求解。动态等价问题\textbf{动态等价问题} \quad\quad这里不再说明等价关系的概念，这个可以参考数理逻辑之类的书。假设我们有一个集合和一个等价关系~,针对集合中的任意两个元素aa和bb，我们如何确定他们有等价关系~，即a~b.那么我们需要等价类的概念，一个元素a∈Sa \in S
2015-05-18 19:04:52
756
原创 运用C中的uthash.t头文件来实现hash表
在C语言中，我们常常需要用到hash表，但是每次进行定义比较浪费时间，所以我们用uthash.h头文件来实现hash表的定义。 我们来看如下一个问题，给定一个数组，我们需要找到这个数组中的两个元素，使得他们的和为给定的target值，然后，返回这两个元素的位置。
2015-05-16 15:27:35
3304
1
原创 更新过程
更新过程\textbf{更新过程} \quad\quad首先给出更新过程的定义，令{N(t),t≥0}\{N(t),t \geq 0\}是一个计数过程，用XnX_n记这个过程的第n−1n-1个和第nn个事件之间的时间，如果非负随机变量列{X1,X2,...}\{X_1,X_2,...\}是独立同分布的，那么计数过程{N(t),t≥0}\{N(t),t \geq 0\}称为更新过程。当一个事件发生
2015-05-16 09:45:55
5594
1
原创 优先队列基础知识(四)---二项队列
本文主要分析二项队列。这个优先队列结构也是为了处理对数时间合并两个优先队列而提出来的。它可是保证平均插入时间为常数。同时合并，删除最小元操作的最坏时间为O(logN)O(logN)。这比左式堆更优，左式堆和斜堆是没办法实现平均插入时间是常数时间的。
2015-05-11 09:24:18
460
原创 隐马尔科夫模型（四）
本文主要解决隐马尔科夫模型基本问题三。给定观测序列组成的训练集，也就是多个观测序列，对模型λ进行估计，使得产生这个训练集的概率最大化,也就是最大似然估计。
2015-05-09 10:17:58
408
原创 优先队列（二）
本文主要探索一下优先队列的其他的一些操作，这些操作涉及到二叉堆中某个元素的处理，因此必须首先找到指定元素的位置。但是我们知道在一个给定的最小元素二叉堆中（也就是堆顶元素是最小值），寻找一个元素（如果不是最小元素）是必须遍历这个二叉堆的，所需的时间就是线性时间。 本文主要把散列表和二叉堆结合起来，通过散列表，用常数时间找到某个元素在二叉堆中的位置。
2015-05-01 22:34:11
369
原创 优先队列基础知识（一）
本文主要复习优先队列的相关知识。运用二叉堆数据结构实现优先处理队列中的较小元素（当然也可以是其他的元素）。所谓二叉堆，其几何形状就是完全二叉树。这样的话，我们就可以用数组来实现二叉堆，原因就是一个节点i的子节点就是2i和2i+1,一个节点的父节点就是i/2取整数部分。这样就避免了使用指针来寻找二叉树中的位置，加快了搜寻速度。
2015-04-30 10:52:39
414
原创 隐马尔科夫模型（三）
\quad\quad本文主要解决隐马尔科夫模型的基本问题2.我们重复这个问题：给定一个模型λ\lambda(其实就是马尔科夫模型的相应参数)，以及一个观测序列OO，我们希望找到状态序列Q=q1q2...qTQ={q_1q_2...q_T},使其产生O的概率最大。
2015-04-27 20:53:09
628
原创 隐马尔科夫模型（二）
\quad\quad本文主要针对隐马尔科夫模型的第一个基本问题展开讨论。问题是：给定一个模型λ\lambda,我们希望估计任意给定观测变量序列O=O1O2....OTO={O_1O_2....O_T}的概率。
2015-04-27 19:14:04
350
原创 哈希表基础知识（3）
\quad\quad在哈希表基础知识（1）和（2）中我们介绍了两种哈希表表示方法，分离链接法和开放地址法，但是这些都是针对数据可以存储到内存中的数据而言的操作，如果数据量过大，不能存进内存，也就是说我们需要解决磁盘上的检索数据问题。 \quad\quad我们假设每个磁盘区块上可存储的数据是有限的，如果我们用分离链接法或者是开放地址法的话，那么在查找数据的时候我们是需要对多个磁盘区块进行考察的。这样
2015-04-27 16:01:14
442
原创 哈希表基础知识(2)
在散列表基础知识（1）中，我们介绍了分离链接法来解决哈希冲突。它的一个缺陷就是需要经常的分配动态内存，这是比较花费时间的。本文再介绍解决散列表的另外一种方法开放定址法。不需要多次的动态分配内存。
2015-04-27 11:15:55
1141
原创 哈希表基础知识（hash table）（1）
本节主要结束散列表的相关内容。散列是一种用以常数平均时间执行插入，删除，和查找的技术。但是那些需要元素间任何排列信息的操作将不会得到有效的支持，比如查找最小值，以线性时间按排序顺序将整个表打印出来的操作都不是散列表所支持的。 针对哈希表，我们需要注意两点，1.哈希函数的确定。本章节用Horner法则来获得哈希函数。2.解决哈希冲突。本章节主要通过分离链接法来实现
2015-04-25 10:59:10
588
[N._N._R._Ranga_Suri,_Narasimha_Murty_M,_G._Athith(z-lib.org).pdf
2019-07-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人