统计/数学
文章平均质量分 79
zhlei12345
这个作者很懒,什么都没留下…
展开
-
隐马尔科夫模型(二)
\quad\quad本文主要针对隐马尔科夫模型的第一个基本问题展开讨论。问题是:给定一个模型λ\lambda,我们希望估计任意给定观测变量序列O=O1O2....OTO={O_1O_2....O_T}的概率。原创 2015-04-27 19:14:04 · 366 阅读 · 0 评论 -
典型相关分析,奇异值分解,RRR(Reduced-Rank Regression)
1.典型相关分析和奇异值分解之间的关系 典型相关分析研究的是两个随机向量之间的相关性,例如如果有向量Y={Y1,...,YK}Y={Y1,...,YK}Y=\{Y_1,...,Y_K\}和X={X1,...,XM}X={X1,...,XM}X=\{X_1,...,X_M\},目的是需要找到α={α1,...αK}α={α1,...αK}\alpha=\{\alpha_1,...\alpha_K\...原创 2018-08-02 11:50:13 · 4757 阅读 · 0 评论 -
熵,相对熵和互信息
1.熵.熵\textbf{1.熵.}\color{red}{熵}表示随机变量不确定度的度量。也是平均意义上描述随机变量所需要信息量的度量。一个离散型随机变量的熵H(X)定义为: H(X)=−∑x∈原创 2015-12-25 17:42:05 · 5190 阅读 · 0 评论 -
monte carlo simulation
1.连续状态马尔科夫链\textbf{1.连续状态马尔科夫链}\quad\quad我们默认本文中的马尔科夫链都是离散时间的。通常,我们所见到的马尔科夫链是离散状态的,但是为了能够模拟出连续随机变量的样本,我们必须引入连续状态马尔科夫链。通常,一个马尔科夫链由初始分布和状态转移矩阵来决定,相似的,连续状态马尔科夫链也是由这两个因素构成,只不过状态转移矩阵没办法来描述连续状态,我们再次引入转移核的概念,原创 2015-12-22 17:49:37 · 702 阅读 · 0 评论 -
模型过度拟合
这几天在训练一个文本处理的机器学习算法,使用支持向量机和决策树算法在训练集上的数据的准确度特别高,但是在测试集上的数据的准确度确很低,于是陷入过度拟合的烦恼中,查找资料发现一些多度拟合的看法。仔细想想确实在训练时存在一些问题,第一:输入变量多,由于缺乏对问题的根本认识,使用了很多无关变量,这个问题打算从其它途径先认识变量和问题的关系;第二:数据的噪声可能是比较大,没有考虑到关键的特征和信息。下面的几转载 2015-09-03 15:14:17 · 1688 阅读 · 0 评论 -
Power law distribution
本文的主要内容如下: 1.给出连续型Power law 分布和离散型Power law 分布的定义 2.给出估计power law模型中的参数xminx_{min}和α\alpha 3.计算power law模型的拟合优度 4.通过似然比检验进行power law和其他分布优劣比较1.定义\textbf{1.定义} 连续型.\textbf{连续型.}假设α>1\alpha>1,power原创 2015-07-31 16:28:12 · 2656 阅读 · 0 评论 -
非参数密度估计
统计中,当给出一系列的数据,我们希望知道数据的分布如何,例如给出一个班级的期末考试成绩,那么我们对成绩的分布很感兴趣,那么如何去对这个分布函数(或者是相应的密度函数)进行估计。原创 2015-07-25 22:20:57 · 2199 阅读 · 0 评论 -
连续时间马尔科夫过程
1.连续时间马尔科夫链的一般定义\textbf{1.连续时间马尔科夫链的一般定义} \quad\quad一个随机过程{X(t),t≥0}\{X(t),t \geq 0\}称为连续时间的马尔科夫链,如果 P(X(t+s)=j|X(s)=i,X(u)=x(u),0≤u<s)=P(X(t+s)=j|X(s)=i)P(X(t+s)=j|X(s)=i,X(u)=x(u),0 \leq u<s)=P(X(t原创 2015-05-30 10:57:09 · 28039 阅读 · 4 评论 -
指数分布和泊松过程(二)
本文主要介绍泊松分布,和泊松分布的若干性质原创 2015-04-30 22:38:02 · 8393 阅读 · 2 评论 -
指数分布与泊松过程(一)
指数分布是概率论中的一个比较常见的分布,本章节主要的目的就是列举指数分布的相关性质,同时举出例子说明这些性质的应用。原创 2015-04-23 21:01:21 · 11573 阅读 · 0 评论 -
指数分布与泊松过程(三)
到达时间的条件分布.\textbf{到达时间的条件分布.}针对一个泊松过程,我们可能对如下问题感兴趣:在时间t之前恰有1个事件发生,那么这个时间发生的具体时间的分布是什么?其实我们直观的来说,由于泊松过程具有独立增量性,也就是在两个不相交的时间段内事件的发生相互独立。同时有平稳增量性,也就是在两个不相交的时间段内事件的发生服从泊松分布,分布只和时间段有关,而和时间的起始位置无关。那么我们就容易想到上原创 2015-05-30 10:39:15 · 3644 阅读 · 0 评论 -
凸限制下的凸优化问题(一)
本文主要介绍在凸限制下的凸优化问题原创 2015-05-10 16:17:26 · 1017 阅读 · 0 评论 -
更新过程
更新过程\textbf{更新过程} \quad\quad首先给出更新过程的定义,令{N(t),t≥0}\{N(t),t \geq 0\}是一个计数过程,用XnX_n记这个过程的第n−1n-1个和第nn个事件之间的时间,如果非负随机变量列{X1,X2,...}\{X_1,X_2,...\}是独立同分布的,那么计数过程{N(t),t≥0}\{N(t),t \geq 0\}称为更新过程。当一个事件发生原创 2015-05-16 09:45:55 · 5867 阅读 · 1 评论 -
隐马尔科夫模型(三)
\quad\quad本文主要解决隐马尔科夫模型的基本问题2.我们重复这个问题:给定一个模型λ\lambda(其实就是马尔科夫模型的相应参数),以及一个观测序列OO,我们希望找到状态序列Q=q1q2...qTQ={q_1q_2...q_T},使其产生O的概率最大。原创 2015-04-27 20:53:09 · 642 阅读 · 0 评论 -
隐马尔科夫模型(一)
本章节首先介绍隐马尔科夫模型的定义,前提假设,和我们所关注的关于隐马尔科夫模型的问题。原创 2015-04-26 11:29:36 · 602 阅读 · 0 评论 -
隐马尔科夫模型(四)
本文主要解决隐马尔科夫模型基本问题三。给定观测序列组成的训练集,也就是多个观测序列,对模型λ进行估计,使得产生这个训练集的概率最大化,也就是最大似然估计。原创 2015-05-09 10:17:58 · 420 阅读 · 0 评论