ML
简单点1024
熟悉ML,DM过程,参与ETL架构搭建,进行BI分析,热爱新技术
展开
-
Bandit总结3详细版
声明原文地址:https://blog.csdn.net/heyc861221/article/details/80129310bandit-RL:https://blog.csdn.net/qq_32690999/article/details/78996398Contextual bandit 在推荐系统中的应用:https://zhuanlan.zhihu.com/p/357532...转载 2018-08-28 21:48:22 · 2403 阅读 · 2 评论 -
用深度学习(CNN RNN Attention)解决大规模文本分类问题
原文声明:https://blog.csdn.net/heyc861221/article/details/80128748#comments作者简介:清凇,本科毕业于山东大学,研究生就读于北邮,毕业后在阿里巴巴从事搜索排序算法相关工作。 原文:用深度学习(CNN RNN Attention)解决大规模文本分类问题 - 综述和实践 欢迎人工智能领域技术投稿、约稿、给文章纠错,请发送邮件至he...转载 2018-08-28 21:57:27 · 1765 阅读 · 0 评论 -
推荐系统中的EE和bandit算法
经常听身边的人说起使用推荐系统的感受,“某宝某东就是看什么给推什么”,使用者对推荐系统产生厌倦;也有听做推荐系统的同学抱怨推荐的冷启动问题,如何去尝试新用户的兴趣点,尝试到什么时候地步才算真正掌握了用户的兴趣,用户的兴趣发生改变如何灵活的调整推荐策略。这些,都与今天聊到的E&E问题有关,而Bandit算法是解决E&E问题的一种思路。本文首先描述E&E问题的及策略框架,然后介...转载 2018-08-28 22:39:52 · 6200 阅读 · 1 评论 -
用户画像总结
基本信息,偏好信息,向量化信息,知识图谱,标签系统,正负反馈信息,社交关系,1. 深度学习方法:https://blog.csdn.net/xundh/article/details/783738302. 基本信息表构建:https://blog.csdn.net/wang1127248268/article/details/77367119?locationNum=6&fps=1...原创 2018-08-29 10:43:15 · 928 阅读 · 0 评论 -
GraphEmbedding
1. http://cazabetremy.fr/Teaching/catedra/6-Embedding.pdf2.https://yafei002.github.io/2018/04/11/Network-Embedding/3. http://i.stanford.edu/~jure/pub/talks2/leskovec-networks-01-nodes.pdf4. http...原创 2018-08-29 11:44:14 · 1146 阅读 · 0 评论 -
DBSCAN聚类算法原理
DBSCAN(Density-Based Spatial Clustering of Applications with Noise,具有噪声的基于密度的聚类方法)是一种很典型的密度聚类算法,和K-Means,BIRCH这些一般只适用于凸样本集的聚类相比,DBSCAN既可以适用于凸样本集,也可以适用于非凸样本集。下面我们就对DBSCAN算法的原理做一个总结。1. 密度聚类原理 DBS...转载 2018-09-04 08:30:49 · 17815 阅读 · 0 评论 -
DBSCAN聚类算法原理总结2
DBSCAN聚类算法三部分:1、 DBSCAN原理、流程、参数设置、优缺点以及算法;http://blog.csdn.net/zhouxianen1987/article/details/689458442、 matlab代码实现; blog:http://blog.csdn.net/zhouxianen1987/article/details/6894...转载 2018-09-04 08:41:31 · 9004 阅读 · 0 评论 -
Bandit总结2
原创: 石晓文 小小挖掘机 2018-06-09 推荐系统遇上深度学习系列:推荐系统遇上深度学习(一)--FM模型理论和实践推荐系统遇上深度学习(二)--FFM模型理论和实践推荐系统遇上深度学习(三)--DeepFM模型理论和实践推荐系统遇上深度学习(四)--多值离散特征的embedding解决方案推荐系统遇上深度学习(五)--Deep&Cross Networ...转载 2018-08-28 13:28:57 · 2659 阅读 · 0 评论 -
Bandit总结1
假设我有5枚硬币,都是正反面不均匀的。我们玩一个游戏,每次你可以选择其中一枚硬币掷出,如果掷出正面,你将得到一百块奖励。掷硬币的次数有限(比如10000次),显然,如果要拿到最多的利益,你要做的就是尽快找出“正面概率最大”的硬币,然后就拿它赚钱了。这个问题看起来很数学化,其实它在我们的生活中经常遇见。比如我们现在有很多在线场景,遇到一个相同的问题:一个平台这么多信息,该展示什么给用户,才能有最...转载 2018-08-28 13:25:26 · 492 阅读 · 0 评论 -
RF,GBDT,XGBoost,lightGBM对比分析
RF,GBDT,XGBoost,lightGBM都属于集成学习(Ensemble Learning),集成学习的目的是通过结合多个基学习器的预测结果来改善基本学习器的泛化能力和鲁棒性。 根据基本学习器的生成方式,目前的集成学习方法大致分为两大类:即基本学习器之间存在强依赖关系、必须串行生成的序列化方法,以及基本学习器间不存在强依赖关系、可同时生成的并行化方法;前者的代表就是Boosting,后者...原创 2018-08-25 20:43:32 · 567 阅读 · 1 评论 -
GBDT算法内部究竟是如何工作的?
http://blog.csdn.net/w28971023/article/details/8240756https://www.cnblogs.com/ModifyRong/p/7744987.html GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree...原创 2018-08-25 20:42:57 · 1667 阅读 · 0 评论 -
Tensorflow MINST CNN分类
TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统,其命名来源于本身的运行原理。Tensor(张量)意味着N维数组,Flow(流)意味着基于数据流图的计算,TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。TensorFlow可被用于语音识别或图像识别等多项机器深度...转载 2018-08-27 06:05:42 · 587 阅读 · 0 评论 -
Keras实现CNN
CNN因为之前上课的时候对CNN学的不是很好,所以在这次训练之前我在知乎上找到一篇对CNN讲解的文章,先进行阅读了一番。来自机器之心的一篇文章http://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650717691&idx=2&sn=3f0b66aa9706aae1a30b01309aa0214c#rdhtt...转载 2018-08-27 07:55:59 · 6314 阅读 · 0 评论 -
Spark transformation和action的区别
简介:1,transformation是得到一个新的RDD,方式很多,比如从数据源生成一个新的RDD,从RDD生成一个新的RDD2,action是得到一个值,或者一个结果(直接将RDDcache到内存中)所有的transformation都是采用的懒策略,就是如果只是将transformation提交是不会执行计算的,计算只有在action被提交的时候才被触发。 transfo...原创 2018-08-27 13:35:20 · 5506 阅读 · 0 评论 -
Keras和tensorflow的区别
Keras 是一个高级的Python 神经网络框架,其文档详。Keras 已经被添加到 TensorFlow 中,成为其默认的框架,为TensorFlow 提供更高级的API。 如果读者不想了解TensorFlow 的细节,只需要模块化,那么Keras 是一个不错的选择。如 果将TensorFlow 比喻为编程界的Java 或C++,那么Keras 就是编程界的Python。它作为 Te...转载 2018-08-27 13:37:58 · 26192 阅读 · 2 评论 -
推荐和匹配推荐
1. 推荐场景:推游戏和推好友;召回-排序-数据分析2. 匹配场景:600人如何分配为100组,每组3*3的; 让游戏更加焦灼,即最好两组的得分尽可能相近。原创 2018-08-27 22:02:25 · 591 阅读 · 0 评论 -
Meanshif算法
https://blog.csdn.net/google19890102/article/details/51030884转载 2018-09-04 09:09:10 · 491 阅读 · 0 评论 -
参数估计方法和非参数估计方法
https://wenku.baidu.com/view/1cf9639efab069dc502201fe.html以PLSA和LDA为代表的文本语言模型是当今统计自然语言处理研究的热点问题。这类语言模型一般都是对文本的生成过程提出自己的概率图模型,然后利用观察到的语料数据对模型参数做估计。有了语言模型和相应的模型参数,我们可以有很多重要的应用,比如文本特征降维、文本主题分析等等。本文主要介绍...转载 2018-09-04 14:10:13 · 17581 阅读 · 0 评论 -
深度学习中的优化算法
梯度下降沿着整个训练集的梯度方向下降。可以使用随机梯度下降很大程度地加速,沿着随机挑选的小批量数据的梯度下降。批量算法和小批量算法使用小批量的原因n个样本均值的标准差是σn√σn,其中σσ是样本值真实的标准差。分母n−−√n表明使用更多的样本来估计梯度的方法的回报是低于线性的。 另一个促使从小数目样本中获得梯度的统计估计的动机是训练集的冗余。大量样本可能对梯度做出了非常相似的贡献。...原创 2018-10-01 20:07:12 · 1506 阅读 · 0 评论 -
深度优化方法总结
伯克利人工智能实验室博客:http://bair.berkeley.edu/blog/下雨天:有些人能听见下雨的声音,有些事只是在奔跑中淋湿!We are all in the gutter, but some of us are looking at the stars.Oscar Wilde我们都生活在阴沟里,但仍有人仰望星空。——奥斯卡·王尔德!本文综述了几种常用的优化主要比较的是...转载 2018-10-01 20:42:30 · 696 阅读 · 0 评论 -
Dropout and DropConnect
最近看Fractional Max-pooling 时,中提到了Dropconnect,一时间忘记了,就找出原文看了一下。参考 原文:Regularization of Neural Networks using DropConnect现在总结一下,其实在实验中我们经常使用的是dropout ((Hinton et al., 2012).)方法,这篇文章提出的dropconnect的...原创 2018-09-20 17:55:46 · 1665 阅读 · 1 评论 -
蒙特卡罗方法的简单解释
蒙特卡洛方法(Monte Carlo method,也有翻译成“蒙特卡罗方法”)是以概率和统计的理论、方法为基础的一种数值计算方法,将所求解的问题同一定的概率模型相联系,用计算机实现统计模拟或抽样,以获得问题的近似解,故又称随机抽样法或统计试验法。上述就是蒙特卡洛方法的基本概念,比较抽象,下面结合实际工作中的理解,谈一谈对蒙特卡洛方法的一些认识。(1)首先,蒙特卡洛不是个人名,而是个地名,说...原创 2018-10-17 22:14:24 · 1625 阅读 · 0 评论 -
蒙特卡罗算法和拉斯维加斯算法比较
蒙特卡罗算法并不是一种算法的名称,而是对一类随机算法的特性的概括。媒体说“蒙特卡罗算法打败武宫正树”,这个说法就好比说“我被一只脊椎动物咬了”,是比较火星的。实际上是ZEN的算法具有蒙特卡罗特性,或者说它的算法属于一种蒙特卡罗算法。那么“蒙特卡罗”是一种什么特性呢?我们知道,既然是随机算法,在采样不全时,通常不能保证找到最优解,只能说是尽量找。那么根据怎么个“尽量”法儿,我们我们把随机算法分...转载 2018-10-17 22:22:21 · 5609 阅读 · 0 评论 -
蒙特卡罗算法与拉斯维加斯算法比较
1 蒙特卡罗算法简介蒙特卡罗(Monte Carlo)算法并不是一种特定的算法,而是对一类随机算法的特性的概括。它的名字来源于赌城蒙特卡罗,象征概率。它的基本思想是通过大量随机样本,去了解一个系统,进而得到要计算的值。它非常强大灵活,又相当简单易懂,很容易实现。2 蒙特卡罗算法与拉斯维加斯算法比较随机算法分为两大类:蒙特卡罗算法和拉斯维加斯算法,都是以著名的赌城命名的,且都是通过随机采样...转载 2018-10-17 22:24:41 · 3682 阅读 · 0 评论 -
多类分类(Multi-label classification)性能评价之宏平均(macro-average)与微平均(micro-average)
通常,我们在评价classifier的性能时使用的是accuracy考虑在多类分类的背景下accuracy = (分类正确的样本个数) / (分类的所有样本个数)这样做其实看上去也挺不错的,不过可能会出现一个很严重的问题:例如某一个不透明的袋子里面装了1000台手机,其中有600台iphone6, 300台galaxy s6, 50台华为mate7,50台mx4(当然,这些信息分类器是...转载 2018-10-28 18:36:57 · 8860 阅读 · 6 评论 -
One class Classification
1. one - class SVM SVDD: https://blog.csdn.net/OrthocenterChocolate/article/details/405924032.one class svm;EllipticEnvelope;IsolationForest https://blog.csdn.net/sinat_26917383/article/details/7664...原创 2018-11-03 14:39:58 · 1089 阅读 · 0 评论 -
三大参数估计方法(MLE, MAP, BOA)
以PLSA和LDA为代表的文本语言模型是当今统计自然语言处理研究的热点问题。这类语言模型一般都是对文本的生成过程提出自己的概率图模型,然后利用观察到的语料数据对模型参数做估计。有了语言模型和相应的模型参数,我们可以有很多重要的应用,比如文本特征降维、文本主题分析等等。本文主要介绍文本分析的三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。 1、最大似然估计MLE...转载 2018-10-01 11:21:36 · 9215 阅读 · 0 评论 -
Kmeans中的K值选取
1. 最简单的方法:K≈sqrt(N/2)2. 拐点法:把聚类结果的F-test值(类间Variance和全局Variance的比值)对聚类个数的曲线画出来,选择图中拐点3. 基于Information Critieron的方法:如果模型有似然函数(如GMM),用BIC、DIC等决策;即使没有似然函数,如KMean,也可以搞一个假似然出来,例如用GMM等来代替4. 基于信息论的方法(J...转载 2018-09-16 10:41:14 · 20900 阅读 · 7 评论 -
LR,SVM,RF的区别
1、LR和SVM都是分类算法,LR和SVM都是监督学习算法,都是判别模型。2、如果不考虑核函数,LR和SVM都是线性分类算法,也就是说他们的分类决策面都是线性的。LR的优缺点:1.适合需要得到一个分类概率的场景2.实现效率较高3.对逻辑回归而言,多重共线性并不是问题,它可以结合L2正则化来解决;4.逻辑回归广泛的应用于工业问题上逻辑回归的缺点:1.当特征空间很大时,...原创 2018-08-25 21:39:28 · 2477 阅读 · 0 评论 -
LR和 SVM的区别
一、相同点 第一,LR和SVM都是分类算法(SVM也可以用与回归) 第二,如果不考虑核函数,LR和SVM都是线性分类算法,也就是说他们的分类决策面都是线性的。 这里要先说明一点,那就是LR也是可以用核函数的。总之,原始的LR和SVM都是线性分类器,这也是为什么通常没人问你决策树和LR什么区别,你说一个非线性分类器和一个线性分类器有什么区别? 第三,LR和SVM都是监督学习算法。...原创 2018-08-25 21:41:40 · 1180 阅读 · 0 评论 -
语义相似度算法总结1
转载请注明出处: http://blog.csdn.net/u013074302/article/details/76422551DSSM, Match-LSRM, MatchSRNN导语在NLP领域,语义相似度的计算一直是个难题:搜索场景下query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。本文通过介绍DSSM、C...转载 2018-08-29 21:46:50 · 18564 阅读 · 0 评论 -
解决梯度消失和梯度弥散的方法
第一个问题:模型过拟合 1.1 什么是过拟合 所谓过拟合(Overfit),是这样一种现象:一个假设在训练数据上能够获得比其他假设更好的拟合,但是在训练数据外的数据集 上却不能很好的拟合数据。此时我们就叫这个假设出现了overfit的现象。 如上图所示:过拟合,就是拟合函数需要顾忌每一个点,最终形成的拟合函数波动很大。在某些很小的区间里,函数值的变化很剧烈。这...转载 2018-09-01 19:52:59 · 16908 阅读 · 0 评论 -
深度学习和机器学习的区别
最近在听深度学习的课,老师提了一个基本的问题:为什么会出现深度学习?或者说传统的机器学习有什么问题。老师讲解的时候一带而过,什么维度灾难啊之类的,可能觉得这个问题太浅显了吧(|| Д)````不过我发现自己确实还不太明白,于是Google了一下,发现一篇很棒的科普文,这里翻译一下,分享给大家:翻译自文章:https://www.analyticsvidhya.com/blog/2017/04/co...转载 2018-09-01 20:40:23 · 46582 阅读 · 18 评论 -
层次聚类算法
首先介绍聚类中的层次聚类算法。层次法又分为凝聚的层次聚类和分裂的层次聚类。 凝聚的方法:也称自底向上的方法,首先将每个对象作为单独的一个聚类,然后根据性质和规则相继地合并相近的类,直到所有的对象都合并为一个聚类中,或者满足一定的终止条件。经典的层次凝聚算法以AGNES算法为代表,改进的层次凝聚算法主要以BIRCH,CURE,ROCK,CHAMELEON为代表。(后面详细介绍) 分裂的方...原创 2018-09-04 15:08:58 · 4229 阅读 · 0 评论 -
Word2vec详解2
word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包,它简单、高效,因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并没有谈及太多算法细节,因而在一定程度上增加了这个工具包的神秘感。一些按捺不住的人于是选择了通过解剖源代码的方式来一窥究竟,出于好奇,我也成为了他们中...转载 2018-08-25 22:03:55 · 291 阅读 · 0 评论 -
Tensorflow 进行图像分类
import tensorflow as tfimport loadmnist as lmimport numpy as npdef getW(shape,name): initial = tf.truncated_normal(shape, stddev=0.1) return tf.Variable(initial,name=name)def getB(num,na...原创 2018-08-30 09:43:24 · 751 阅读 · 0 评论 -
SVM核函数的选择
SVM核函数的选择对于其性能的表现有至关重要的作用,尤其是针对那些线性不可分的数据,因此核函数的选择在SVM算法中就显得至关重要。对于核技巧我们知道,其目的是希望通过将输入空间内线性不可分的数据映射到一个高纬的特征空间内使得数据在特征空间内是可分的,我们定义这种映射为ϕ(x)ϕ(x),那么我们就可以把求解约束最优化问题变为但是由于从输入空间到特征空间的这种映射会使得维度发生爆炸式的增长,因此...原创 2018-08-26 20:27:45 · 6668 阅读 · 1 评论 -
SVM核函数的选择
1. 核函数的选取一般用线性核和高斯核,也就是Linear核与RBF核需要注意的是需要对数据归一化处理,很多使用者忘了这个小细节然后一般情况下RBF效果是不会差于Linear但是时间上RBF会耗费更多,其他同学也解释过了下面是吴恩达的见解:1. 如果Feature的数量很大,跟样本数量差不多,这时候选用LR或者是Linear Kernel的SVM2. 如果Feature的数量比较小...原创 2018-08-26 20:17:17 · 3116 阅读 · 0 评论 -
MLE/MAP和贝叶斯的联系与区别
贝叶斯估计与有监督学习如何用贝叶斯估计解决有监督学习问题? 对于有监督学习,我们的目标实际上是估计一个目标函数f : X->Y,,或目标分布P(Y|X),其中X是样本的各个feature组成的多维变量,Y是样本的实际分类结果。假设样本X的取值为xk,那么,根据贝叶斯定理,分类结果为yi的概率应该为: 因此,要估计P(Y=yi|X=xk),只要根据样本,求出P(X=xk|Y=yi)的所有估计,...转载 2018-03-14 21:49:27 · 5319 阅读 · 0 评论 -
核函数和KKT条件的理解
机器学习之支持向量机(三):核函数和KKT条件的理解注:关于支持向量机系列文章是借鉴大神的神作,加以自己的理解写成的;若对原作者有损请告知,我会及时处理。转载请标明来源。序:我在支持向量机系列中主要讲支持向量机的公式推导,第一部分讲到推出拉格朗日对偶函数的对偶因子α;第二部分是SMO算法对于对偶因子的求解;第三部分是核函数的原理与应用,讲核函数的推理及常用的核函数有哪些;第四部分是支持向量机的应用...原创 2018-03-15 16:35:39 · 1874 阅读 · 0 评论