- 博客(35)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 中缀转前缀表达式
关于四则表达式，网上资料很多，不重复本篇使用栈实现后缀表达式转前缀表达式1 定义栈类栈是一个定义在一端操作的线性表，last-out-first-in（LOFI）的特点class Stack: """定义栈""" def __init__(self): self.items = [] #判断是否栈空 def isEmpty(self)
2015-04-22 10:30:07
934
原创 MachineLearning(Hsuan-Tien Lin)第十六讲
三个锦囊妙计1 Occam’s Razor如无需要，勿增实体entities must not be multiplied beyond necessity就是说要用越简单的原因来做解释越好，而不必要的内容都要剃掉。在machine learning中，就是The simplest model that fits the data is also the most plausib
2014-05-18 13:12:08
949
原创 MachineLearning(Hsuan-Tien Lin)第十五讲
模型的选择在Andrew的week（6）上中已经提到过模型选择模型三要素：特征（x的选择和转换），目标函数（选哪个h）和约束条件（regulation项）优化的过程就是求极值的过程，用到算法，所以关于算法的选择，参数的选择……概况成下面的表：类别选择算法A PLA，pocket，linear regression，logi
2014-05-17 13:27:24
775
原创 Machine Learning(Andrew)Week10(下)
应用举例：图像识别图片文字识别：给定一张图片，从中识别文字 流程：图片—>文字检测—>字符分割—>字符识别文字检测：要检测出图片中的文字（如上图，红色框出的字）字符分割：把检测出的文字按每个字母分割 字符识别：识别每个字母是什么 行人识别：从图片中识别行人上述中文字检测时，我们用红色框把文字找出来，用的就是滑动窗口技术。滑动窗口是一种利用一个形状（一般矩
2014-05-16 12:43:30
976
原创 Machine Learning(Andrew)Week10(上)
大数据集的机器学习在Week6(下)中我们曾说过Banko and Brill设计的一个分类器，最后得出了一个结论“It’s not who has the best algorithm that wins .It’s who has the most data”但是在Week6(上)中我们说对高variance增加数据是有用的，而对于高vias帮助不大。所以什么时候数据多比较好，要用学习
2014-05-15 12:24:46
1013
原创 Machine Learning(Andrew)Week9(上)
异常检测Anomaly detection Problem motivation“异常”就是类似于信息系统中，计算机病毒的感染或者侵入、盗用信用卡、生产线或者机器设备的故障等问题。虽然发生频率不是很高，但是一旦发生就会造成服务停止之类的重大损失，所以在异常发生之前或早期阶段就检测到至关重要。目前为止，重大事故发生较少，所以根据过去的数据进行预测也是很困难的。相反，既然很难定义异常，那么考虑
2014-05-13 23:35:18
1280
原创 Machine Learning(Andrew)Week8(下)
Dimensionality Reduction这讲主要说数据降维。数据降维就是减少特征个数，可以分为特征选择和特征提取两个步骤。原始数据采集的时候，数据的维度可能比较高，出现一些不重要特征，一些冗余且不能提供帮助的特征，如采集房屋信息的时候，可能的特征有长、宽、面积。面积=长*宽，所以就冗余了。所以选择只留面积，当然也可以选择留长和宽作为特征。再用特征转换把三维的特征转换为一维或者二维特
2014-05-11 13:07:04
1071
原创 Machine Learning(Andrew)Week8(上)
Unsupervised learning introduction前面说的都是有监督学习(Supervised learning)，是指训练数据每一笔都是成对的(x1,y1),(x2,y2)……就好像我们备考的时候，做习题题目和答案都提供给你。而machine learning中是指提供的数据有贴标签，输出的值贴上了答案。现在要说的无监督学习(Unsupervised learning)
2014-05-10 13:01:32
918
原创 Machine Learning(Andrew)Week7(下)
Kernels我们在Andrew的Week4中说到，如果非线性分类用多项式组合，可以找的h非常之多Hsuan-Tien Lin第十二讲也会分析，这样的组合的特征非常多。有没有更好的方式来选特征呢？我们利用核函数kernel来定义新的特征值。Kernel是数据点的特征的内积。可以理解为两个数据点xi，xj比较它们在特征空间的相似度，就是kernel。。Kernel值比较大
2014-05-09 13:24:37
1446
原创 MachineLearning(Hsuan-Tien Lin)第十四讲
Regularization今天主要讲regulation。（在Andrew的week3（下）也讲到了，可以比较下。）Regulation是解决overfit的办法。上一讲说到如果对下图中的点做回归的时候，目标函数是个二次多项式，但是你用一个四次多项式来做，结果overfit。 我们开始不知道目标函数是二次，但是做出四次函数后，发现模型太复杂了，发生了overfit，这时就要想
2014-05-07 22:27:19
871
原创 MachineLearning(Hsuan-Tien Lin)第十三讲
Hazard of Overfitting这一讲说的是过拟合问题，Andrew在Week3(下)也说过过拟合。这里做些简单回顾。如下图，对于一个一维空间，五个点做回归。目标是蓝色的二次函数，它的效果是差不多点都在线上，有一小部分在线附近。 但是，你用一个四次函数来拟合，所有点都精准的落在线上。看似这样的结果很满意，但是机器学习的目的是为了预测没有看过的点。在看过的点中表现太好Ein
2014-04-24 17:03:29
733
原创 Machine Learning(Andrew)Week6(下)
Machine learning system design优先做什么：以垃圾邮件分类为例 很容易看出，左边的是垃圾邮件，我们用“1”表示；右边的不是垃圾邮件，用“0”表示。这是我们看出来的，如果是垃圾邮件分类器，它是怎么看出来的呢？垃圾邮件分类器并不能像我们一样思考语义，揣测意图。它能做的根据“垃圾邮件的说明”来判断。什么意思呢？我们告诉它，如果一个邮件里，有很多下面这些单词
2014-04-19 13:04:09
1624
原创 Machine Learning(Andrew)Week6(上)
采用机器学习的一些建议假设你已经训练好了一个线性回归模型来预测房屋的价格，但是你在做新房屋价格预测的时候，发现误差太大了，这时该怎么办呢？线性回归成本函数： （1）找更多的训练数据（2）减少特征数（3）增加特征数（4）增加多项式特征（比如x1x2，x1^2……）（5）增大λ（6）减小λ机器学习诊断诊断（Diagnostic）：就是一种对学习算法是否工作的
2014-04-17 12:45:00
945
原创 Machine Learning(Andrew)Week5
Neural Networks:Learning上一周说到神经网络的表示: 有如下公式：如果增加隐藏层，就是增加 ai如果是多元分类的话，就是在最后hθ(x)变多。如，三类的分类： 现在，要做学习了，所以需要看成本函数。回顾逻辑回归中的成本函数： 神经网络的成本函数却要复杂很多： 在hθ(x)部分，
2014-04-16 13:05:40
1439
原创 MachineLearning(Hsuan-Tien Lin)第十二讲
前面说的分类都是线性可分的情况，即直观上看就是用直线就能把点分到对的阵营。 数学上找这条线的时候，算一个分数：如果不是线性可分的情况，怎么做分类呢？ 理论上，我们讲过dvc保证机器学习可行。 只是，有可能找的直线，Ein比较大。那么，我们就想，能不能不找直线呢？对于上面的数据，我们直觉用个圆，好像做得就挺好的，所有点都分到对的阵营。 这个圆的方程是：
2014-04-15 23:29:11
713
原创 MachineLearning(Hsuan-Tien Lin)第十一讲
在第九讲说到，线性分类问题可以用线性回归来解决。来看看逻辑回归是否能解决线性分类问题。比较三个模型：首先，它们都要算一个加权的分数：类型线性分类线性回归逻辑回归模型h(s)=sign(s)h(s)=sh(s)= θ(s)
2014-04-13 22:37:21
685
原创 MachineLearning(Hsuan-Tien Lin)第十讲
这一讲主要说逻辑回归。可对比Andrew的week3给了病人资料： 要判断一个病人是否有心脏病，用： P(+1|x)就是目标分布，有noise时我们求的不是f而是分布。“P(+1|x)-1/2”是说给了病人的资料x，y=1的概率p是否大于1/2。P(+1|x)-1/2≥0,sign取正，就是有心脏病；P(+1|x)-1/2≤0,sign取负，就是没有心脏病。现在，我
2014-04-09 12:12:11
811
原创 MachineLearning(Hsuan-Tien Lin)第九讲
线性回归andrew的Week1和Week2说的也是线性回归。可以比较下二者所讲的。比如银行给顾客信用卡的例子，线性回归做的不是决定“要不要给顾客信用卡”而是“要给顾客多少信用额度”，每个顾客给的不一样。线性回归： 注意，x0是常数项，是阈值。目标是希望加权后的结果和期望接近。没有sign，就是直接算出来的值就是结果，不需要像分类问题一样，取符号。和分类不一样想展示：（有两
2014-04-08 11:00:25
1425
原创 Machine Learning(Andrew)Week4
Neural Networks: Representation1、非线性分类（Non-linear hypotheses）前面谈到的分类器都是线性的，如果点线性不可分呢？如： 我们可以用多项式： 但是，如果特征有100个呢？ 多项式就有好多种：特征组合hθ(x)1个任意2个（有好
2014-04-05 18:51:56
833
原创 MachineLearning(Hsuan-Tien Lin)第八讲
Noise 这讲主要说资料有noise的状况。噪声数据是指数据中存在着错误或异常(偏离期望值)的数据针对银行给顾客信用卡，举几种noise：（1）noise 在y：一个顾客本来应该给信用卡，但是没给；两个相同资料的顾客，一个给了，一个没给；（2）noise在x：输入顾客资料时，输错了。所以，现在的问题就是，在有noise的状况下，VC bound还能不能用？
2014-04-02 10:36:14
703
原创 MachineLearning(Hsuan-Tien Lin)第七讲
在前一讲，我们用一个上限的上限来框住成长函数，说它最后一定不会很大。还记得上限的上限吗？指Generalization的时候，选成长函数用上限bounding function。求bounding function时，用的又是它的上限。其实，M的边界是非常宽松的。选假设个数时，就是选能做出dichotomy最多的，比如N=3时，有6种和8种，我们就选8种。这是上讲求的成长函数： 可以看
2014-04-01 23:20:58
737
原创 MachineLearning(Hsuan-Tien Lin)第六讲
前面说到mH(N)不是按照指数增长的，它在增长的路上会遇到一块叫break point的石头绊一下，使它增长变慢。而且，我们还知道了四种类型的成长函数的break point值。 当成长函数在break point最小的值那里开始变慢以后，后面的增长都是变慢的。什么意思？就是说k=3的时候，成长函数开始变慢了，k=4也是break point。因为break point不能够shatter
2014-03-27 10:45:51
815
原创 MachineLearning(Hsuan-Tien Lin)第五讲
机器学习的目的是找到一个好的h。那么，需要什么条件？有h，还有就是，好的那个要在h集合里。至于，怎么找，那是算法的事。机器学习可行的前提就是：要有h且好的那个要在h集合中。上讲说到，如果N够大，M有限的话，Learning是可以做到的。但是，如果M无限呢？回顾下上面的Hoeffding’s Inequality，我们做总体预测的时候，是怎么做的？我们是把每一个h在所有D上BAD和，再把
2014-03-26 22:36:10
866
原创 《A Few useful things to Know About machine Learning》读后感
本文主要是《A Few useful things to Know About machine Learning》的读后感中文译文是《机器学习那些事》作者：佩德罗·多明戈斯（Pedro Domingos）译 者 ：刘 知 远文章主要说，有一些“folk knowledge”是很有用的，但是在很多Machine Learning的教材中没有被提到。造成项目浪费了很多时间且没有得到好的
2014-03-19 23:10:03
5654
4
原创 Machine Learning(Andrew)Week3（下）
Machine LearningWeek3The problem of overfitting1、过拟合Overfitting曲线拟合：Curve fitting is the process of constructing a curve, or mathematical function, that has the best fit to a series of da
2014-03-18 21:31:05
867
原创 Machine Learning(Andrew)Week3（上）
Machine LearningWeek3Logistic Regression1、分类邮件分类：是垃圾邮件/不是垃圾邮件？在线事务：是欺诈行为/不是欺诈行为？肿瘤：恶性/不是恶性？可以看出，这里的输出都是“是/否”。用1表示肯定，0表示否定，则输出就是y={1，0}和Hsuan-Tien Lin的x（-1）o（+1）是一样的。上面讲的是二元分类，结果只有两个。
2014-03-17 21:04:17
1302
1
原创 MachineLearning(Hsuan-Tien Lin)第四讲
第四讲Learning 是否可行?1、机器学习不可行？做个有意思的题。先给你一些资料，如图所示，上面三幅图是y=-1，下面三幅图是y=+1。让你学习。 现在，再给你一幅图（下图），问你它的y是多少？ 你说是-1。然后，我们公布答案说你错了。因为根据是否对称来判断。上三幅图不对称是-1，下三幅对称是+1，所以新给的图是对称的，是+1。你说是-1。我们又公布答案说你错了
2014-03-13 22:55:50
790
原创 MachineLearning(Hsuan-Tien Lin)第三讲
第三讲机器学习的类型：1、根据输出空间（1）分类(Classification)问题上一讲说到要不要给顾客信用卡，输出是+1和-1，这是二元分类问题。二元分类(Binary classification)问题概况起来就是：给计算机上面这些x（红色）和o（蓝色）的点，让它在这个平面找到一条线把平面分成两个部分，线的一边都是红色的x，另一边都是蓝色的o 。之后，有新
2014-03-12 21:05:27
617
原创 MachineLearning(Hsuan-Tien Lin)第二讲
第二讲1、hypothesis set第一讲说到机器学习做的事情就是算法A从假设集合h中选一个g。这一讲主要解决机器学习如何做是非题。比如判断一个银行是否给顾客信用卡。首先要想的一个问题就是h长什么样。就是说假设集合中h到底有哪些。对于银行给顾客信用卡的例子，数据D是什么呢？就是之前的一堆顾客的资料以及那些顾客是否拿到信用卡。顾客的资料就是x，顾客是否拿到信用卡就是y
2014-03-09 16:47:55
1096
原创 MachineLearning(Hsuan-Tien Lin)第一讲
这是台大的课程，与Andrew的有区别，角度不太一样。一开始没有讲线性回归，而是先系统的讲机器学习的一些概念，讲得深入些。第一讲（1）对比了学习和机器学习 学习：从观察中累积出技能机器学习：从数据中累积/计算出技能什么是技能？就是在improve some performance measure比如，通过学习可以更精确的预报天气这里用到improve，是什么
2014-03-09 15:30:39
934
原创 MachineLearning(Andrew)Week2
Machine LearningWeek2Linear Regression with multiple variable1、多变量Multitude feature上面一篇说到单变量线性回归，这篇来说说多变量线性回归回顾单变量线性回归，说到价格和面积的关系，给我们的变量就只有一个面积。实际上，如果去预测房屋价格，还得考虑很多因素。比如面积，房间数量、几层、房屋年龄……
2014-03-08 11:02:39
1185
原创 MachineLearning(Andrew)Week1
Machine LearningWeek11、introduction（1）什么是机器学习？机器学习从AI（人工智能）中衍生是计算机的一种新能力例子：NLP（Natural Language Processing ）、CV(Computer Vision )Tom Mitchell 1998年给出了个定义：A computer program is said to
2014-03-06 20:16:43
997
1
原创 文献阅读一
主要对《Pervasive Computing at Scale: Transforming the State of the Art 》的翻译和理解题目理解：从题目可以看出本文说的是普适计算，但是与一般普适计算不同在于，文章关心有规模的普适计算，什么意思呢？后面会说明。还可以从题目看出，本文主要阐述从一般普适计算到有规模普适计算转变的最先进技术。从摘要也能看出，文中重点说些先进的发展
2014-03-02 23:18:19
1683
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人