机器学习(四) - - 发展历程

五十年代到七十年代初:

 

“推理期”:赋予机器逻辑推理的能力。

A.Newell和H.Simon的“逻辑理论家”程序证明了《数学原理》第38条原理(1952年),此后证明了所有52条原理(1963年)。

1950年,图灵曾经于关于图灵测试的文章提到了机器学习的可能

五十年代中后期,基于神经网络的“连接主义”(connectionism)学习开始出现,代表性工作有F.Rosenblatt的感知机(Perceptron),B.Widrow的Adaline等。

六七十年代,基于逻辑表示的“符号主义”(symbolism)学习技术开始发展

 

 

七十年代中期:

“知识期”:让机器拥有知识。

E.A.Feigenbaum等人认为,机器必须拥有知识才能拥有智能,并且他主持研制了世界上第一个专家系统DENDRAL(1965)

 

八十年代:

“学习期”:让机器去学习

“从样例中学习”:”从训练样例中归纳出学习结果。

“符号主义学习”:从样例中学习的一大主流,代表包括决策树(decision tree)和基于逻辑的学习。

“基于神经网络的连接主义学习“:到九十年中期的从样例中学习的另一大主流,五十年代的连接主义拘泥于符号表示,1983年J.J.Hopfield利用神经网络求解“流动推销员问题”这个NP问题取得重大进展;1986年,D.E.Rumelhat等人发明了著名的BP算法。此刻的连接更多的是“黑箱”操作,更容易操作。但“参数”影响太大!!

 

九十年代中期

“统计学习”:statistical learning,九十年代中期出现,迅速占领主流舞台,代表技术是支持向量机(Support Vector Machine,SVM)以及更一般的“核方法”(kernel methods)。这方面的研究早于六七十年代已经开始,但九十年代在文本分类应用中才得以显现;另一方面连接注意学习的局限性,大家才意识到统计的好处来。

 

二十一世纪初

“深度学习”:五十年代的连接主义又卷土重来了!名为“深度学习”,狭义的角度就是“很多层”的神经网络。在涉及语音,图像等复杂对象的应用中,深度学习取得了非常优越的性能。以往的机器学习对使用者的要求比较高;深度学习涉及的模型复杂度高,只要下功夫“调参”,性能往往就很好。深度学习缺乏严格的理论基础,但显著降低了机器学习使用者的门槛!其实从另一个角度来看是机器处理速度的大幅度提升……




祝大家学习愉快~

 

发布了218 篇原创文章 · 获赞 477 · 访问量 108万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 程序猿惹谁了 设计师: 上身试试

分享到微信朋友圈

×

扫一扫,手机浏览