机器学习策略

机器学习- Machine Learning
今天下午，人工智能老师刚讲完机器学习，一想到3月份蓝杰那边上课的时候也通过机器学习的内容，像贝叶斯分类，贝叶斯选择器之类的，
而我自己也没有系统地总结机器学习的知识，趁着刚吃饱饭的舒服劲，来写一篇关于机器学习的博客。 
What is machine learning？
Machine Learning <T,P,E>:
Computer automatically improves
at task T(任务)
according to performance metric P(性能)
through experience E(经验)
—— Tom Mitchell，1997
这是汤姆·米切尔说的。意思就是，机器在执行任务时，通过执行任务的经验，提高机器执行任务的性能，这是一个动态的过程。
在生活中，有许多机器学习的例子，
例如，下棋
T: 下棋
P: 比赛中击败对手的百分比
E: 与自己对弈的训练
手写体识别
T: 识别手写文字
P: 识别的正确率
E: 已经做好的具有代表性分类的手写体数据库
自动驾驶
T: 通过视觉传感器在高速路上自动驾驶
P: 平均无差错行驶里程
E: 在观察人的驾驶过程中记录的一系列图像和驾驶指令数据库。
机器学习是一项复杂的智能活动，学习过程与推理过程是紧密相连的，按照学习中使用的推理的多少，机器学习所采用的策略有如下：
Rote Learning(死记硬背式学习、机械学习)
memory-based
Induction(归纳学习)
Learning from examples (Supervised)
Dicision Tree(决策树学习)
Learning from observation and discovery (Unsupervised)
Analogy (类比学习)
according to the similarity of knowledge in different domain
Explanation-based Learning(解释学习)
Deduction and Induction are combined 
Neural Learning
Clustering(聚类)
Discovering similar group
Reinforcement(增强学习）
机械学习：
 最简单的学习方法
机械学习就是记忆，即把新的知识存储起来，供需要时检索调用，也叫死记硬背学习，不需要计算和推理，
是一种最基本的学习过程。






机械学习的主要问题
存储组织信息：要采用适当的存储方式，使检索速度尽可能地快。
环境的稳定性与存储信息的适用性问题：机械学习系统必须保证所保存的信息适应于外界环境变化的需要。
存储与计算之间的权衡：对于机械学习来说很重要的一点是它不能降低系统的效率。


归纳学习：
是应用归纳推理进行学习的一种方法根据归纳学习有无教师指导，可把它分为示例学习和观察与发现学习。示例归纳学习的模式。
示例1：某天下雨，且自行车在路上出了毛病要修理，所以他上班迟到。
示例2：某天没下雨，但交通堵塞，所以他上班迟到。
通过归纳归结，得：
如果自行车在路上出了毛病要修理，或者交通堵塞，则他有可能上班迟到  
曲线拟合
示例形式: (x, y, z)
示例1：(1,0,10)
示例2：(2,1,18)
示例3：(-1,-2,-6) 
z=2x+6y+8 
 类比学习：
类比学习主要包括如下四个过程
输入一组已知条件和一组未完全确定的条件，对两组出入条件寻找其可类比的对应关系，根据相似转换的方法，进行映射，
对类推得到的知识进行校验。
类比学习的研究可分为两大类。
问题求解型的类比学习
预测推定型的类比学习（传统的类比法、因果关系型的类比 ）


解释学习：
解释学习根据任务所在的只是领域和正在学习的概念知识，对当前实例进行分析和求解，得出一个表征求解的因果解释树，以获取新的知识。
在获取新的知识过程中，通过对属性、表征现象和内在关系等进行解释而学习到新的知识。
1、利用基于解释的方法对训练实例进行分析与解释，以说明它是目标概念的一个实例。
2、对实例的结构进行概括性的解释，建立该训练实例的一个解释结构以满足概念的定义，
3、从解释结构中识别出训练实例的特性，并且从中得到更大一类的例子的概括性描述，获取一般控制知识。
即：
给定：1、目标概念（要学习的概念）描述TC；
2、训练实例（目标概念的一个实例）TE.
3、领域知识（由一组规则和事实组成的用于解释训练实例的知识库DT.
4、操作准则。OC
求出：
1、目标概念的充分概括描述。
2、操作准则。


神经学习：
神经学习是对人脑神经系统学习机理的一种模拟。
分类：
有师学习：能够根据期望的和实际  的网络输出（对应于给定输入）间的差来调整神经元间连接的强度。
无师学习：不需要知道期望输出。
增强学习：采用一个“评论员”来评  价与给定输入对应的神经网络输出的优度（质量因数）。增强学习算法的一个例子是遗传算法（GA）。




感知器学习（Perceptron Learning Rule）
有师学习
权值调整公式
wij(t+1)=wij+r (di - Oi) Oj
wij ：i到j的权值    Oi：i的实际输出
r >0：学习常数    di： i的期望输出
Equivalent to rules:
If output is correct do nothing.
If output is high, lower weights on active inputs
If output is low, increase weights on active inputs