机器学习-李宏毅-Introduction of ML/Deep Learning

视频P3-P4

定义：Machine learning=Looking for function找函数

Different types of functions函数的种类

• regression回归，函数输出的是一个数值scalar
• classification分类，给了类别选项后，函数输出正确的类别选项，可以有多个选项
• Structured learning结构化学习，学会创造东西（如文本、图片）

机器如何找函数？ --3步

假设A函数，函数结果Y与已有训练数据不断进行比对，A函数不断调整(w,b)，输出的Y值与真实函数进行误差比对，若差值越小，则A函数越准确

step1，Function with unknown parametres,猜测一个带有未知参数的函数y=b+wx1（Model）

step2，Define Loss from training data定义训练数据的损失

Loss:how good a set of value is，输出的一组数值是否好

Loss is a function of parameters= L（b,w），输入是函数的b（bias偏差）,w（weight权重）每次预测结果和实际结果的差距，针对误差进行函数计算。

计算方式：L=多个误差值相加*1/训练资料个数，L越大，误差越大，数据越差。

误差的计算有两种方式：平均绝对误差和均方误差

step3，Optimization最优化，找出对应的wb使得L最小

 Optimization的方法：Gradient Descent梯度下降法

一个瞎子爬山，通过感受山的倾斜度来判断往上走还是往下走才能到山脚。每次走的步伐大小可以自定义，步伐越大，时间越少。

以先确定一个最佳值W为例：

1. 随机选择一个初始值W0
2. 计算出W0位置所在的微分，即斜率。再去定义移到W1位置需要多大距离。

           定义W0-W1的距离的函数：

           n=learning rate学习速率，自己定义的，n大，update的量大，学习速度就会快

           自己设定的东西如n，叫做hyperparameters超参数

     3. 多次反复计算w的结果，当斜率为0时，L=0，即最佳w

     PS：会有局部最优（Local minima）和全局最优（Global minima）的问题

 根据训练数据得出函数后，可根据domain knowledge对模型参数进行修改

比如考虑周期性影响，加入时间因素，同时重新计算时间因素的权重等

复杂函数的机器学习

step1，定义复杂函数

Linear Model线性模型-——Y=w1X+b,无法表示复杂函数

复杂函数可以用多个线性模型+常数表示，越复杂线性模型越多。同样的，曲线也可以用线性模型表示，只要取的点足够小

All piecewise Linear Curves=constant常数+sum of a set of linear model,more pieces need more linear models

Sigmoid Function表示蓝色的Linear Model,w影响斜率，b影响左右位置，c影响函数高度

 Y由多个sigmoid Function相加组成，sigmoid的数量由自己来定，表示将原函数分为几段就有几个sigmoid，所以可以用smf表示

 More features:

仅有一个feature(即x)的模型Y可以用sigmoid model表示，若有多个features，则可引入WjXj

step2，定义Loss函数L

step3，Optimization，找出L最小值

实际训练函数时，会把训练数据分成多个batch，每个batch计算L，根据L更新θ，找出每个batch的最小L，每更新一次参数叫做一次update。所有数据看过一遍叫1 epoch=see all the batches once

 

ReLU

表示蓝色曲线hard sigmoid的另一种方式ReLU

sigmoid 和ReLU都是Activation Function激活函数 

 

为了使Loss值更小，可以多次反复做sigmoid或ReLU，做一次=1次layer，每次得到ReLU的答案a为Neuron神经元

 

 Many layers means Deep——Deep Learning