广义线性模型

广义线性模型

二分类问题的输出，二项分布，
多分类问题的输出，多项分布
回归问题的输出，高斯分布

这些任务都可以表示为广义线性模型

1. 线性模型
   $y=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{\frac{(z-\mu {)}^2}{{\sigma }^2}},z={\theta }^{T}x$
2. 二分类
   $y_1=\frac{e^{-z}}{1+e^{-z}},z={\theta }^{T}x$
3. 多分类
   $y_j=\frac{e^{z_j}}{{\sum }_i{e}^{z_i}},z={\theta }^{T}x$

指数族 概率分布函数表达式：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VSmzIXf6-1571969864033)(./2019-10-24 20-31-29 的屏幕截图.png)]
许多分布都是是指数族的，比如伯努利分布，多项分布，高斯分布，泊松分布（建模count个数），gamma和指数分布（建模连续，非负随机变量，比如时间间隔），beta和狄利克雷分布（概率分布）

伯努利分布：
$\varphi$参数
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5u39J2VR-1571969864034)(./2019-10-24 20-47-14 的屏幕截图.png)]

高斯分布：
$\mu$参数
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-e3LVmLsv-1571969864035)(./2019-10-24 20-48-08 的屏幕截图.png)]

多项式分布：
${\varphi }_1,{\varphi }_2,...,{\varphi }_{k-1}$共计k-1个参数
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mqzBh5Qd-1571969864035)(./2019-10-24 21-13-16 的屏幕截图.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ODVm0upW-1571969864036)(./2019-10-24 21-13-38 的屏幕截图.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Q2mKChnP-1571969864036)(./2019-10-24 21-13-56 的屏幕截图.png)]

将二项分布和多项分布表达为指数族的形式，就能得到$\eta$与概率$\varphi$的关系表达式(sigmoid和softmax)，其中$\eta$可以由线性回归模型建模

---

广义线性模型

假设随机变量$y$满足指数族概率分布，那么怎么根据x预测y的值，也就是说将y表示为x的函数呢？

我们先做以下三个假设：

1. $y|x;\theta$ ~ 指数族($\eta$)
2. 给定x，我们的目标是预测T(y)的期望值，在大多数例子中，T(y)=y
3. 自然参数$\eta$和输入x是线性相关的$\eta ={\theta }^{T}x$

---

一般的深度学习模型

现有的深度学习模型，可以看做是广义线性模型的进一步推广，在GLM中有$\eta ={\theta }^{T}x$，我们将其推广到非线性模型$\eta =f(x)$。其中 $f$ 为深度网络模型

---

最大似然估计

学习的过程采用 最大似然估计，就是说认为数据 { ( x i , y i ) } \{(x_i, y_i)\} {(xi​,yi​)}是存在噪声的，对于回归任务中的连续量$y_i$，我们可以认为它符合高斯分布，模型做点估计（估计$\mu$）

对于多分类任务，数据集为 { ( x i , y i ) } , 其 中 y i ∈ 0 , 1 , 2 , . . . , k \{(x_i, y_i)\},其中y_i\in{0,1,2,...,k} {(xi​,yi​)},其中yi​∈0,1,2,...,k ，
可以认为$y_i$符合多项分布（one-hot向量），模型预测类别分布（同样是多项分布），最大化正类别的概率。

1. softmax的交叉熵损失，最大化负对数概率
   $l_{loss}=-\log p$其中$p$为softmax概率
2. 线性回归的L2损失，最大化负高斯分布概率
   $l_{loss}=-\log \frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(y-\hat{y}{)}^2}{2{\sigma }^2}}=\frac{(y-\hat{y}{)}^2}{2{\sigma }^2}+\frac{1}{2}\log 2\pi {\sigma }^2$在$\sigma =1$的条件下，$l_{loss}=\frac{1}{2}(y-\hat{y}{)}^2$

我们在回归任务中假定$y_i$是高斯分布的随机变量（测量是不准确的），对于分类任务，我们隐含的假设了$y_i$是带有随机噪声的吗？显然并没有这样，我们直接使用了$y_i$标签，那我们认为$x_i$带有随机噪声吗？。。。