极大似然估计

考察下面的ARMA模型:

$$Y_t = c + \phi_1 Y_{t-1} + \phi_2 Y_{t-2} + ... + \phi_p Y_{t-p} +\epsilon_t + \theta_1\epsilon_{t-1} + \theta_2\epsilon_{t-2} + ... + \theta_q\epsilon_{t-q}$$
如何运用Y的观测值来估计 $(c,\phi_1,...,\phi_p,\theta_1,...,\theta_q,\sigma^2)$的值。

估计所根据的基本原则是最大似然估计。
从理论上讲，求最大似然估计包括两个步骤。
1. 计算似然函数式
2. 求使得这个函数值最大的$\theta$值

令$\theta \equiv (c,\phi_1,...,\phi_p,\theta_1,...,\theta_q,\sigma^2)^,$表示总体参数向量。假定我们观测到一个样本量为T的样本$(y_1,y_2,...,y_T)$，计算概率密度

$$f_{Y_T,Y_{T-1},...,Y_1}(y_T,y_{T-1},...,y_1;\theta)$$
它可近似地看作已观测到的这个具体样本的概率。 $\theta$的最大似然估计是使这个具体样本最可能观测到的值，即使式最大的 $\theta$值。