复杂度分析的理论基础

复杂度分析的理论基础

通常我们考虑的优化问题形式如下：
$$f^{\ast }=\underset{x\in X}{\min }f(x).$$
根据约束集合 $X$ 和目标函数 $f(x)$ 的类型对上诉优化问题进行分类：

• 约束/无约束优化问题：$X\subset {\mathbb{R}}^n/X\equiv {\mathbb{R}}^n$;
• 光滑/非光滑优化问题：$f(x)$ 在 $X$ 上可/不可导；
• 凸/强凸/非凸优化问题：$f(x)$ 是凸/强凸/非凸函数；
• 随机优化问题：$f(x)={\mathbb{E}}_{\xi }[F(x,\xi )]$。

为了分析优化算法在求解问题的效率，将引入复杂度分析的概念。

复杂度分析的问题模型有三个部分：

1. 全局信息

   • $f(x)$ 是凸函数、强凸函数、非凸函数；$f(x)$ 是光滑函数、非光滑函数。
   • $f(x)$ 是复合函数，$f(x)=g(x)+h(x).$
   • $f(x)$ 是随机优化问题，${\min }_{x\in X}f(x):=\mathbb{E}[F(x,\xi )],$ $\xi$ 是随机变量。
   • 将凸函数空间划分：
     • $C(X)=C^0(X)$ 是所有连续函数的集合。
     • $C_L^{0,0}(X):$ $\Vert f(x)-f(y)\Vert \le L\Vert x-y\Vert ,\forall x,y\in X.$
     • $C_L^{1,1}(X):$ ∥ ∇ f ( x ) − ∇ f ( y ) ∥ ≤ L ∥ x −