计算复杂性理论（傅育熙） 第一章 时间复杂度

计算复杂性理论（傅育熙）

计算理论

• Turing Machine（2023-09-11）
• Universal Turing Machine
• Speedup Theorem
• Time Complexity Class
• Verification Problem
• Time Hierarchy Theorem
• Gap Theorem

2023-09-11

1.1 图灵机 Turing Machine

图灵机

一台 k-带图灵机（TM）M 有 k-条带子。第一条带子称为输入带，用来存放输入数据，输入带是只读带。其余 k−1 条带子是工作带，既可以从工作带上读信息，也可以往工作带上写内容。图灵机的输出写在最后一条工作带（即第 k 条带）上。

图灵机例子

图灵机是用来解决问题的，那么如何定义图灵机解决了一个问题？

问题

问题就是函数
A function f : { 0 , 1 } ∗ → { 0 , 1 } ∗ f:\{0,1\}^* \rightarrow\{0,1\}^* f:{0,1}∗→{0,1}∗ is a problem.

• $\mathbb{M}$ computes or solves $f$ if $\mathbb{M}(x)=f(x)$ for every x ∈ { 0 , 1 } ∗ x \in\{0,1\}^* x∈{0,1}∗.
• " $\mathbb{M}(x)=y$ " stands for " $\mathbb{M}$ halts with $y$ written on its output tape if its input tape is preloaded with $x$ ".
  A function d : { 0 , 1 } ∗ → { 0 , 1 } d:\{0,1\}^* \rightarrow\{0,1\} d:{0,1}∗→{0,1} is a decision problem.
• $\mathbb{M}$ decides $d$ if $\mathbb{M}$ computes $d$.
  A set L ⊆ { 0 , 1 } ∗ L \subseteq\{0,1\}^* L⊆{0,1}∗ is a language.
  $\mathbb{M}$ accepts $L$ if $\mathbb{M}$ decides the characteristic function $L(x)=\{\begin{array}{ll}1,& \text{ if }x\in L,\\ 0,& \text{ if }x\notin L.\end{array}$
  对什么是问题做形式化描述。先看一个例子: 对带权重的有向图, 求总权重最小的哈密尔顿回路的权重。假定权重为非 0 自然数, 用输出 0 表示没有哈密尔顿回路。因为问题实例 (即所有的带权重的有向图) 均为有限对象, 可以用 0-1 串对其进行编码，所有的输出值可以用二进制表示，所以这个问题本质上是一个（有限） 0-1 串到 （有限）0-1 串的函数。推而广之, 一个函数 f : { 0 , 1 } ∗ → { 0 , 1 } ∗ f:\{0,1\}^* \rightarrow\{0,1\}^* f:{0,1}∗→{0,1}∗ 就是一个问题, 反之亦然。用 “ $\mathbb{M}(x)=y$ ” 表示 “ $\mathbb{M}(x)\downarrow$ 且计算终止时输出带上的内容是 $y$ ”, 在此种情况下, 称 $y$ 为 $\mathbb{M}(x)$ 的计算结果。若对任意输入 x ∈ { 0 , 1 } ∗ x \in\{0,1\}^* x∈{0,1}∗,有 $\mathbb{M}(x)=f(x)$, 称 $\mathbb{M}$ 计算 $f$, 或 $\mathbb{M}$ 解决问题 $f$ 。一个判定问题是一个特殊的函数 d : { 0 , 1 } ∗ → { 0 , 1 } d:\{0,1\}^* \rightarrow\{0,1\} d:{0,1}∗→{0,1}, 其值域为布尔集 { 0 , 1 } \{0,1\} {0,1} 。若 $\mathbb{M}$ 解决 $d$, 亦称 $\mathbb{M}$ 判定 $d$ 。称 { 0 , 1 } ∗ \{0,1\}^* {0,1}∗ 的一个子集 $L$ 为语言。若图灵机 $\mathbb{M}$ 判定 $L$ 的特征函数

$$L(x)=\{\begin{array}{ll}1,& \text{ 若 }x\in L,\\ 0,& \text{ 若 }x\notin L,\end{array}$$

称 $\mathbb{M}$ 接受语言 $L$, 或称 $L$ 为可判定的。我们常等价语言和相应的判定问题,

问题：

问题本质上是一个（有限） 0-1 串到 （有限）0-1 串的函数。推而广之, 一个函数 f : { 0 , 1 } ∗ → { 0 , 1 } ∗ f:\{0,1\}^* \rightarrow\{0,1\}^* f:{0,1}∗→{0,1}∗ 就是一个问题

图灵机解决问题：

用 “ $\mathbb{M}(x)=y$ ” 表示 “ $\mathbb{M}(x)\downarrow$ 且计算终止时输出带上的内容是 $y$ ”, 在此种情况下, 称 $y$ 为 $\mathbb{M}(x)$ 的计算结果。若对任意输入 x ∈ { 0 , 1 } ∗ x \in\{0,1\}^* x∈{0,1}∗,有 $\mathbb{M}(x)=f(x)$, 称 $\mathbb{M}$ 计算 $f$, 或 $\mathbb{M}$ 解决问题 $f$

判定问题：

一个判定问题是一个特殊的函数 d : { 0 , 1 } ∗ → { 0 , 1 } d:\{0,1\}^* \rightarrow\{0,1\} d:{0,1}∗→{0,1}, 其值域为布尔集 { 0 , 1 } \{0,1\} {0,1} 。

图灵机判定了判定问题：

若 $\mathbb{M}$ 解决 $d$, 亦称 $\mathbb{M}$ 判定 $d$ 。

语言L

！！！判定问题常常等同等效得用一个语言来表示，语言L就是01串的一个子集
比如说我们刚刚说的那个哈密路回路问题，$L$就是所有包含了哈密顿回路的图，语言问题和判定问题是等价的

若图灵机 $\mathbb{M}$ 判定 $L$ 的特征函数
$$L(x)=\{\begin{array}{ll}1,& \text{ 若 }x\in L,\\ 0,& \text{ 若 }x\notin L,\end{array}$$

称 $\mathbb{M}$ 接受语言 $L$, 或称 $L$ 为可判定的。我们常等价语言和相应的判定问题,

时间函数 $T(n)$

Suppose $T:\mathbf{N}\to \mathbf{N}$ and $\mathbb{M}$ computes the problem $f$.
We say that $\mathbb{M}$ computes $f$ in $T(n)$-time if its computation on every input $x$ requires at most $T(|x|)$ steps.

经常将一个时间函数记为 $T(n)$，而非 $T(x)$ 或 $T(|x|)$，其中 $n$ 强调是输入串的长度。

所有的时间函数 $T(n)$ 都必须满足不等式 $T(n)\ge n$ 。

1.2 时间可构造函数

时间可构造：

定义 1.3. 若有图灵机在 $O(T(n))$ 时间内计算函数 $1^n\mapsto └T(n)┘$, 称 $T(n)$ 是时间可构造的。
（有图灵机可以计算时间复杂度，而且时间复杂度不是很怪，用$O(T(n))$ 就可以算出来）

完全时间可构造

定义 1.4. 若有图灵机在输入 $1^n$ 上准确地计算了 $T(n)$ 步后停机, 称 $T(n)$ 是完全时间可构造的。

（完全时间可构造比时间可构造强（课后可证明）
定义时间可构造的意义：用图灵机实现 在某些运行太长的输入上叫停 两台图灵机并行计算）

让图灵机 $\mathbb{M}$ 计算 $T(n)$ 步

通过将 图灵机 $\mathbb{M}$ 和 时钟图灵机 $\mathbb{T}$ 作硬连接, 强迫 $\mathbb{M}$ 在 $T(n)$ 步或 $O(T(n))$ 步内终止

模型无关性：一个问题是不是可计算是模型无关的
一个模型里面一个问题多项式时间可解，另一个模型里一个问题也是多项式时间可解
（但无法证明）
Complexity theory ought to be model independent.
Variants of Turing Machines are equivalent to the $k$-tape Turing Machines in the sense that they can simulate each other with polynomial overhead.
尽管我们用的是图灵机 但是用在哪个机子里都是一样（我们在计算复杂性里面关注的都是图灵完备的模型）

2023-09-14

Oblivious Turing Machine

任何时候读写头位置只依赖于输入长度不依赖于输入内容

Church-Turing Thesis

Every physically realizable computing device can be simulated by a Turing Machine
物理上可实现的最厉害的计算就是图灵机计算（我们只讨论可计算性，不可证）（和电子计算机也等价）

1.3 通用图灵机 Universal Turing Machine

通用图灵机：可以计算你想让它算的任何事情，只要那件事情是可计算的
因为图灵机在语法上是有限对象 所以可以被二进制编码

图灵机编码

不同的图灵机有不同的编码
有些图灵机事实上是相同的 但编码不一样 因此我们可以说每台图灵机对应无限多个编码（无限多个和它行为一样的图灵机）
有些01串不是图灵机编码，所有不是图灵机编码的01串解释为某个特定的图灵机编码

我们用 $└\mathbb{M}┘$ 表示图灵机 $\mathbb{M}$ 的二进制编码，用 ${\mathbb{M}}_{\alpha }$ 表示二进制编码为 $\alpha$ 的那台图灵机。

对于图灵机编码使得我们可以枚举图灵机

自然数集合 $\mathbf{N}$ 和 0-1 串集合之间的一一对应函数可用程序实现。利用此一一对应程序可给出图灵机的一个有效枚举:
$${\mathbb{M}}_0,{\mathbb{M}}_1,\dots ,{\mathbb{M}}_i,\dots$$

称 $i$ 为图灵机 ${\mathbb{M}}_i$ 的下标或哥德尔编码。设 ${\varphi }_i$ 是 ${\mathbb{M}}_i$ 所计算的函数, 由 (1.3.2)可得图灵机可计算函数的一个枚举
$${\varphi }_0,{\varphi }_1,\dots ,{\varphi }_i,\dots \text{ 。 }$$

这里, ${\varphi }_i$ 为如下定义的函数:
$${\varphi }_i(x)\stackrel{\text{ def }}{=}\{\begin{array}{ll}y,& \text{ 若 }{\mathbb{M}}_i(x)=y,\\ \uparrow ,& \text{ 若 }{\mathbb{M}}_i(x)\uparrow 。\end{array}$$

偏函数与全函数

偏函数：对一部分输入都有定义
全函数：对所有输入都有定义
一般可计算函数是偏函数，可计算全函数是可计算函数的一部分

通用图灵机

既然已经选定了一个图灵机编码, 我们可以将一个二进制串理解成一个数据或一台图灵机。给定任意两个二进制串 $\alpha ,x$, 我们可以模拟 ${\mathbb{M}}_{\alpha }$ 在输入 $x$上的计算。直观上这个模拟过程是有效的, 即有一台图灵机 $\mathbb{U}$, 满足
$$\mathbb{U}(\alpha ,x)\simeq {\mathbb{M}}_{\alpha }(x)。$$

称 $\mathbb{U}$ 为通用图灵机。在 1.3.4 中, 等价关系 $\simeq$ 的定义如下: 若一边有定义,则另一边也有定义且两边相等; 若一边无定义, 则另一边也无定义。如果将一个程序语言视为一个计算模型的话, 那么用这个程序语言写的程序就是 “图灵机”, 用该程序语言写的该语言的解释器就是一台 “通用图灵机”。

定理 1.1 (枚举定理). 存在通用图灵机 $\mathbb{U}$, 对任意 α , x ∈ { 0 , 1 } ∗ \alpha, x \in\{0,1\}^* α,x∈{0,1}∗, 等式 $\mathbb{U}(\alpha ,x)\simeq$ ${\mathbb{M}}_{\alpha }(x)$ 成立。

定理 1.2. 存在通用图灵机 $\mathbb{U}$ 和多项式 $c$. 对任意长度为 $n$ 的输入串 $x$, 若 ${\mathbb{M}}_{\alpha }(x)$ 在 $T(n)$ 步内停机, 则 $\mathbb{U}(\alpha ,x)$ 在 $c(|\alpha |)T(n)\log T(n)$ 步内停机。

1.4 对角线方法

不存在一段程序, 当输入一段程序 $\mathbb{P}$ 和一个输入数据 $x$, 该程序能判定 $\mathbb{P}(x)$ 的计算是否终止。这就是所谓的 “停机问题不可判定”。在这个推导里, 我们使用归约方法, 将问题 $\mathrm{A}$ 有效归约到问题 $\mathrm{H}$ 。

$TIME(T(n))$ :
$TIME(T(n))$是一个问题集合，一个问题在此集合中当且仅当该问题在 $T(n)$ 的一个常数倍时间内可判定。一般地，$TIME(T(n))$ 依赖于所用模型。若模型是所有双带图灵机，$TIME(n)$ 包含回文问题；若模型是具有单条读写带的图灵机，可以证明，回文问题不在 $TIME(n)$ 中，事实上，它在$TIME(n^2)$ 中

可判定
L是一种语言，它是 { 0 , 1 } ∗ \{0,1\}^* {0,1}∗ 的一个子集。
L是可判定的 当意思是你把x输入到M中，如果x在L里，那它就输出1，不然就输出0。
此时L是可判定问题。

用 $M(x)$ 表示图灵机 $M$ 的输入带预置了输入 $x$。$M(x)$ 会按相关指令计算。在计算的任何时刻 $t$，$M(x)$ 的格局 ${\sigma }_t$ 是一个 $2k$-元组 $(q,{\kappa }_2,...,{\kappa }_k,h_1,...,h_k)$,其中 q 是时刻 t 时的机器状态，符号串 ${\kappa }_2,...,{\kappa }_k$ 分别是时刻 t 时 $k-1$ 条工作带上的内容（非空的符号串），自然数 $h_1,...,h_k$ 是时刻 t 时 k 个读写头的位置。格局 ${\sigma }_t$ 表示 M(x) 计算了 t 步后的系统参数。一步计算可表示成一个格局的迁移 ${\sigma }_t\to {\sigma }_{t+1}$。M(x) 从初始格局开始的格局迁移序列 ${\sigma }_0\to {\sigma }_1\to ...\to {\sigma }_t\to ...$述了M(x) 的计算。若该计算终止，记为 $M(x)\downarrow$；若该计算不终止，记为 $M(x)\uparrow$。若 M(x) 的计算终止于格局 ${\sigma }_T$，用 ${\sigma }_0\to {\sigma }_1\to ...\to {\sigma }_T$ 表示其计算路径。

$S(n)$ 为 $\mathbb{M}$ 的空间函数。

$\mathrm{SPACE}(S(n))$ :
设 $S:\mathbf{N}\to \mathbf{N}$, 且 L ⊆ { 0 , 1 } ∗ L \subseteq\{0,1\}^* L⊆{0,1}∗ 。若有常数 $c$ 和判定语言 $L$ 的图灵机 $\mathbb{M}$,当输入 $x$ 时, $\mathbb{M}(x)$ 计算时使用的工作带上的格子数不会超过 $cS(n)$, 那么 $L$在 $\mathrm{SPACE}(S(n))$ 中。称 $S(n)$ 为 $\mathbb{M}$ 的空间函数。

可计算
称一个函数是图灵机可计算的，或该问题是图灵机可解的，当仅当有一台图灵机计算它。

2023-09-18

Message from Blum’s Speedup Theorem:
-We cannot define time complexity for problems.
-We can of course define time complexity for solutions.
With this remark we proceed to investigate time complexity class.
Blum定理告诉我们有些问题永远有更好的算法，因此我们没法定义问题的复杂性，只能去评估算法的复杂性，所以我们如何对问题进行分类，我们用的方法是看这个问题有什么样的算法。

一个复杂性类是一个模型无关的问题类。一个问题不管用什么模型，都在复杂性类里。一个问题有多项式时间算法，无论用什么模型，都有多项式时间算法。

时间复杂性类 Time Complexity Class

$\mathrm{TIME}(T(n))$：
Let $T:\mathbf{N}\to \mathbf{N}$ be a time function.
A decision problem L ⊆ { 0 , 1 } ∗ L \subseteq\{0,1\}^* L⊆{0,1}∗ is in $\mathrm{TIME}(T(n))$ if there exists a TM that accepts $L$ and runs in time $cT(n)$ for some $c>0$.
一个问题(decision problem)在$\mathrm{TIME}(T(n))$中当它可以在$T(n)$中跑完

有了这个符号之后我们就可以定义复杂性类
用双带图灵机，回文问题可在线性时间内解决，见第 14 页上的回文例子。可以证明, 如果只用单带图灵机, 回文问题只能在平方时间内解决 [150]。所以说, 回文问题是否在 $\mathrm{TIME}(n)$ 里依赖于我们使用的模型。按我们的理解, $\mathrm{TIME}(n)$不是一个复杂性类。一个复杂性类是一个模型无关的问题类。最著名的一个复杂性类是多项式时间类，其定义如下:

$\mathbf{P}={\bigcup }_{c\ge 1}\mathrm{TIME}\left(n^c\right)。$

$\mathbf{EXP}={\bigcup }_{c\ge 1}\mathrm{TIME}\left(2^{n^c}\right)$.

1.8 非确定图灵机

我们常用非确定图灵机解决存在性问题

非确定图灵机的每条计算路径试图构造一个存在性证明，若构造成功，在输出带上写 1 并停机，称该计算是成功的，该终止格局为接受格局；若构造失败，在输出带上写 0 并停机，并称该计算是失败的，该终止格局为拒绝格局。有些计算路径可能不终止，这些计算也是失败的。只要计算终止，我们总可以假定输出带上的内容或为 1 或为 0。对于解决存在性问题，只要有一个存在性证明就足够了。

2023-09-21

非确定图灵机是用来解决验证性问题的。

P问题（多项式时间可解决问题）指的是可以在多项式时间内（通常是输入规模的多项式函数）用确定性的图灵机或其它多项式时间可计算的模型有效解决的问题。也就是说，对于P问题，存在一个能在多项式时间内解决问题的算法。

NP问题（非确定性多项式时间可验证问题）指的是可以在多项式时间内验证给定解的正确性的问题。也就是说，如果一个解可以在多项式时间内被验证，那么这个问题就属于NP类。但并不一定存在多项式时间内解决该问题的算法。

因为知道有多项式时间证明 所以可以先猜测一个多项式长度的01串 看是否存在证明

定义 1.6. 设 $\mathbb{N}$ 为非确定图灵机, 当输入 $x$ 时, 若 $\mathbb{N}(x)$ 有一条计算路径终止于接受格局, 称 $\mathbb{N}$ 接受 $x$, 记为 $\mathbb{N}(x)=1$ 。若 $\mathbb{N}(x)$ 的所有的计算路径都失败, 称 $\mathbb{N}$ 拒绝 $x$, 记为 $\mathbb{N}(x)=0$ 。

设 $L$ 为一语言, 若 $x\in L$（这个命题为真） 当仅当 $\mathbb{N}(x)=1$, 称 $\mathbb{N}$ 接受 $L$ 。

举例子 非确定图灵机 命题是图上是否有哈密顿回路 猜的是结点顺序（没一种结点顺序对应一个01串对应一条路径）

设 $T:\mathbf{N}\to \mathbf{N}$ 为时间函数。对任意输入 $x$, 若非确定图灵机 $\mathbb{N}$ 的任一计算路径的长度都不超过 $T(|x|)$, 称 $T(n)$ 为 $\mathbb{N}$ 的时间函数。设 L ⊆ { 0 , 1 } ∗ L \subseteq\{0,1\}^* L⊆{0,1}∗ 。记号 $L\in \mathrm{NTIME}(T(n))$ 表示存在接受 $L$ 的非确定图灵机 $\mathbb{N}$ 和常数 $c>0$, $cT(n)$ 为 $\mathbb{N}$ 的时间函数。用此记号, 可定义非确定复杂性类, 比如:
$$\begin{array}{rl}\mathbf{NP}& =\bigcup _{c\ge 1}\mathrm{NTIME}\left(n^c\right),\\ \mathbf{NEXP}& =\bigcup _{c\ge 1}\mathrm{NTIME}\left(2^{n^c}\right)。\end{array}$$
$\mathrm{NP}$ 就是著名的非确定多项式时间类。与之相关的问题, 即 “ $\mathrm{NP}\stackrel{?}{=}\mathbf{P}$ ”, 是计算机科学中最重要的基础性问题。

定理 1.7. $\mathrm{P}\subseteq \mathrm{NP}\subseteq \mathrm{EXP}\subseteq \mathrm{NEXP}$

2023-09-25

1.12 时间谱系定理

两个定义 一个对应经典图灵机 一个对应非确定图灵机
在数学中，当两个集合之间的包含关系是严格的，意味着其中一个集合是另一个集合的子集，但两个集合并不相等。这种关系通常用符号 $⊊$ 表示
给定时间函数 $f,g$, 若 $f\le g$, 必有 $\mathbf{TIME}(f(n))\subseteq \mathbf{TIME}(g(n))$ 。
定理 1.10 (时间谱系定理). 若 $f,g$ 是时间可构造的且 $f(n)\log f(n)=o(g(n))$,则 $\mathbf{TIME}(f(n))⊊\mathbf{TIME}(g(n))$ 。

Exponential Hierarchy
$$\begin{array}{rl}\mathbf{EXP}& =\bigcup _{c>1}\mathrm{TIME}\left(2^{n^c}\right)\\ 2\mathbf{EXP}& =\bigcup _{c>1}\mathrm{TIME}\left(2^{2^{n^c}}\right)\\ 3\mathbf{EXP}& =\bigcup _{c>1}\mathrm{TIME}\left(2^{2^{2^{n^c}}}\right)\\ & ⋮\\ \text{ ELEMENTARY }& =\mathbf{EXP}\cup 2\mathbf{EXP}\cup 3\mathbf{EXP}\cup \dots \end{array}$$

定理 1.11 (非确定时间谱系定理). 若 $f,g$ 为时间可构造,且 $f(n+1)=o(g(n))$,则 $\mathbf{NTIME}(f(n))⊊\mathbf{NTIME}(g(n))$ 。

1.13 间隙定理

定理 1.12 (间隙定理). 设 $r(x)\ge x$ 为可计算全函数。存在可计算全函数 $b(x)$使得等式 $\mathbf{TIME}(b(x))=\mathbf{TIME}(r(b(x)))$ 成立。

间隙定理的结论显然和时间谱系定理的结论相矛盾。因此, 上述证明里定义的可计算全函数 $b$ 不是时间可构造的。间隙定理是计算复杂性理论中的又一个奠基性定理, 它告诉我们应该将目光局限在什么样的时间函数。