动态规划算法

一、定义

  动态规划过程是：每次决策依赖于当前状态，又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的，所以，这种多阶段最优化决策解决问题的过程就称为动态规划。

二、基本思想与策略

  基本思想与分治法类似，也是将待求解的问题分解为若干个子问题（阶段），按顺序求解子阶段，前一子问题的解，为后一子问题的求解提供了有用的信息。在求解任一子问题时，列出各种可能的局部解，通过决策保留那些有可能达到最优的局部解，丢弃其他局部解。依次解决各子问题，最后一个子问题就是初始问题的解。

  由于动态规划解决的问题多数有重叠子问题这个特点，为减少重复计算，对每一个子问题只解一次，将其不同阶段的不同状态保存在一个二维数组中。

三、与分治法的区别

 分治法是将问题划分成一些独立的子问题，递归地求解各子问题，然后合并子问题的解。

 动态规划适用于子问题不是独立的情况，也就是各子问题包含公共的子子问题。即下一个子阶段的求解是建立在上一个子阶段的解的基础上，进行进一步的求解。

 此时，如果分解的子问题有很多是相同的，采用分治法相同的子问题会求解多次，很影响效率；动态规划法呢，它会保存已解决的子问题的答案，再有相同的子问题直接用保存的答案就行了，节省了很多计算时间。

四、适用范围

能采用动态规划求解的问题的一般要具有3个性质：

(1) 最优化原理：如果问题的最优解所包含的子问题的解也是最优的，就称该问题具有最优子结构，即满足最优化原理。

(2) 无后效性：即某阶段状态一旦确定，就不受这个状态以后决策的影响。也就是说，某状态以后的过程不会影响以前的状态，只与当前状态有关。

(3) 有重叠子问题：即子问题之间是不独立的，一个子问题在下一阶段决策中可能被多次使用到。（该性质并不是动态规划适用的必要条件，但是如果没有这条性质，动态规划算法同其他算法相比就不具备优势）。

五、设计步骤

态规划所处理的问题是一个多阶段决策问题，一般由初始状态开始，通过对中间阶段决策的选择，达到结束状态。这些决策形成了一个决策序列，同时确定了完成整个过程的一条活动路线(通常是求最优的活动路线)。如图所示。动态规划的设计都有着一定的模式，一般要经历以下几个步骤。
初始状态→│决策１│→│决策２│→…→│决策ｎ│→结束状态
(1)划分阶段：按照问题的时间或空间特征，把问题分为若干个阶段。在划分阶段时，注意划分后的阶段一定要是有序的或者是可排序的，否则问题就无法求解。
(2)确定状态和状态变量：将问题发展到各个阶段时所处于的各种客观情况用不同的状态表示出来。当然，状态的选择要满足无后效性。
(3)确定决策并写出状态转移方程：因为决策和状态转移有着天然的联系，状态转移就是根据上一阶段的状态和决策来导出本阶段的状态。所以如果确定了决策，状态转移方程也就可写出。但事实上常常是反过来做，根据相邻两个阶段的状态之间的关系来确定决策方法和状态转移方程。
(4)寻找边界条件：给出的状态转移方程是一个递推式，需要一个递推的终止条件或边界条件。
一般，只要解决问题的阶段、状态和状态转移决策确定了，就可以写出状态转移方程（包括边界条件）。

实际应用中可以按以下几个简化的步骤进行设计：

（1）分析最优解的性质，并刻画其结构特征。
（2）递归的定义最优解。
（3）以自底向上或自顶向下方式计算出最优值：

    自顶向下：又称记忆优化搜索法、备忘录法，基本上对应着递归函数实现，从大范围开始计算，要注意不断保存中间结果，避免重复计算。

    自底向上：又称递推，从小范围地推计算到大范围。

（4）根据计算最优值时得到的信息，构造问题的最优解

六、重点说明

    动态规划的主要难点在于理论上的设计，也就是上面4个步骤的确定，一旦设计完成，实现部分就会非常简单。
使用动态规划求解问题，最重要的就是确定动态规划三要素：
（1）问题的阶段 

（2）每个阶段的状态
（3）从前一个阶段转化到后一个阶段之间的递推关系。

  即： 边界条件+递归方程
    递推关系必须是从次小的问题开始到较大的问题之间的转化，从这个角度来说，动态规划往往可以用递归程序来实现，不过因为递推可以充分利用前面保存的子问题的解来减少重复计算，所以对于大规模问题来说，有递归不可比拟的优势，这也是动态规划算法的核心之处。
    确定了动态规划的这三要素，整个求解过程就可以用一个最优决策表来描述，最优决策表是一个二维表，其中行表示决策的阶段，列表示问题状态，表格需要填写的数据一般对应此问题的在某个阶段某个状态下的最优值（如最短路径，最长公共子序列，最大价值等），填表的过程就是根据递推关系，从1行1列开始，以行或者列优先的顺序，依次填写表格，最后根据整个表格的数据通过简单的取舍或者运算求得问题的最优解。

七、动态规划算法基本框架

代码
for(j=1; j<=m; j=j+1) // 第一个阶段
   xn[j] = 初始值;

 for(i=n-1; i>=1; i=i-1)// 其他n-1个阶段
   for(j=1; j>=f(i); j=j+1)//f(i)与i有关的表达式
     xi[j]=j=max（或min）{g(xi-1[j1:j2]), ......, g(xi-1[jk:jk+1])};

t = g(x1[j1:j2]); // 由子问题的最优解求解整个问题的最优解的方案

print(x1[j1]);

for(i=2; i<=n-1; i=i+1）
{  
     t = t-xi-1[ji];

     for(j=1; j>=f(i); j=j+1)
        if(t=xi[ji])
             break;
}

八、实例 

1.爬楼梯问题

    一个人每次只能走一层楼梯或者两层楼梯，问走到第80层楼梯一共有多少种方法。
    设DP[i]为走到第i层一共有多少种方法，那么DP[80]即为所求。很显然DP[1]=1, DP[2]=2（走到第一层只有一种方法：就是走一层楼梯；走到第二层有两种方法：走两次一层楼梯或者走一次两层楼梯）。所以，将整个问题分解为若干个子问题，走到第i层楼梯，可以从i-1层走一层到达第i层，或者从i-2走两层到达第i层，第i层问题的求解是建立在前i层问题的基础上。很容易得到：

    边界条件：DP[1]=1 DP[2]=2

    递推公式：DP[i]=DP[i-1]+DP[i-2]

自顶向下的解法:

 class Program
    {
        static long[] dp = new long[81];
        static void Main(string[] args)
        {
            Console.WriteLine(DP(80));
            Console.ReadKey();
        }
      static long DP(int n)
        {
            if (dp[n] != 0)//已经计算过的子问题就不再重复计算了
                return dp[n];
            if (n == 1)
                return 1;
            if (n == 2)
                return 2;
            dp[n] = DP(n-1) + DP(n-2);//保存中间结果，避免重复计算子问题
            return dp[n];
        }
    }

自底向上的解法：

 static long DP(int n)
        {
            dp[1] = 1;
            dp[2] = 2;
            for (int i = 3; i <= n; i++)
            {
                dp[i] = dp[i - 1] + dp[i - 2];
            }
            return dp[n];
        }

2.最长上升子序列

    一个数的序列bi，当b1 < b2 < ... < bS的时候，我们称这个序列是上升的。对于给定的一个序列(a1, a2, ..., aN)，我们可以得到一些上升的子序列(ai1, ai2, ..., aiK)，这里1 <= i1 < i2 < ... < iK <= N。比如，对于序列(1, 7, 3, 5, 9, 4, 8)，有它的一些上升子序列，如(1, 7), (3, 4, 8)等等。这些子序列中最长的长度是4，比如子序列(1, 3, 5, 8).
你的任务，就是对于给定的序列，求出最长上升子序列的长度。

    分析：设a[i]表示原序列，设DP[i]表示以第i个数结尾的最长上升序列的长度，那么很显然想导出DP[i]的值，需要在DP[k](1<=k<i)中找出满足a[k]<a[i]最大的一项。假设第kk项是我们找到的答案，那么第i个数就可以接在第kk个数之后，成为以第i个数结尾的最长升序列。如果没有找到答案，换言之第i个数比前面的数都要小，那么DP[i]=1，也即生成了从自己开始又以自己结尾的最长升序列。综上，我们很容易得出：
    递推公式：DP[i]=max(DP[k]+1,DP[i]) 1<=k<i
    边界条件：DP[i]=1 1<=i<=n

时间复杂度为O(n^2)的方式：

 class Program
    {
        static long[] dp = new long[4];
        static void Main(string[] args)
        {
            Console.WriteLine(LIS(new int[] { 4,1,2,4}, 4));
            Console.ReadKey();
        }
        static int LIS(int[] arr, int n)
        {
            for (int i = 0; i < n; i++)
            {
                dp[i] = 1;
            }
            long max = 1;
            for (int i = 1; i < n; i++)
            {
                for (int j = 0; j < i; j++)
                {
                    if (arr[i] > arr[j] && dp[i] < dp[j] + 1)
                    {
                        dp[i] = dp[j] + 1;
                        if (dp[i] >= max)
                        {
                            max = dp[i];
                        }
                    }
                }
            }
            return (int)max;
        }
    }