贪心算法： 如何用贪心算法实现Huffman压缩编码

every__day 2019-02-14 13:46:48  488  收藏 1
分类专栏： 算法与数据结构
版权
------ 本文是学习算法的笔记，《数据结构与算法之美》，极客时间的课程 ------

今天来学习贪心算法（greedy algorithm）。贪心算法有很多经典的应用，比如霍夫曼编码（Huffman Coding）、Prim 和 Kruskal最小生成树算法、还有 Dijkstra 单源最短路径算法。最小生成树算法和最短路径算法我们后面会讲到。今天来看下，霍夫曼编码，它是如何利用贪心算法来实现对数据压缩编码，有效节省数据存储空间的。

如何理解“贪心算法”
先看一个例子，假设我们有一个可以容纳100kg物品的背包，可以装各种物品。我们有以下5种豆子，相差总量和总价如下图。为了让背包中所装物品总价最大，我们如何选择在背包中装哪些豆子？每种豆子双该装多少？

这个很多简单，现实中你也会这么做，算出单价后，装单价最高的。也就是往背包里装20kg黑豆、30kg绿豆、50kg红豆。

这个总量的解决思路显而易见，它本质上借助贪心算法。结合这个例子，我总结一下贪心算法解决总量的步骤。

第一步，当我们看到这类问题的时候，首先要联想到贪心算法：会对一组数据，我们定义限制值和期望值，希望从中选出几个数据，在满足限制值的情况下，期望值最大。

类比刚刚的例子，限制值就是重量不超过100kg，期望值就是物品的总价值。这级数据就是5 种豆子。我们从中选出一部分，满足重量不超过100kg，并且价值最大。

第二步，我们尝试看下这个问题是否可以用贪心算法解决：每次选择当前情况下，在对限制值同等贡献情况下，对期望值贡献最大的数据。

类比刚刚的例子，我们每次从剩下的豆子里面，选择单价最高的，也就是重量相同的情况下，对价值贡献最大的豆子。

第三步，我们举几个例子看下贪心算法产生的结果是否是最优的。大部分情况下，举几个例子验证一下就可以了。严格地证明贪心算法的正确性，是非常复杂的，需要涉及较多的数学推理。而且，从实践角度来说，大部分能用贪心算法解决的问题，贪心算法的正确性都是显而易见的，也不需要严格的数学推导证明。

实际上，用贪心算法解决问题的思路，并不总能给出最优解。

如下图，我们从顶点S开始，找一条到顶点T的最短路径。贪心算法来找的话，就是S->A->E->T，路径长度是9。

但实际上，最优路径是S->B->D->T，路径长度是6。为什么贪心算法在这个问题上不工作了呢？

这是因为前面的选择，会影响后面的选择。如果第一步从S到A，那接下来面对的顶点和边，跟第一步从顶点S到B，是完全不同的。

贪心算法实战分析
对于贪心算法，如果死抠的话，确实很难理解透彻。掌握贪心算法的关键是多练习。只要多练习几道题，自然就有感觉了。所以，带着你分析几个具体的例子。

1、分糖果

我们有 m 个糖果和 n 个孩子。糖果少，孩子多，怎么把糖果分配给孩子。

每个糖果的大小不等，这 m 个糖果大小分别是 s1, s2, s3, … , sm。除此之外，每个孩子对糖果大小的需要也不一样，假设这 n 个孩子对糖果大小的需要分别是g1, g2, g3, … ,gn。

我的问题是，如何分配糖果，能满足最多数量的孩子？

我们每次从的孩子中，找出对糖果大小需要最小的，然后在剩余的糖果中，找到能满足他的最小的糖果，分给他之后，重复这样的操作。

2、钱币找零

这个问题在我们日常生活中更加普遍。假设我们有1元、2元、5元、10元、20元、50元、100元这些面额的纸币。它们的张数分别是c1、c2、c5、c10、c20、c50、c100。我们现在要用这些钱来支付K元，最少要用多少张纸币呢？

在生活中，我们肯定是先用面值最大的来支付，即先用一张小于K元的最大面值，然后再选一张小于未支付总额的最大面值，依次选下去。

3、区间覆盖

假设我们有 n 个区间，区间的起始端点和结束端点分别是[l1, r1],[l2, r2],[l3, r3], … ,[ln, rn]。我们从这些区间中选出一部分区间，满足任何区间不重合（端点重合的情况不算），最多能选出多少区间呢？

这个问题的处理思路稍微不是好么好懂。但是这个处理思想在很多贪心算法问题中都有用到，比如任务调试、教师排课等等问题。

第一步，在所有区间中，找出右侧端点最小的那个区间，并且把与此区间有重合的区间删除。第二步，在剩余区间中找出右侧端点最小的那个区间，并且删除与此区间有重合的区间。重复步骤二。

解答开篇
如何用贪心算法实现霍夫曼编码？假设我人一个包含1000个字符的文件，每个字符占1个byte（1byte=8bits），存储这1000字符就一共需要8000bits，那有没有更加节省空间的存储方式呢？

假设我们分析发现，这1000个字符中只包含6种不同字符，假设它们分别是a, b, c, d, e, f。而3个二进制位（bit）就可以表示8种不同的字符，所以，为了尽量减少存储空间，每个字符我们用3个二进制来表示。那存储这1000个字符只需要3000bits就可以了。不过，还有没有更加节省空间的存储方式呢？

a(000)、b(001)、c(010)、d(011)、e(100)、f(101)

霍夫曼编码要全场了，它广泛用于数据压缩，其压缩率通常在20%~90%之间。

霍夫曼验证码不仅会考察文本中有多少个不同字符，还会考察每个字符出现的频率，根据频率的不同，选择不同长度的编码。霍夫曼编码试图用这种不等长的编码方法，来进一步增加压缩的效率。如何给不同频率的字符选择不同长度的编码呢？根据贪心思想，我们可以把出现频率比较多的字符，用稍微短一些的编码，出现频率比较少的字符，用稍微长一些的编码。

对于等长的编码来说，我们解压缩很简单。比如刚才那个例子中，我们用3个bit表示一个字符。在解压的时候，我们每次从文本中读取3位二进制码，然后翻译成对应的字符。但是，霍夫曼编码是不等长的，每次应该读取1位还是2位、3位等等来解压缩的呢？这个问题就导致霍夫曼编码解压缩来比较复杂。为了避免解压缩过程中的歧义，霍夫曼要求各个字符的编码之间，不会出现某个编码是另一个编码前缀的情况。

假设这6个字符出现的频率从高到低依次是a、b、c、d、e、f。我们把它们编码下面这个样子，任何一个字符的编码都不是另一个的前缀，在解压缩的时候，我们每次会读取尽可能长的可解压的二进制，所以在解压的时候，也不会有歧义。经过这各编码压缩之后，这1000个字符，只需要2100bits就可以了。

尽管霍夫曼编码的思想并不难理解，但是根据字符出现频率的不同，给不同的字符进行不同长度的编码呢？这里的处理稍微有些技巧。

我们每个字符看作一个节点，并且辅带看把频率放到优先级队列中。我们从队列中取出频率最小的两个节点A、B，然后新那一个节点C，把频率设置为两个节点的频率之和，并把这个新节点C作为节点A、B的父节点。最后两把C节点放到优先级队列中。重复这个过程，直到队列中没有了数据。

现在，给每一条边画一个权值，指向左子节点的边我们统统标记为0，指向右子节点的过，我们统统标记为1，那从根节点到叶子节点的路径就是叶子节点对应字符的霍夫曼编码。

内容小结
实际上贪心算法适用的场景比较有限，这种算法思想更多的是指导设计基础算法。比如最小生成树算法、单源最短路径算法，这些算法都用到了贪心算法。从我个人学习经验来讲，还要刻意去记忆贪心算法的原理，多练习才是最有效的学习方法。

贪心算法的最难的一块是如何将要解决的问题抽象成贪心算法模型，只要这一步搞定之后，贪心算法的编码一般都很简单。贪心算法解决疸的正确性虽然很多时候看起来是显而易见的，但是要严谨地证明算法能够得到最优解，并不是件容易的事。所以，很多时候，我们只需要多举几个例子，看一下贪心算法的解决方案是否真的能得到最优解就可以了。

————————————————
版权声明：本文为CSDN博主「every__day」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/every__day/article/details/87252852