大数据下数据频次计算问题与排序问题

在1000w数据中取出前10个出现次数最多的

这个问题的一般叙述即在大数据集中取出前K个出现次数最多的。
这个是数据频次计算的问题。因为是大数据集，所以单机是处理不了的,需要分布式处理。处理的步骤:

1. 数据分组，比如分m组;
2. 对于单个数据组统计每个数据出现的频次,使用数据结构比如HashMap,TreeMap存储每个数据出现的次数;
3. 从每个组取出k*m个数据，构成一个新的数据集,然后重复步骤2;
4. 根据步骤3计算结果集取前k个即为最终结果。

现在不加证明的将上述步骤简单说明一下：

步骤1，数据分组，原因是数据量过大单机无法承载，所以需要分组；
步骤2，计算每个数据的出现频次，使用TreeMap 结果可以自然进行排序；
步骤3，取出每组的个数是k*m,而不是k。原因是当数据频次分布比较均匀，出现数据错漏的情况。
步骤4，组成一个新的集合，然后重复步骤2，就得到了相应的结果，取出前k个即为结果集。

在1000w数据中取出前10个最大的数据

这个问题的一般叙述即在大数据集中取出前K个最大的数据。
这个是数据排序的问题。对于排序问题解决思路比较简单，处理思路：

1. 将数据分组，比如m组;
2. 建一个长度为K的数组，读取相应数据放在数组的相应的位置上，每次数据的存储都要进行一次重排序；
3. 对于每一个数组分组，使用步骤2重复读取；
4. 最终数据中存储的数据即为结果集;