大数据面试题解决思路

一般解决大数据问题有两个思路：

1）先将与这道题相关的所有的数据结构进行使用一遍，如果有合适的就直接进行使用

2）如果不能直接使用，一般就要进行哈希切分，然后再使用合适的数据结构进行问题的解决

哈希切分：
1）先估算出要切分的大小

2）然后使用哈希的除留余数法进行各个数据的映

问题：

1、给一个超过100G大小的log file,log中存在着IP地址，设计算法找到出现此数最多的IP地址 

思路分析：

1）要进行哈希切分编号，log file可以看做是字符串，利用哈希字符串转换算法进行转换，转换成整型后，利用哈希函数进行映射，同一IP地址肯定映射到同一编号中，

2）这里我们使用效率很快的哈希表，进行此数的统计，就可以找出出现此数最多的IP地址

2、与上题条件相同，如何找到topK的IP地址

思路分析：