Top-K问题:如何从海量数据中找出前k大数?
在python中集成了heapq模块,它提供基于堆的优先排序算法相关操作。其中,heapq.nlargest(n, iterable) 和 heapq.nsmallest(n, iterable)方法返回列表中的n个最大值和最小值。
补充:堆的逻辑结构就是完全二叉树,并且二叉树中父节点的值小于等于该节点的所有子节点的值。这种实现可以使用 heap[k] <= heap[2k+1] 并且 heap[k] <= heap[2k+2] (其中 k 为索引,从 0 开始计数)的形式体现,对于堆来说,最小元素即为根元素 heap[0]。
小顶堆解决Top K问题的思路:小顶堆维护当前扫描到的最大100个数,其后每一次的扫描到的元素,若大于堆顶,则入堆,然后删除堆顶;依此往复,直至扫描完所有元素。
python代码如下:
class solution:
def topk(self, inputs, k):
import heapq
if inputs == None or len(inputs) < k or len(inputs) <= 0 or k <= 0:# 注意极限条件的确定
return []
output = []
for number in inputs:
if len(output) < k:
output.append(number)
else:
output = heapq.nlargest(k, output)
if number >= output[0]:
continue
else:
output[0] = number
return output[::-1]
inputs = [4,5,1,6,2,7,3,8]
s = solution()
print(s.topk(inputs, 3))