![](https://img-blog.csdnimg.cn/20190930102709734.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
mapreduce
あずにゃん
日萌社
展开
-
mapreduce 倒排索引
代码下载链接: https://pan.baidu.com/s/1VhxRXB63vz_4QZyKVFqoZQ 提取码:2v0l 1.读取的文件中第一行数据:key=偏移量0。value=第一行内容 2.经过了maptask:key=单词:文件名。value=次数1 3.经过了局部合并combiner:key=单词。value=文件名:次数N 4.每个各自的mapredu...原创 2019-04-30 16:04:44 · 351 阅读 · 0 评论 -
mapreduce 数据去重
代码下载链接: https://pan.baidu.com/s/1VhxRXB63vz_4QZyKVFqoZQ 提取码:2v0l 1.经过了maptask:把一行数据作为key,value为空 2.每个各自的mapreduce中的相同顺序的分区中的数据都传到同一个reducetask中进行全局合并:key=一行数据。value=为空的迭代器 ...原创 2019-04-30 16:05:36 · 424 阅读 · 0 评论 -
mapreduce Top N
代码下载链接: https://pan.baidu.com/s/1VhxRXB63vz_4QZyKVFqoZQ 提取码:2v0l原创 2019-04-30 16:22:12 · 436 阅读 · 0 评论