mapreduce
あずにゃん
日萌社
展开
-
mapreduce 倒排索引
代码下载链接:https://pan.baidu.com/s/1VhxRXB63vz_4QZyKVFqoZQ提取码:2v0l1.读取的文件中第一行数据:key=偏移量0。value=第一行内容2.经过了maptask:key=单词:文件名。value=次数13.经过了局部合并combiner:key=单词。value=文件名:次数N4.每个各自的mapredu...原创 2019-04-30 16:04:44 · 358 阅读 · 0 评论 -
mapreduce 数据去重
代码下载链接:https://pan.baidu.com/s/1VhxRXB63vz_4QZyKVFqoZQ提取码:2v0l1.经过了maptask:把一行数据作为key,value为空2.每个各自的mapreduce中的相同顺序的分区中的数据都传到同一个reducetask中进行全局合并:key=一行数据。value=为空的迭代器...原创 2019-04-30 16:05:36 · 453 阅读 · 0 评论 -
mapreduce Top N
代码下载链接:https://pan.baidu.com/s/1VhxRXB63vz_4QZyKVFqoZQ提取码:2v0l原创 2019-04-30 16:22:12 · 450 阅读 · 0 评论