![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce
zl1zl2zl3
这个作者很懒,什么都没留下…
展开
-
Google MapReduce到底解决什么问题?
第二篇,Google MapReduce架构启示(上)。 很多时候,定义清楚问题比解决问题更难。 什么是MapReduce? 它不是一个产品,而是一种解决问题的思路,它有多个工程实现,Google在论文中也给出了它自己的工程架构实现。 MapReduce这个编程模型解决什么问题? 能够用分治法解决的问题,例如: 网页抓取 日志处理 索引倒排 ...转载 2018-12-14 09:45:19 · 1571 阅读 · 0 评论 -
Google MapReduce有啥巧妙优化?
搞架构的人,Google的架构论文是必看的,但好像大家都不愿意去啃英文论文。故把自己的读书笔记,加入自己的思考,分享给大家。 《MapReduce到底解决什么问题?》做了简介,这是第二篇,Google MapReduce优化启示(中)。 什么是MapReduce? MapReduce这个编程模型解决什么问题? Google MapReduce是Google产出的一个编程模型,同时...转载 2018-12-14 09:52:10 · 239 阅读 · 0 评论 -
Google MapReduce架构设计
前情回顾 Google MapReduce到底解决什么问题? Google MapReduce是Google产出的一个编程模型,同时Google也给出架构实现,它能够解决“能用分治法解决的问题”。 Google MapReduce有啥巧妙优化? 分区函数:保证不同map输出的相同key,落到同一个reduce里 合并函数:在map结束时,对相同key的多个输出做本地...转载 2018-12-14 09:55:45 · 330 阅读 · 0 评论 -
Google BigTable到底解决什么问题?
搞架构的人,Google的论文是必看的,但好像大家都不愿意去啃英文论文。故把自己的读书笔记,加入自己的思考,分享给大家。 第三部分,Google BigTable。 BigTable,很多人对它耳熟能详,但它究竟解决什么问题呢?这是今天要聊的话题。 什么是BigTable? Google BigTable是一个分布式,结构化数据的存储系统,它用来存储海量数据。该系统用来满足“大数据量、...转载 2018-12-19 21:23:10 · 1931 阅读 · 0 评论 -
通俗说基于Yarn的Map-Reduce过程
先看全图是基于Yarn的Map-Reduce运行过程,下面通俗的说一下这个过程。 从前有一个老板Resource Manager,开了一家外包公司,这家公司有很多的团队Node,每个团队都有个经理Node Manager,每过一段时间,团队经理Node Manager都要到老板那里开会,向老板的人事部门Manage NMs的ResourceTackerService报告当前的人员使用情况。 ...转载 2019-01-02 10:40:24 · 249 阅读 · 0 评论 -
为什么MapReduce会被硅谷一线公司淘汰?
你好,我是蔡元楠, 目前在 Google Brain 担任 AI Healthcare (人工智能的健康医疗应用) 领域资深工程师,也是极客时间《大规模数据处理实战》的专栏作者,这篇文章便出自这个专栏的第一篇文章。 每次和来 Google 参观的同行交流的时候,只要谈起数据处理技术,他们总是试图打探 MapReduce 方面的经验。这一点让我颇感惊讶,因为在硅谷,MapReduced 大家谈...转载 2019-04-25 16:03:49 · 975 阅读 · 1 评论