勇往直前的专栏

写给以后的自己

为什么MapReduce会被硅谷一线公司淘汰?

你好,我是蔡元楠, 目前在 Google Brain 担任 AI Healthcare (人工智能的健康医疗应用) 领域资深工程师,也是极客时间《大规模数据处理实战》的专栏作者,这篇文章便出自这个专栏的第一篇文章。 每次和来 Google 参观的同行交流的时候,只要谈起数据处理技术,他们总是试...

2019-04-25 16:03:49

阅读数 300

评论数 1

通俗说基于Yarn的Map-Reduce过程

先看全图是基于Yarn的Map-Reduce运行过程,下面通俗的说一下这个过程。 从前有一个老板Resource Manager,开了一家外包公司,这家公司有很多的团队Node,每个团队都有个经理Node Manager,每过一段时间,团队经理Node Manager都要到老板那里开会,向老...

2019-01-02 10:40:24

阅读数 66

评论数 0

Google BigTable到底解决什么问题?

搞架构的人,Google的论文是必看的,但好像大家都不愿意去啃英文论文。故把自己的读书笔记,加入自己的思考,分享给大家。 第三部分,Google BigTable。 BigTable,很多人对它耳熟能详,但它究竟解决什么问题呢?这是今天要聊的话题。 什么是BigTable? Googl...

2018-12-19 21:23:10

阅读数 383

评论数 0

Google MapReduce架构设计

前情回顾 Google MapReduce到底解决什么问题? Google MapReduce是Google产出的一个编程模型,同时Google也给出架构实现,它能够解决“能用分治法解决的问题”。   Google MapReduce有啥巧妙优化? 分区函数:保证不同map输出的...

2018-12-14 09:55:45

阅读数 80

评论数 0

Google MapReduce有啥巧妙优化?

搞架构的人,Google的架构论文是必看的,但好像大家都不愿意去啃英文论文。故把自己的读书笔记,加入自己的思考,分享给大家。 《MapReduce到底解决什么问题?》做了简介,这是第二篇,Google MapReduce优化启示(中)。   什么是MapReduce? MapReduc...

2018-12-14 09:52:10

阅读数 76

评论数 0

Google MapReduce到底解决什么问题?

第二篇,Google MapReduce架构启示(上)。 很多时候,定义清楚问题比解决问题更难。   什么是MapReduce? 它不是一个产品,而是一种解决问题的思路,它有多个工程实现,Google在论文中也给出了它自己的工程架构实现。   MapReduce这个编程模型解决什么...

2018-12-14 09:45:19

阅读数 213

评论数 0

提示
确定要删除当前文章?
取消 删除