本文探讨了分布式系统中常见的主从结构，包括Hadoop的HDFS和YARN的主从设计。主节点如namenode、ResourceManager负责管理和调度，从节点如datanode、NodeManager执行任务。主从结构简化了协作，但也存在单点故障风险。文章通过实例解释了MapReduce和Spark如何适应这种结构。
从前上帝有个梦想，为了完成它，就创造了人类并给了他们梦想。
作为一个有梦想的程序你想用电脑实现创造新世界的梦想。
零、主从结构
上帝看在你是个程序员的分上给了你一些机器帮你完成梦想。
0.1 你是个牛B的程序员
你是个牛B的程序员你充分利用自己的大脑，把你的梦想细分成了很多很多小任务，每个机器都给它分配点任务，然后收集结果完成你的千年大计。这时你得知道所有机器得信息，和你分配的所有的任务状态。
0.2 大脑不够用
虽然你是个牛B的程序员但是你发现你的大脑不够用了，不仅要细分任务，还要管理那么多机器的死活，还有任务的完成情况。于是你自然的想到可以找了个机器帮你分担工作，这个机器称它为master，它帮你分配任务到其他机器，管理任务回收结果，你只需要专心考虑你的梦想应该划分成什么样的任务来完成，并把任务交代给机器master。
0.3 master 会挂
你发现机器master可能会挂掉，挂掉了你交代给它的任务就丢了，你还得重新规划任务，于是你找了个机器master_backup
最低0.47元/天 解锁文章
2260
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
