MapReduce设计以及程序了解——新手

MapReduce运行到YARN的过程详解

                    1 client向YARN主节点ResourceManager提交运行

        2 RM在某个NN节点上启动一个Container运行appMaster(运行应用的管理者)

        3 appMaster向RM请求资源，为了运行MapReduce中所有的任务;

          RM将分配NM上的资源，并告知appMaster。

        4 appMaster联系NM，启动对应Container中的相关task

        5 运行的task会实时的向appMaster进行汇报，用于监听整个应用。

        6 当所有task(reduceTask)运行完成，appMaster告知RM，销毁appMaster

设计MapReduce程序
              map:分片处理，将一个大的任务进行拆分

            1 数据过滤
            2 数据补全（比如用身份证得到地区以及出生年月）
            3 字段格式化

        reduce:合并处理

Secondary NameNode

        NameNode

            处理客户端发过来的请求,管理子节点,管理元数据
            问题1：元数据在哪？？

                为了加快访问，元数据放在NameNode那台主机的内存里面内存

                读写速度很快，可以加快请求

            问题2：主机关机了怎么办？

                元数据存储在内存中，也存储在磁盘中，也就是一个文件。

            这个文件名名称fsimage

            /opt/modules/hadoop-2.7.3/data/tmpData/dfs/name/current

       

        namenode启动过程

            首先加载fsimage文件内容到内存中

            功能：

                1 辅助NameNode同步本地元数据。

                2 启动的时候加载fsimage文件内容，但是启动之后，CURD操作，导致元数据变更，Secondary NameNode将元数据变更的内容写到磁盘中。

fsimage(new) = fsimage(old) + edits

        edits：

            1 edits文件很重要，它记录了HDFS CRUD操作，不能丢失

            2 edits文件存储到一个独立的服务器中，hdfs HA，2个namenode

            3 edits文件日志信息文件，可以通过解析它得到元数据

           

        合并过程：

              先合并到fs.temp,合并完成之后将名字改成fsimage,删除temp文件 

shuffle过程

        实现的功能：

            分区：

                决定当前key交给那个reduce进行处理。

                相同的key必须在一个reduce task 中。

                默认：安装Key hashCode值对reduce的个数进行取余

                HashPartitioner   

                如果自定义分区的话，默认是key，我们也可以根据value进行分区

            分组：

                将相同的key的value进行合并

                key相同的话，将会分到一个组里面

                在MapReduce阶段，一行调用一次map方法，一种key调用一次reduce方法

            排序：  

                按照key对keyvalue进行排序，字典排序

        过程：

            map端的shuffle:

            spill:溢写

                1 每一个map处理处理好的结果会进入环形缓冲区（内存，100M）

                2 分区:确定每一条keyvalue交给那个reduce处理（打标签）

                3 排序：将相同分区的数据进行分区内的排序

               4 当整个缓冲区达到阈值80%，开始溢写,将当前分区排序后数据写入到磁盘中，变成了文件file1,最终生产多个小文件

                               merge:合并，将生产的小文件进行合并

                  排序：将相同分区的数据进行分区排序

            map task结束，通知app master,app master通过reduce拉取数据

        reduce端的shuffle:

                            1 reduce启动多线程通过http到每台机器上去拉取属于自己分区的数据

           2 merge:合并，将每个map task的结果中属于自己分区的数据进行合并

           3 排序：对整个属于我的分区数据进行排序

           4 分组：将相同key的value进行合并

shuffle优化

            

        combiner：在map阶段提前进行了一个合并，一般情况，等同于 提前了reduce操作,可以减轻reduce压力,并不是所有的程序都是适合combiner。

            

            compress:压缩,大大减少磁盘IO以及网络IO,MapReduce阶段很多地方都可以压缩。

            压缩一般用在以下三个方面：

                输入一个压缩文件（一般不配置）

                map shuffle阶段会合并成一个大文件，可以对该文件进行压缩，reduce过来取的数据，就是压缩的文件

                reduce的输出

                               Hadoop支持的压缩方式：snappy,lzo,lz4

            检查是否支持哪些压缩：bin/hadoop checknative

        Hadoop中设置压缩：

                mapreduce.map.output.compress = true

                                         mapreduce.map.output.compress.codec=""