大数据——分布式部署

之前学期的大数据内容都是在伪分布式下完成的，若想了解伪分布式，可以找前几天的内容，今天主要是针对与分布式部署。

安装方式

    在Linux上手动将配置好的Hadoop分发给其他机器。不使用工具。

   

    Linux环境的配置：

                            ip（几台虚拟机都在一个网段中）

                            主机名（主机名最好一样，后面跟个数字）

                            本地映射，DNS，防火墙，selinux（/etc/selinux/config）

   

    扩展：Hadoop启动的过程方式：

                            之前的启动都是一个一个启动： sbin/hadoop-daemon.sh start XX

                            现在分别启动hdfs和yarn：       sbin/start-dfs.sh————sbin/start-yarn.sh

                            一次性启动所有：                     sbin/start-all.sh

    

ssh免密钥登入

                            我们开的几台虚拟机之间互相可以登入，但是登入时需要输入密码，互相操作时也需要密码，所以我们首先                                 设置一个面密钥登入，使不同虚拟机之间可以直接访问。

                            

                            如何登入其他虚拟机？

                                    ssh XXX（要登入的虚拟机hostname）

                            查看ssh命令：/home/huadian/.ssh

                            

                            设置免密钥登入有两步：

                                    第一步：为每台机器生产自己的公私钥

                                                    ssh-keygen -t rsa

                                    第二步：把公私钥分发给每台机器，包括自己

                                                    ssh-copy-id XXX（分发的虚拟机hostname）

                                    第三步：测试（使用ssh登入到其他机器，包括自己）

NTP时间同步

                            同步方式：同步的方式很多，但是我用的是一种比较通俗易懂的方法。

                                            若有A,B,C三台虚拟机同步，这里选择A与外网进行同步，B,C则与A同步。

                                配置A：sudo vi /etc/ntp.conf

                                            删除：

                                                    restrict default kod nomodify notrap nopeer noquery
                                                    restrict -6 default kod nomodify notrap nopeer noquery
                                                    restrict 127.0.0.1
                                                    restrict -6 ::1
                                                    server 0.centos.pool.ntp.org
                                                    server 1.centos.pool.ntp.org
                                                    server 2.centos.pool.ntp.org

                                            添加：可以直接添加，也可从下面的注释中修改

                                                    A可以跟谁同步：server 202.112.10.36（北京教育网IP）

                                                    允许谁可以跟A同步：restrict 192.168.59.0 mask 255.255.255.0 nomodify notrap

                                                    配置本地同步：