Linux系统HIVE数据仓库安装手册

注：HIVE安装(hive的启动需要启动整个Hadoop集群，因为hive的数据存储在hdfs上；并且计算是mapreduce)

一、安装mysql元数据

   1、把以前安装的mysql全部卸载完毕,需要三管齐下    

        rpm -qa | grep mysql

        rpm -e mysql 

        rpm -e --nodeps mysql

   2、安装(必须得有网络，否则可能会失败）

        命令：

        yum install -y mysql-server mysql mysql-devel

        rpm -qi mysql-server（查看版本信息）

  3、启动mysql服务

        service mysqld start

        登录命令（此时是无密登录）：

            mysql -u root 

  4、设置密码

        mysqladmin -u root password 'root'

[root@xiaoluo ~]# mysqladmin -u root password 'root'    //通过该命令给root账号设置密码为root

      利用设置的密码进行登录：

      mysql -u root -p

      设置远程登录用户名和密码（这里的远程指的是windows系统使用navicate进行登录MySQL或者在DOS命令中执行登录操作，当然使用xshell进行登录也是可以的）

      设置远程用户名和密码：

GRANT ALL PRIVILEGES ON *.* TO 'zyp001'@'%' IDENTIFIED BY 'ZYPmaster@123' WITH GRANT OPTION;(这里的用户名和密码是在本地windowns中使用，navicate使用)

    刷新（在MySQL登录窗口中执行，这里指的是Linux系统）

    flush privileges;

注意：rpm包安装的MySQL是不会安装/etc/my.cnf文件的。

    解决方法：只需要复制/usr/share/mysql目录下的my-huge.cnf 文件到/etc目录，并改名为my.cnf即可 

cp /usr/share/mysql/my-huge.cnf  /etc/my.cnf

     设置etc/my.cnf文件，使binlog_format=mixed   

  vi etc/my.cnf

     将注释掉的binlog_format=mixed这一行前面的注释去掉然后保存，重启mysql即可     

service mysqld restart

 

二、apache-hive-2.0.0安装(只在一个主节点安装即可)

    1、拷贝并解压文件(rz上传)

        apache-hive-2.3.0-bin.tar.gz

        解压：       

 tar –zxvf apache-hive-2.3.0-bin.tar.gz

    2、添加环境变量并生效        

vi /etc/profile

export HIVE_HOME=/opt/fi_client/HIVE/apache-hive-2.3.0-bin

export PATH=$PATH:$HIVE_HOME/bin

        保存后使其生效：        

source /etc/profile

    3、创建hive目录                

        在hdfs中新建目录        

hdfs dfs -mkdir /tmp

hdfs dfs -mkdir -p /user/hive/warehouse

hadoop fs -chmod g+w /tmp

hadoop fs -chmod g+w /user/hive/warehouse

    4、将mysql的驱动jar包mysql-connector-java-5.1.7-bin.jar拷贝到hive的lib目录中

    5、修改配置文件

          进入hive的conf目录里面并复制hive-default.xml.template文件，新文件命名为：hive-site.xml（此时hive-site.xml是作为hive的安装目录中的配置文件使用）

          cp  hive-default.xml.template  hive-site.xml

          在<configuration><configuration/>标签中添加如下属性   

<configuration>
   <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true &amp;useSSL=false</value>
      <description>JDBC connect string for a JDBC metastore</description>
    </property>
    <property>
       <name>javax.jdo.option.ConnectionDriverName</name>
       <value>com.mysql.jdbc.Driver</value>
       <description>Driver class name for a JDBC metastore</description>
    </property>
    <property>
       <name>javax.jdo.option.ConnectionUserName</name>
       <!--这里的用户名不是具有远程登录的那个-->
       <value>root</value>
       <description>Username to use against metastore database</description>
    </property>
    <property>
       <name>javax.jdo.option.ConnectionPassword</name>
       <!--这里的密码同样也不是具有远程登录的那个-->
       <value>sa</value>
       <description>password to use against metastore database</description>
     </property>
     <property>
        <name>hive.exec.local.scratchdir</name>
        <value>/usr/tools/apache-hive-2.3.0-bin/tmp</value>
        <description>Local scratch space for Hive jobs</description>
     </property>
     <property>
        <name>hive.downloaded.resources.dir</name>
        <value>/usr/tools/apache-hive-2.3.0-bin/tmp/resources</value>
        <description>Temporary local directory for added resources in the remote file system.</description>
     </property>
     <property>
        <name>hive.querylog.location</name>
        <value>/usr/tools/apache-hive-2.3.0-bin/tmp</value>
        <description>Location of Hive run time structured log file</description>
     </property>
     <property>
        <name>hive.server2.logging.operation.log.location</name>
        <value>/usr/tools/apache-hive-2.3.0-bin/tmp/operation_logs</value>
        <description>Top level directory where operation logs are stored if logging functionality is enabled</description>
     </property>
</configuration>

   6、使用schematool 初始化metastore的schema：

        初始化：

schematool -initSchema  -dbType mysql

    查看初始化的信息：

schematool  -dbType mysql  -info

    如果出现以下schematool completed表示初始化成功 

7、启动Hive

     启动Hive前,先启动mysql服务      

service mysqld start

    老版本进入Hive CLI命令行，直接输入hive即可    

    新版本进入hive命令行（首先输入hiveserver2）

  (然后)重新开一个连接窗口(使用beeline进行登录连接)

 下面这种方法也可以

 进入到beeline客户端方式

 beeline -u jdbc:hive2://localhost:10000 -n root

 -u:URL

 -n:user_Name

 

--查看当前堡垒机hive有多少版本

change_hive_version

--hive默认列分隔符

\001