大数据-hue（三）

                                      大数据-hue（三）

hue与hadoop的HDFS以及yarn集成

第一步：更改所有hadoop节点的core-site.xml配置

记得更改完core-site.xml之后一定要重启hdfs与yarn集群

三台机器更改core-site.xml

<property>
	<name>hadoop.proxyuser.hadoop.hosts</name>
	<value>*</value>
</property>

<property>
	<name>hadoop.proxyuser.hadoop.groups</name>
	<value>*</value>
</property> 

第二步：更改所有hadoop节点的hdfs-site.xml

所有服务器更改hdfs-site.xml添加以下配置

<property>
	<name>dfs.webhdfs.enabled</name>
	<value>true</value>
</property>

第三步：重启hadoop集群

在node01机器上面执行以下命令

cd /kkb/install/hadoop-2.6.0-cdh5.14.2

sbin/stop-dfs.sh
sbin/start-dfs.sh
sbin/stop-yarn.sh
sbin/start-yarn.sh

第四步：停止hue的服务，并继续配置hue.ini

停止hue的服务，然后进入到以下路径，重新配置hue.ini这个配置文件

cd /kkb/install/hue-3.9.0-cdh5.14.2/desktop/conf

vim hue.ini

#配置我们的hue与hdfs集成]]
[[hdfs_clusters]]
	[[[default]]]
        fs_defaultfs=hdfs://node01.kaikeba.com:8020
        webhdfs_url=http://node01.kaikeba.com:50070/webhdfs/v1
        hadoop_hdfs_home=/kkb/install/hadoop-2.6.0-cdh5.14.2
        hadoop_bin=/kkb/install/hadoop-2.6.0-cdh5.14.2/bin
        hadoop_conf_dir=/kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop

#配置我们的hue与yarn集成

[[yarn_clusters]]

    [[[default]]]
    
      resourcemanager_host=node01
      resourcemanager_port=8032
      submit_to=True
      resourcemanager_api_url=http://node01:8088
      history_server_api_url=http://node01:19888

配置完成之后重新启动hue的服务

node03执行以下命令进行重新启动hue的服务

cd /kkb/install/hue-3.9.0-cdh5.14.2/
build/env/bin/supervisor

配置hue与hive集成

如果需要配置hue与hive的集成，需要启动hive的metastore服务以及hiveserver2服务（impala需要hive的metastore服务，hue需要hvie的hiveserver2服务）

更改hue的配置hue.ini

停止hue的服务，然后重新编辑修改hue.ini这个配置文件

修改hue.ini

cd /kkb/install/hue-3.9.0-cdh5.14.2/desktop/conf
vim hue.ini

[beeswax]
    hive_server_host=node03.kaikeba.com
    hive_server_port=10000
    hive_conf_dir=/kkb/install/hive-1.1.0-cdh5.14.2/conf
    server_conn_timeout=120
    auth_username=hadoop
    auth_password=123456
  
[metastore]

  #允许使用hive创建数据库表等操作
  enable_new_create_table=true

启动hive的metastore服务

去node03机器上启动hive的metastore以及hiveserver2服务

cd /kkb/install/hive-1.1.0-cdh5.14.2/conf
nohup bin/hive --service metastore &
nohup bin/hive --service hiveserver2 &

重新启动hue，然后就可以通过浏览器页面操作hive了

node03执行以下命令进行重新启动hue的服务

cd /kkb/install/hue-3.9.0-cdh5.14.2/
build/env/bin/supervisor

配置hue与impala的集成

停止hue的服务进程

修改hue.ini配置文件

cd /kkb/install/hue-3.9.0-cdh5.14.2/desktop/conf
vim hue.ini

[impala]

  server_host=node03
  server_port=21050
  impala_conf_dir=/etc/impala/conf

然后node03执行以下命令，重新启动hue的服务即可

cd /kkb/install/hue-3.9.0-cdh5.14.2/
build/env/bin/supervisor

配置hue与mysql的集成

找到databases 这个选项，将这个选项下面的mysql注释给打开，然后配置mysql即可,大概在1547行

停止hue的服务，然后修改hue.ini

cd /kkb/install/hue-3.9.0-cdh5.14.2/desktop/conf
vim hue.ini

[[[mysql]]]
    nice_name="My SQL DB"
    engine=mysql
    host=node03.kaikeba.com
    port=3306
    user=root
    password=123456

更改完了配置，重新启动hue的服务

cd /kkb/install/hue-3.9.0-cdh5.14.2/
build/env/bin/supervisor

配置hue与hbas的集成

第一步：修改hue.ini

停止hue的服务，然后继续修改hue的配置文件hue.ini

cd /kkb/install/hue-3.9.0-cdh5.14.2/desktop/conf

vim hue.ini


[hbase]
  hbase_clusters=(Cluster|node01:9090)
  hbase_conf_dir=/kkb/install/hbase-1.2.0-cdh5.14.2/conf

第二步：启动hbase的thrift server服务

第一台机器执行以下命令启动hbase的thriftserver

cd /kkb/install/hbase-1.2.0-cdh5.14.2

bin/start-hbase.sh 
bin/hbase-daemon.sh start thrift

第三步：启动hue

第三台机器执行以下命令启动hue

cd /kkb/install/hue-3.9.0-cdh5.14.2/

build/env/bin/supervisor

第四步：页面访问

http://node03:8888/hue/

此博文仅供学习参考，如有错误欢迎指正。

上一篇《大数据-hue（二）》

下一篇《大数据-Kafka（一）》