![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
集群管理
文章平均质量分 66
曾阿伦
不成修士,终为蝼蚁
展开
-
HUE集成apach hadoop
如果集群使用MR1提交job则配置mapred_clusters,否则配置yarn_clusters(MR2),二者选其一。fs_defaultfs=hdfs://hadoop01:9000 #对应core-site.xml。#对应yarn-site.xml中的 yarn.resourcemanager.webapp.addres。--------------------------- 启动-----------------submit_to=False #标明不使用MR1提交job。原创 2023-07-10 09:10:46 · 88 阅读 · 0 评论 -
HUE集成
需要同时启动hive的metastore和hiveserve2。原创 2023-07-10 09:09:54 · 80 阅读 · 0 评论 -
HUE编译部署
缺少依赖:yum install gcc libffi-devel python-devel openssl-devel。编译过程中可能会出现错误,基本都是依赖安装的不到位,根据错误提示重新安装相应依赖即可。secret_key=allenzhang #任意值,越复杂越好,用来加密用的。原因是 /opt/hue/desktop/desktop.db 只有读权限。原因是包含desktop.db的文件夹对hue用户也是只能读不能写的。启动报错# build/env/bin/supervisor。原创 2023-07-10 09:08:42 · 124 阅读 · 0 评论 -
ambari集成hbase以及phoenix
regionserver、phoenix、client选择和datanode一样即可,下一步。选择+号增加一个HBase主节点,注意不要和metrics服务放在同一个节点上,下一步。三部分重启过后可能会有一两个警告,没关系,过一会系统会自行调节,随后警告解除。安装、启动、测试,当所有节点Successfully以后,下一步。打开ambari web界面选择操作----->添加服务。接下来默认配置下一步即可,ambari会提供最佳配置。点开,右方点击重启---->选择重启有变化的部分。原创 2023-04-22 21:48:42 · 362 阅读 · 0 评论 -
ambari部署hadoop HA
初始化JN节点,进入 CDH1,执行命令:sudo su hdfs -l -c ‘hdfs namenode -initializeSharedEdits’命令: sudo su hdfs -l -c ‘hdfs dfsadmin -safemode enter’ (进入安全模式)命令: sudo su hdfs -l -c ‘hdfs namenode -bootstrapStandby’命令: sudo su hdfs -l -c ‘hdfs zkfc -formatZK’原创 2023-04-22 21:46:26 · 317 阅读 · 0 评论 -
Ambari离线安装文档
准备干净的linux系统,我这里准备了4台虚拟机centos6(CDH1/CDH2/CDH3/CDH4,其实之前准备搞CDH的,现在拿来搞HDP了)安装集群,一台centos6(base-server)是yum源。上传到CDH1/CDH2/CDH3/CDH4,解压安装/root/bsoft/jdk1.8.0_60。3,将上述压缩包上传到base-server解压到/var/www/html/5,在CDH1的/etc/yum.repos.d/下创建repo文件。1,首先linux系统安装好,配置好yum源。原创 2023-04-22 21:45:09 · 66 阅读 · 0 评论 -
KDC服务安装及配置
4.点击“继续”,配置相关的KDC信息,包括类型、KDC服务器、KDC Realm、加密类型以及待创建的Service Principal(hdfs,yarn,,hbase,hive等)的更新生命期等。如果有访问kdc服务器的root权限,但是没有kerberos admin账户,使用kadmin.local。6.继续,输入Cloudera Manager的Kerbers管理员账号,必须和之前创建的账号一致。4.修改/var/kerberos/krb5kdc/kdc.conf配置。原创 2023-04-22 21:43:43 · 459 阅读 · 0 评论 -
CDH离线安装
一、相关包的下载地址 Cloudera Manager下载地址: archive.cloudera.com/cm5/cm/5/ 或者 archive.cloudera.com/cm5/repo-as-tarball/原创 2023-04-22 21:41:34 · 713 阅读 · 0 评论