1、下载cloudera-manager-installer.bin 安装文件
下载地址 http://archive.cloudera.com/cm5/installer/
选择需要的版本
下载完成后赋予该文件执行权限
然后 ./cloudera-manager-installer.bin 执行安装,根据提示安装成功后
2、安装cdh集群
下载
https://archive.cloudera.com/cdh5/parcels/
选择需要的版本
centos7
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel | 2018-04-06 13:05 | 2.0 GB |
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1 | 2018-04-06 13:05 | 41.0 B |
将以上三个文件放到server节点的 /opt/cloudera/parcel-repo下。
注意 需要将CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1改成CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha,否则安装时会重新下载,很重要!!
进入浏览器,进行安装
把数据库驱动jar包copy到 /usr/share/java/ 下
开启hive on spark
搜索hive配置 hive.execution.engine
把执行引擎改为spark,重启
由于内存不够,hive on spark执行查询 报错,报错信息如下
WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
原因:spark-submit默认提交任务的时候 spark.executor.memory = 1g
spark.driver.memory =1g
解决方案: 再hive的配置中把这两个改小,执行查询ok
spark history server 和 yarn webui 看不到执行过的job
权限问题,但是不知道怎么设置 ,就把权限验证去掉了 搜索hdfs配置 dfs.permissions 打钩的去掉即可
service cloudera-scm-agent start
service cloudera-agment-server status