cdh在线安装以及hive On sprak

1、下载cloudera-manager-installer.bin 安装文件

下载地址 http://archive.cloudera.com/cm5/installer/

选择需要的版本

下载完成后赋予该文件执行权限

然后 ./cloudera-manager-installer.bin  执行安装，根据提示安装成功后

2、安装cdh集群

 

下载

https://archive.cloudera.com/cdh5/parcels/

选择需要的版本

centos7

CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel	2018-04-06 13:05	2.0 GB
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1	2018-04-06 13:05	41.0 B

manifest.json

将以上三个文件放到server节点的 /opt/cloudera/parcel-repo下。

注意 需要将CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1改成CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha，否则安装时会重新下载，很重要！！

进入浏览器，进行安装

http://HOSTNAME:7180/

把数据库驱动jar包copy到  /usr/share/java/ 下

 

开启hive on spark

搜索hive配置 hive.execution.engine 

把执行引擎改为spark，重启

由于内存不够，hive on spark执行查询 报错，报错信息如下

 

 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

原因：spark-submit默认提交任务的时候 spark.executor.memory = 1g

spark.driver.memory =1g

解决方案： 再hive的配置中把这两个改小，执行查询ok

 

spark history server 和 yarn webui 看不到执行过的job

权限问题，但是不知道怎么设置 ，就把权限验证去掉了 搜索hdfs配置 dfs.permissions  打钩的去掉即可

 

service cloudera-scm-agent start

service cloudera-agment-server status