CDH
jast_zsh
这个作者很懒,什么都没留下…
展开
-
Flink 1.12 CDH 6.3 集成
之前记录的:Flink 1.9 CDH 6.3 集成 有些下载链接可能被官方关闭了,这里介绍1.12版本集成,并把安装包下载地址换为百度网盘链接下载安装包链接: https://pan.baidu.com/s/112fiaaMAMMXMsyiTDh3qjg 提取码: ar5f 安装包内容FLINK-1.12.1-BIN-SCALA_2.12-el7.parcelFLINK-1.12.1-BIN-SCALA_2.12-el7.parcel.shaFLINK_ON_YARN-1.12.1.ja原创 2021-11-30 14:48:45 · 1619 阅读 · 1 评论 -
CDH 6 安装服务哈希验证失败 解决方法
当安装cdh 6,使用本地搭建的parcel时,出现了哈希验证失败的问题:查看了parcel的sha值,与官网的一致,没有问题:#parcel sha值[root@localhost bigdata]# sha1sum CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcelde86cc42380f073f4906801913d7083b39e46db7 CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel#sha文件里的值[root转载 2021-11-30 23:45:00 · 827 阅读 · 0 评论 -
Flink 1.9 CDH 6.3 集成
1.下载准备文件https://archive.cloudera.com/csa/1.0.0.0/csd/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jarhttps://archive.cloudera.com/csa/1.0.0.0/parcels/2.felink csa jar包准备将FLINK-1.9.0-csa1.0.0.0-cdh...原创 2020-04-09 20:46:58 · 2326 阅读 · 5 评论 -
CDH、CM下载403,Cloudera收费无法下载解决,CDH安装包下载
CDH下载6.3.2链接: https://pan.baidu.com/s/1e1LmRY7aHQSCMJq3Lz6DtA 密码: 1vje--来自百度网盘超级会员V6的分享6.3.1链接: https://pan.baidu.com/s/1Xsj_zDvuJ12q3pGTY77BRg 密码: f9h3--来自百度网盘超级会员V6的分享6.2.1链接: https://pan.baidu.com/s/10s7BvUKy1-mN6ywN4pTOtw 密码: j3tw--来自百度网盘原创 2021-06-17 12:20:11 · 2067 阅读 · 6 评论 -
Cloudera-Manager-agent 误删恢复
场景:同事操作失误,将agent节点误删了解决方法1.对比正常agent节点与被删除节点安装包差异 yum list installed |grep cloudera2.通过和正常的服务器对比我们发现,丢失的只有cloudera-manager-agent.x86_643.查看yum源中所有cloudera-manager组件:yum search c...原创 2020-01-15 10:56:20 · 1868 阅读 · 1 评论 -
迁移 Cloudera Manager 节点 ,迁移Cloudera Scm Server端
目录1.迁移节点信息:212 -> 442.压缩存储目录,备份SCMServer数据3.在新服务器安装server端4.修改 cloudera-scm-server 配置文件5.解压恢复备份数据到新服务器指定配置的目录中6.修改所有agent节点的配置文件内容7.迁移ClouderaManagementService节点8.停止原有的server端与所有...原创 2020-01-15 10:35:47 · 1110 阅读 · 0 评论 -
CM,CDH 修改迁移元数据库
1.停止所有服务2.停止Cloudera Management Service服务3.登录CM所在服务器,停止cloudera-scm-server服务,命令如下:systemctl stop cloudera-scm-server4.停止CM服务和CDH集群后,对数据库进行迁移数据导出mysqldump -uroot -p --all-database...原创 2020-01-15 10:42:58 · 2815 阅读 · 0 评论 -
ClouderaManager agent 报错,无法连接到结群 Error, CM server guid updated, expected xxx , received xxx
场景集群版本:CDH 6.0.1服务器版本:Centos 7.3JAVA版本:1.8异常出现原因搭建集群中遇到异常,删除agent节点,重新部署CM后发现异常,CDH处于无法使用状态异常查看agent日志会出现,说无法连接到服务端7182端口,排查防火墙等问题,均正常Heartbeating to xxxx:7182 failed.继续往下看日志,提示我们获...原创 2019-10-15 17:26:46 · 1875 阅读 · 0 评论 -
Centos7.x 安装 CDH 6.x
前置条件ntp服务安装 防火墙关闭执行以下优化代码echo "* soft nofile 128000" >>/etc/security/limits.conf echo "* hard nofile 128000" >>/etc/security/limits.conf echo "* soft nproc 128000" ...原创 2019-09-01 15:12:22 · 753 阅读 · 0 评论 -
CDH kerberos 认证,安全认证
环境 centos 7.4 安装KDC服务yum -y install krb5-server krb5-libs krb5-auth-dialog krb5-workstation修改配置文件vi /etc/krb5.conf默认如下修改为# Configuration snippets may be plac...原创 2019-08-06 15:26:24 · 1244 阅读 · 0 评论 -
Cloudera Manager agent无法启动,拒绝链接 Failed! trying again in 2 second(s): [Errno 111] Connection refuse
启动agent节点失败,提示拒绝连接,百度一下很多人说解决方式是用ps -ef | grep supervisord查看是否有进程,有的话 kill 掉(使用kill -9 会自动拉起进程,使用kill),然后重启即可,kill掉后依然无法启动 cloudera-scm-agent.log日志文件报错如下[01/Apr/2019 16:46:19 +0000] 97874 ...原创 2019-04-09 18:41:58 · 5532 阅读 · 2 评论 -
Cloudera-Manager 与 原生集群 免密登录问题
原生集群启动方式:在Hadoop启动以后,namenode是通过SSH来启动和停止各个节点上的各种守护进程的,这就需要在节点之间执行指令的时候是不需要输入密码的方式,故我们需要配置SSH使用无密码公钥认证的方式。 Cloudera-Manager启动方式:大多数安装过hadoop的人应该都配置过ssh免密登录,为啥需要免密登录,主要是因为 start-all.sh 这样的启动脚本...原创 2018-11-21 15:18:55 · 9760 阅读 · 0 评论 -
CDH邮件预警
转载自:http://blog.51cto.com/feature09/2055835在CDH的7180页面找到Cloudera Managerment Service如图所示: 在Configuration中,搜索alert设置接收信息的邮箱。设置内容都在图片上: 添加邮件页眉说明,第一行显示 ...转载 2018-11-12 16:44:10 · 457 阅读 · 0 评论