cloudera manager
鲲鹏小飞猪
这个作者很懒,什么都没留下…
展开
-
docker安装cloudera版本的hadoop
官网:https://hub.docker.com/r/cloudera/quickstart/前提条件:机器已安装好docker1、执行以下命令,获取docker版hadoop:docker pull cloudera/quickstart:latest2、启动Hadoop:docker run --privileged=true --hostname=quickstart.cloudera -p 8020:8020 -p 7180:7180 -p 21050:21050 -p 5007原创 2020-07-16 09:18:16 · 628 阅读 · 0 评论 -
HDFS扩容操作
hdfs扩容操作1、df查看需要挂载的硬盘目录2、 在分区的挂载目录[/data]下新建子目录/dfs/dn,执行命令:mkdir -p /data/dfs/dn3、 修改dn目录的权限:chown -R hdfs:hadoop /data/dfs/dn这样hdfs才能使用该目录(每一个分区都要新建/dfs/dn)4、登录cloudera manager管理界面...原创 2020-01-01 09:25:32 · 421 阅读 · 0 评论 -
CDH中启用Spark Thrift
1.文档编写目的CDH 自带的Spark 不支持Spark Thrift,因为spark-assembly jar...转载 2019-12-05 22:39:13 · 604 阅读 · 0 评论 -
离线环境下安装Cloudera Manager和CDH 5.16.2版本
第一部分 准备工作:系统环境搭建三台centos7.2的服务器,63为主节点如下:172.20.122.67 bigdata001172.20.122.63 bigdata002172.20.122.68 bigdata003以下操作均用root用户操作配置host(所有节点)/etc/hosts172.20.122.67 bigdata001172.20.122.6...原创 2019-10-18 10:21:39 · 2248 阅读 · 2 评论 -
CM中postgresql内嵌库表client_config数据过大,如何释放
1、service cloudera-scm-server stop;create table client_configs2 as select * from client_configs;ALTER TABLE ONLY client_configs2 ADD CONSTRAINT client_configs_pkey2 PRIMARY KEY (client_config...原创 2019-03-26 21:22:39 · 321 阅读 · 0 评论 -
CDH版本Flume的数据采集Demo
DEMO:将mysql中的数据采集到HDFS上面1、在CM界面中添加角色:2、增加配置agent.channels.ch1.type = memoryagent.sources.sql-source.channels = ch1agent.channels = ch1agent.sinks = HDFSagent.sources = sql-...原创 2019-03-27 08:46:56 · 2308 阅读 · 0 评论 -
Cloudera CCA131培训考试要点
培训课程官方文档:https://www.cloudera.com/documentation/enterprise/latest/topics/admin_rm.htmlcloudera 管理cloudera 分析(pig,impala,hive)cloudera 开发cloudera hbase常用组件Avro 通用的数据存储格式(行级)Flume 采集(...原创 2019-04-25 10:45:47 · 2896 阅读 · 2 评论