zhang_csdn999的博客

原创 Kafka副本

Kafka Controller在Kafka集群中有一个broker会被选举为控制器（Kafka Controller），它负责管理整个集群中所有分区和副本的状态。当某个分区的leader副本出现故障时，由控制器负责为该分区选举新的leader副本。当检测到某个分区的ISR集合发生变化时，由控制器负责通知所有broker更新其元数据信息。当使用kafka-topics.sh脚本为某个topic增加分区数量时，同样还是由控制器负责分区的重新分配。Kafka中的控制器选举的工作依赖于Zookeepe

原创 Kafka基本命令

启动zk.sh start kafka.sh start查看topic列表[hadoop@hadoop1 ~]$ kafka-topics.sh --zookeeper hadoop1:2181 --list__consumer_offsets创建topic[hadoop@hadoop1 logs]$ kafka-topics.sh --zookeeper hadoop1:2181 --create --replication-factor 3 --partitions 2 --

原创 疫情分析项目

疫情期间各类政府媒体及社交网站，均发布了相关疫情每日统计数据，下面基于数据仓库工具Hive请你统计分析相关疫情数据。数据字段为：日期、省份、城市、新增确诊、新增出院、新增死亡、消息来源、来源1，来源2，来源3请在hdfs根目录下中创建一个目录，以你的小组名称英文全拼命名_data，并将以上疫情数据上传到这个目录中，截图成功后结果请你在hive中创建数据库名为: ods_yiqing_data，并切换使用这个数据库，截图成功后结果创建一个hi...

原创 Hive数仓建模测试——项目名称：微博数据分析

内容：数据建表、数据处理、数据分析一、数据准备工作在进行项目实验之前，需要启动hadoop集群以及hive具体操作步骤如下：cd data——ll——jps（查看hadoop集群），如果没有启动，操作如下步骤：start-all.shstart-yarn.shstart-dfs.sh下一步进入hive：cd /usr/software/apache-hive-2.3.3-bin/cd /usr/software/apache-hive-2.3.3-bin/hive

原创 sqoop安装

cd software查看有没有sqoop发现有，进行下一步cd sqoop-1.4.6/进入sqoopll查看里面的文件 cd lib/ vi /etc/profile配置环境# monngodbexport MONGODB_HOME=/usr/software/mongodbexport PATH=${MONGODB_HOME}/bin:$PATH#sqoopexport SQOOP_HOME=/usr/software/sqoop-1.4.6expor...

原创 VMware和Xshell链接