kafka
あずにゃん
日萌社
展开
-
CDH 中 kafka 的使用注意
================== 非CDH中使用kafka ========================1.kafka 创建 topic cd /root/kafka 1.格式:bin/kafka-topics.sh --create --zookeeper zookeeper的IP:2181 --replication-factor 副本数 --part...原创 2019-03-14 17:36:45 · 3968 阅读 · 0 评论 -
CDH 安装 Flume、Kafka、Kudu
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用Impala 操作/读写 Kudu,使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件(spark kudu parquet) kudu 导入/导出 数据 Kudu 分页查询的两种方式 Kudu 创建主键=========...原创 2019-04-05 20:20:18 · 1353 阅读 · 0 评论 -
Kafka Eagle 安装和配置
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用kafka-eagle监控kafka、zookeeper状态的监控工具: 1.各版本下载 & 使用文档:https://ke.smartloli.org/5.ChangeLog/1.ChangeLog.html 官网:https://ke.smartloli.org 2.node1节点解压安...原创 2019-04-07 11:19:06 · 4064 阅读 · 4 评论 -
kafka 生产/消费API、offset管理/原理、kafka命令
大数据组件使用 总文章kafka 生产/消费API、offset管理/原理、kafka命令 kafka 命令、API Kafka安装、原理、使用 mapreduce 实时消费 kafka 数据创建topickafka-topics --create --zookeeper node1:2181 --replication-factor 3 --partitions 3 ...原创 2019-04-26 15:09:28 · 875 阅读 · 0 评论 -
mapreduce 实时消费 kafka 数据
大数据组件使用 总文章====================================================代码下载 链接:https://pan.baidu.com/s/1gBi1epr2oli3y9of2jdI-A提取码:vpf9使用MR消费kafka数据,需要手动管理kafka的offset,因此有必要先阅读下面一遍文章参考文章:kafka 生产/消费...原创 2019-04-26 16:38:56 · 2098 阅读 · 0 评论 -
Kafka 安装、原理、使用
大数据组件使用 总文章kafka 生产/消费API、offset管理/原理、kafka命令 kafka 命令、API Kafka安装、原理、使用 mapreduce 实时消费 kafka 数据1.Apache Kafka 1.Apache Kafka 是一个开源消息系统,由 Scala 写成。是由 Apache 软件基金会开发的一个开源消息系统项目。 2.Kaf...原创 2019-05-04 22:03:05 · 1879 阅读 · 1 评论 -
kafka 安装(非CDH)
大数据组件安装(非CDH) 总文章1.安装准备 1.安装jdk、安装zookeeper 2.安装目录 数据目录:mkdir -p /root/kafkaData 日志目录:mkdir -p /root/kafkaLogs 3.tar -zxvf kafka_2.11-1.0.0.tgz -C 4.mv kafka_2....原创 2019-05-04 22:04:20 · 1060 阅读 · 1 评论 -
kafka 命令、API
大数据组件使用 总文章kafka 生产/消费API、offset管理/原理、kafka命令 kafka 命令、API Kafka安装、原理、使用 mapreduce 实时消费 kafka 数据1.使用控制台运行 1.创建一个topic主题 cd /root/kafka chmod 777 /root/kafka/bin/kafka-t...原创 2019-05-04 22:10:21 · 1664 阅读 · 1 评论