kafka
文章平均质量分 94
wmbreaking
大数据领域深耕近10年,在大数据离线数仓,实时数仓,大数据架构方面有丰富的经验,理论知识扎实,曾就职于BAT高级大数据工程师,世界500强前10大数据架构师,现任某保险集团数据团队技术负责人,考取rhce,rhca,ocp多个国际认证。
展开
-
02-kafka环境搭建及测试
集群的搭建,首先我们准备了3台虚拟机,在虚拟机中配置好了基础的环境,如Java,scala等配置。如下#java setJAVA_HOME=/opt/jdk1.7.0_79JRE_HOME=$JAVA_HOME/jrePATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.j原创 2017-07-27 15:02:12 · 434 阅读 · 0 评论 -
01-Kafka源码编译阅读环境搭建
开发环境: Oracle Java 1.7.0_79 + Idea15.0.2 +Scala 2.10.4+Gradle 4.0.1 + Kafka 0.9.0.1一、Gradle安装配置Kafka代码自0.8.x之后就使用Gradle来进行编译和构建了,因此首先需要安装Gradle。Gradle集成并吸收了Maven主要优点的同时还克服了Maven自身的一些局限性——你可以访原创 2017-07-27 13:58:28 · 726 阅读 · 0 评论 -
03-eclipse创建maven项目进行Kafka Producer的测试
前面已经部署好了Kafka集群并且在利用kafka集群提供的脚本测试通过,下面要进入Java开发环境搭建。一、环境描述 1、server2008下 eclipse(kepler) 2、本机建立了虚拟机系统: redhat 6.4 ip:192.168.5.130,192.168.5.132,192.168.5.133原创 2017-07-27 15:28:27 · 1855 阅读 · 0 评论 -
04-Kafka Broker启动脚本及对应源码解析
我们已经在IDEA集成工具中导入了Kafka源代码,现在我们先从应用角度去分析一下Kafka启动的过程。 最近因为工作原因要对Kafka源码进行二次开发,所以就开始着手源码的学习。1.首先我们先看一下kafka-server-start.sh脚本 kafka在启动的过程中我们会用到%KAFKA_HOME%下的bin目录下的kafka-server-start.sh../conf原创 2017-07-28 16:12:43 · 1157 阅读 · 1 评论