kafka
zyj8170
在搜狐软件科技负责软件开发工作,主要研究方向:分布式和高并发。
展开
-
kafka技术内幕
第二章 生产者概述消息系统通常都会由生产者,消费者,Broker三大部分组成,生产者会将消息写入到Broker,消费者会从Broker中读取出消息,不同的MQ实现的Broker实现会有所不同,不过Broker的本质都是要负责将消息落地到服务端的存储系统中。不管是生产者还是消费者对于Broker而言都是客户端,只不过一个是生产消息一个是消费消息。图2-1中生产者和消费者都是通过客户端转载 2016-07-18 17:42:34 · 3774 阅读 · 0 评论 -
kafka深度解析
Kafka深度解析,众人推荐,精彩好文!时间 2015-01-26 15:06:04 数盟原文 http://dataunion.org/?p=9307主题 Apache Kafka作者: Jason Guo背景介绍Kafka简介Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:以时间复杂度为O(1)的转载 2016-07-19 15:22:29 · 1517 阅读 · 0 评论 -
kafka manager安装
kafka-manager是yahoo开源,项目地址https://github.com/yahoo/kafka-manager这个项目比 https://github.com/claudemamo/kafka-web-console 要好用一些,显示的信息更加丰富,kafka-manager本身可以是一个集群。不过kafka-manager也没有权限管理功能。原创 2015-07-15 14:32:13 · 5033 阅读 · 1 评论 -
kakfa源码环境搭建
1.gradle安装1.前提条件 a.需要安装jdk 1.5或以上版本才能运行gradle.b.要确认jdk已经安装,验证jdk安装java -versionc.需要设置JAVA_HOME环境变量2. 下载下载gradle安装文件,gradle比较简单gradle-1.11-all.zip下载3.解压文件原创 2015-04-10 11:08:00 · 919 阅读 · 0 评论 -
Kafka0.8.2.1删除topic逻辑
原文链接:Kafka0.8.2.1删除topic逻辑前提条件: 在启动broker时候开启删除topic的开关,即在server.properties中添加: delete.topic.enable=true命令: bin/kafka-topics.sh --zookeeper zk_host:port/chroot --delete --topic my_topic_name转载 2016-07-11 10:27:44 · 1499 阅读 · 0 评论 -
Scala语言与Play框架入门教程
Scala语言与Play框架入门教程Scala在业界已日益成为主流的编程语言和开发工具,与Java一样在Web开发领域的发展尤其令开发者关注,因此本文选取Scala语言中当前两个主要Web框架(Play、Lift)中的一个较易上手的Play框架,结合作者的实践以简洁易懂快速上手为目标,使开发者快速进行以Scala语言为基础的Web应用和网站开发。关于教程为了更好的服务于开发者,本教转载 2016-10-24 09:51:21 · 1376 阅读 · 0 评论 -
flume1.7.0 常用配置
一、source 为spooling dira1.sources = r1a1.channels = c1a1.sinks = k1a1.sources.r1.type = spooldira1.sources.r1.spoolDir = /opt/nginx/testa1.sources.r1.channels = c1a1.sources.r1.fileSuffix原创 2016-10-27 16:15:38 · 1478 阅读 · 1 评论 -
apache kafka中server.properties配置文件参数说明
每个kafka broker中配置文件server.properties默认必须配置的属性如下:broker.id=0 num.network.threads=2 num.io.threads=8 socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes=1048576 socket.request.max.b转载 2015-07-24 15:06:35 · 725 阅读 · 0 评论 -
使用flume1.6.0直接向hadoop2.5收集数据
1、搭建环境要安装jdk,hadoop2.5客户端,剩下的就直接是配置了,配置下就能搞定。2、配置a1.sources = r1a1.channels = c2a1.sinks = k2a1.sources.r1.type = execa1.sources.r1.command = tail -n +0 -F /opt/nginx/logs/link_pt.loga1.so原创 2015-07-23 11:58:24 · 2112 阅读 · 0 评论