kafka
zjh_746140129
这个作者很懒,什么都没留下…
展开
-
在idea下使用java将Log4j日志实时写入Kafka(Kafka实时日志写入)
本篇文章主要介绍在windows下使用idea新建web项目将Log4j日志实时写入Kafka。简要步骤:①、新建web项目②、启动zookeeper③、启动Kafka④、创建topic⑤、启动 Kafka 消费者,运行项目,观察Kafka 消费者的控制台 详细步骤:一、新建web项目 代码如下:package com.demo;...原创 2018-11-21 21:08:09 · 2965 阅读 · 0 评论 -
Kafka架构、Kafka核心组件、Kafka工作原理、Kafka应用场景
什么是消息系统? 消息系统负责将数据从一个应用程序传输到另一个应用程序,因此应用程序可以专注于数据,但不担心如何共享它。 分布式消息传递基于可靠消息队列的概念。 消息在客户端应用程序和消息传递系统之间异步排队。 有两种类型的消息模式可用 - 一种是点对点,另一种是发布 - 订阅(pub-sub)消息系统。 大多数消息模式遵循 pub-sub 。一、Kafka 简介(...原创 2018-11-18 12:08:16 · 999 阅读 · 0 评论 -
Centons7下安装配置Kafka、Linux下安装配置Kafka
本篇文章主要介绍在windows下使用vmware虚拟机中的Linux(Centons7)下配置安装Kafka。简要步骤:①、下载Kafka解压包②、解压Kafka③、修改配置文件④、启动Kafka⑤、创建topic 详细步骤:一、Kafka下载http://archive.apache.org/dist/kafka/2.0.0/二、解压...原创 2018-11-18 12:51:39 · 944 阅读 · 0 评论 -
ELK架构体系、ELK运行原理、ELK应用场景、ELK简单介绍(一)
笔者接触到ELK是由于公司项目采用微服务架构,这样在部署时各个服务需要在不同机器上,而且每个服务部署好几份,这个时候日志到收集就是问题了,不能像之前那样单体应用都在一个机器,可以直接登录查看,所以就开始去了解ELK,最后用ELK+Kafka来完成日志收集处理并展现,而且ELK在大数据行业应用也很广泛。一、ELK介绍ELK Stack是软件集合Elasticsearch、Logstash、K...原创 2019-01-14 21:47:22 · 16964 阅读 · 6 评论 -
Linux安装ELK、elasticsearch部署安装(二)
本篇文章主要介绍在Linux(Centons7)下安装ELK的elasticsearch部署安装,笔者选择了6.1版本,现在已经有6.5的新增了一些功能,推荐安装6.5,使用yum方式安装。注意,logstash至少要有1G内存才能执行在安装Logstash之前,确保已经安装了Java的运行环境简要步骤:①、wget下载elasticsearch包②、rpm安装elastics...原创 2019-01-15 20:35:23 · 4465 阅读 · 2 评论 -
Linux安装ELK、logstash部署安装(三)
本篇文章主要介绍在Linux(Centons7)下安装ELK的logstash部署安装,笔者选择了6.1版本,现在已经有6.5的新增了一些功能,推荐安装6.5,使用yum方式安装。注意,logstash至少要有1G内存才能执行在安装Logstash之前,确保已经安装了Java的运行环境简要步骤:①、wget下载logstash包②、rpm安装logstash③、设置data...原创 2019-01-15 21:41:12 · 4117 阅读 · 0 评论 -
Linux安装ELK、kibana部署安装(四)
本篇文章主要介绍在Linux(Centons7)下安装ELK的elasticsearch部署安装,笔者选择了6.1版本,现在已经有6.5的新增了一些功能,推荐安装6.5,使用yum方式安装。注意,logstash至少要有1G内存才能执行在安装Logstash之前,确保已经安装了Java的运行环境简要步骤:①、wget下载kibana包②、rpm安装kibana③、修改配置文...原创 2019-01-15 22:35:21 · 4931 阅读 · 2 评论 -
ELK整合Kafka
本篇文章主要介绍使用ELK(Elasticsearch , Logstash, Kibana)整合Kafka完成日志收集,应用场景比较多的是分布式项目,这样可以直接收集各个节点的日志到一起,便于查看和做其他业务,下一篇文章介绍整合Spring Boot项目完成日志收集查看。环境准备:安装好ELK和Kafka简要步骤:①、修改配置文件②、启动Kafka、创建topic③、重启...原创 2019-02-24 14:27:12 · 887 阅读 · 0 评论