1.架构图
2.环境centos7及安装包
2.1安装jdk
解压
重命名
配置环境变量添加
export JAVA_HOME=/root/jdk1.8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
使配置生效 source /etc/profile
2.1 项目启动测试日志正常访问
提前关闭防火墙避免访问项目失败
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)
项目启动正常访问日志正常打印
错误日志正常打印
3.Filebeat安装
3.1安装
3.2配置文件
output定义路径详细说明:
https://www.cnblogs.com/zlslch/p/6622079.html
配置filebeat文件
3.3启动filebeat
访问错误接口查看日志输出:
4.kafka及zookeeper安装
4.1 zookeeper集群部署
安装解压
集群配置
创建集群所需主机号
复制zk1,便修改对应端口和myid的值
集群启动
4.2 kafka集群部署
安装解压
集群配置
复制k1到k2,k3且修改端口和broker.id,log.dirs,listeners
启动测试
创建topic: bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看创建的topic: bin/kafka-topics.sh --list --zookeeper localhost:2181
创建生产者: bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
创建消费者: bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
4.3 Filebeat连接kafka
创建topic
修改filebeat output配置
产生日志重启filebeat,kafka消费topic
5. Logstash安装部署
5.1 logstash安装
解压安装
创建配置文件
启动测试输入输出
5.2 logstash连接kafka
修改input
启动测试
6. elasticsearch安装部署
6.1 elasticsearch集群安装
解压
elasticsearch默认不允许root用户启动,所以需要创建新用户
给新用户添加访问权限
启动成功
复制 e1到e2 e3记得删除data,修改node.name http.port
集群启动
6.2 elasticsearch-head插件安装
安装node
设置环境变量
source /etc/profiles使配置生效
复制elasticsearch-head
安装grunt
修改服务器监听地址:Gruntfile.js
修改连接地址:_site/app.js
npm install(安装下载下来的包)
grunt server
6.3 logstash连接elasticsearch
修改logstash配置文件
重启产生日志查看
7. kibana安装部署
7.1 kibana安装
解压安装
配置elasticsearch路径
kibana简单配置,暂时不支持集群监听,需要做其他处理,这边暂时不做,启动
访问界面,第一次需要创建索引
查看数据
7.2 nginx安装
gcc,make安装
yum -y install gcc automake autoconf libtool make
yum install gcc gcc-c++
安装PCRE库
wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.38.tar.gz
tar -zxvf ./repo/pcre-8.38.tar.gz
cd pcre-8.38
./configure
make
make install
安装zlib库
wget http://zlib.net/zlib-1.2.11.tar.gz
tar -zxvf zlib-1.2.11.tar.gz
cd zlib-1.2.11
./configure
make
make install
安装ssl
wget https://www.openssl.org/source/openssl-1.0.1t.tar.gz
tar -zxvf openssl-1.0.1t.tar.gz
安装nginx 为了简单安装,直接走默认配置
tar -zxvf ./repo/nginx-1.6.2.tar.gz
mv nginx-1.6.2.tar.gz nginx
cd nginx
./configure
make
make install
cd /usr/local/nginx
./sbin/nginx 默认启动
7.3 nginx代理kibana
添加单独的配置文件
mkdir ./conf.d
vim ./conf.d/kibana.conf
修改nginx主配置文件导入配置
vim /usr/local/nginx/conf/nginx.conf
添加 include /usr/local/nginx/conf/conf.d/*.conf;
配置登录验证
yum install -y httpd-tools
htpasswd -bc/usr/local/nginx/conf/htpasswd.users admin admin
cat /usr/local/nginx/conf/htpasswd.users
重启nginx
/usr/local/nginx/sbin/nginx -t
/usr/local/nginx/sbin/nginx -s reload
访问