利用ClickHouse进行kubernetes Ingress 日志分析

前言

本篇是关于日志分析系统的一篇实践文章, 市面上大多数的做法是基于ElasticSearch的方案,ES的SQL支持不天然, 存储的膨胀,多维分析的复杂性,因此将目光投向了ClickHouse。

Ingress日志介绍

访问日志价值比较高,本次从访问日志入手。一般7层访问日志包括URL、源IP、状态码、响应时间、Agent等。kubernetes的Nginx Ingress Controller还包括namespace、service name、Ingress name等信息。日志分析需要按租户维度进行分析,因此这些字段也需要采集。自定义日志格式使用Sidecar的方式进行采集,日志格式和采集内容配置如下:

 log-format upstream '{
     "time":"$time_local",
     "real_ip":"$the_real_ip",
     "client":"$proxy_protocol_addr",
     "request_id":"$req_id",
     "remote_user":"$remote_user",
     "bytes_sent":"$body_bytes_sent",
     "request_time":"$request_time",
     "status":"$status",
     "vhost":"$host",
     "request_length":"$request_length",
     "http_referrer":"$http_referer",
     "http_user_agent":"$http_user_agent",
     "proxy_upstream_name":"$proxy_upstream_name",
     "upstream_addr":"$upstream_addr",
     "upstream_response_length":"$upstream_response_length",
     "upstream_response_time":"$upstream_response_time",
     "upstream_status":"$upstream_status",
     "request_body":"$request_body",
     "uri":"$uri",
     "http_x_forwarded_for":"$http_x_forwarded_for",
     "request_method":"$request_method",
     "protocol":"$server_protocol"
 }';
 access_log  logs/access.log upstream;

为什么选择ClickHouse

  • 实时查询
  • 分布式并行处理
  • 预聚合 - 通过物化视图
  • 查询速度快 - 参考 https://clickhouse.yandex/benchmark.html
  • 支持SQL - 大部分场景用一个SQL就能满足
  • 存储成本为ES的1/24

日志数据pipeline架构

架构中使用了kafka作为解耦, 采集和消费日志不依赖于各种agent和语言。同时保留后续对流数据进行清洗、加入外部字典、舆情情报的再处理能力。
在这里插入图片描述

ClickHouse schema 设计

数据摄入的基表使用了ReplicatedMergeTree,Clickhouse最健壮的 *MergeTree引擎系列,同时使用Relicated数据复制,增强数据的可靠性。数据总是批量写入,8192或以上的颗粒度。
在这里插入图片描述

物化视图介绍

物化视图是Clickhouse的内部pipeline,根据原始数据表数据流的摄入进行各种聚合运算,聚合运算的结果写入对应物化视图。各种数据统计的压力在用户查询之前就已完成,极大减少查询耗时。以下进行查询耗时比较,可以看出物化视图极大减少了查询耗时。

物化视图如下:

CREATE MATERIALIZED VIEW k8s.INGRESS_PV_hour (
  date Date,
  t DateTime,
  namespace String,
  total UInt64
) ENGINE = ReplicatedSummingMergeTree(
  '/clickhouse/tables/{layer}-{shard}/k8s/ingress_pv_hour','{replica}'
) PARTITION BY toYYYYMM(date)
ORDER BY
  (t, namespace) SETTINGS index_granularity = 8192 AS
SELECT
  date,
  toStartOfHour(time) AS t,
  namespace,
  count(*) AS total
FROM
  k8s.ingressjq_prd_dist
GROUP BY
  date,
  t,
  namespace

先对原始数据表进行查询,耗时:0.45 sec.| 128,329,684 rows.| 2 GB

SELECT
	date,
	namespace,
	count(*) AS total
FROM
	k8s.ingressjq_prd_dist where date > toDate('2019-06-14') group by date,namespace order by date,namespace limit 5000

对物化视图进行查询 (预聚合结果),耗时:0.01 sec.| 9,785 rows.| 258 KB

SELECT
	date,
	namespace,
	sum(total) AS total
FROM
	k8s.INGRESS_PV_DAY where date > toDate('2019-06-14') group by date,namespace order by date,namespace limit 5000

日志分析

物化视图主要分为三个时间跨度:分钟,小时和天,聚合引擎主要用到:SummingMergeTree 和AggregatingMergeTree。

物化视图设计
  1. 访问量
    在这里插入图片描述

  2. 速度
    在这里插入图片描述

  3. HTTP状态和方法
    在这里插入图片描述

  4. 访问来源
    在这里插入图片描述

Grafana可视化

最后,在Grafana里通过SQL语句查询相应的物化视图,利用折线图,饼图,列表等不同的方式进行数据展现。
Grafana dashboard 分为两个部分,第一部分分应用展示实时数据如下:
在这里插入图片描述
第二部分展示所有应用总的实时数据如下:
在这里插入图片描述

总结

ClickHouse是强大的列式数据库,可以用在基于时间序列的metrics,logging的数据分析。Schema需要预先建立,因此后续使用ClickHouse仍需继续开发对应抽象接口,以完成业务的灵活对接。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值