烂sql导致clickhouse集群memory_tracking直线飙升触发熔断

版 本 v e r s i o n   1 9 . 1 7 . 4 . 1 1     c l i c k h o u s e   集 群 ， 主 要 存 日 志 数 据 与 监 控 数 据 。 架 构 为 4 台 主 机 1 2 个 实 例 数 ， 数 据 为 单 副 本 。

近 日 ， 该 c l i c k h o u s e 集 群 有 一 台 物 理 机 的 硬 件 （ 电 池 ） 损 坏 ， 损 坏 的 硬 件 完 成 更 换 后 ， 就 有 人 反 馈 数 据 查 询 异 常 ， 报 D B : : E x c e p t i o n :   M e m o r y   l i m i t   ( t o t a l )   e x c e e d e d :   w o u l d   u s e   1 1 1 . 7 6   G i B   ( a t t e m p t   t o   a l l o c a t e   c h u n k   o f   5 7 6 6 8 8 0   b y t e s ) ,   m a x i m u m :   1 1 1 . 7 6   G i B  

报 错 指 向 内 存 ， 看 查   c l i c k h o u s e _ m e m o r y _ t r a c k i n g   内 存 的 使 用 情 况 ， 2 0 2 3 . 0 6 . 2 6   1 7 : 5 7   左 右   c l i c k h o u s e   集 群 各 个 节 点 c l i c k h o u s e _ m e m o r y _ t r a c k i n g 直 线 上 升 （ 除 了 硬 件 异 常 的 节 点 几 乎 始 终 为 0 ） ， 最 终 迫 近 单 机 最 大 的 内 存 使 用 量   m a x _ m e m o r y _ u s a g e _ f o r _ a l l _ q u e r i e   的   1 2 0 G ， 当 总 内 存 使 用 超 过 1 2 0 G 后 触 发 熔 断 ， 中 断 请 求 ， 也 就 是 上 文 提 到 的   M e m o r y   l i m i t   ( t o t a l )   e x c e e d e d

 

  c l i c k h o u s e _ g l o b a l _ t h r e a d _ a c t i v e   正 常 情 况 下 保 持 为 十 位 数 ， 异 常 飙 升 至 5 千 多

 

异 常 时 间 段 c l i c k h o u s e _ q u e r y   请 求 也 有 波 动

 

2023-06-26 17:50:00 ~ 2023-06-26 18:08:00  这 段 时 间 c l i c k h o u s e 集 群 到 底 在 执 行 什 么 内 容

select query_start_time,query_duration_ms,address,read_rows,query from system.query_log where event_time  between toDateTime('2023-06-26 17:50:00') and toDateTime('2023-06-26 18:08:00') order by read_rows desc limit 10

获 取 到 的 有 用 信 息 ， 有 人 执 行   （ 此 类 请 求 存 在 并 发 ） s e l e c t   *   f r o m   x x 1   U N I O N   A L L   s e l e c t   *   f r o m   x x 2   拼 接 最 近 半 年 数 据 的 烂 s q l ， 相 当 于 是 1 8 2 个 表 U N I O N   A L L ， 数 据 量 达 3 0 0 亿

 

异 常 时 间 段 c l i c k h o u s e 集 群 日 志 报 错   D B : : E x c e p t i o n :   C a n n o t   s c h e d u l e   a   t a s k   ( v e r s i o n   1 9 . 1 7 . 4 . 1 1   ( o f f i c i a l   b u i l d ) )   ( f r o m   1 7 2 . 2 6 . 1 8 5 . 1 8 6 : 5 1 7 0 8 )   ( i n   q u e r y :   S E L E C T   a p i   F R O M   i o v _ l o g . t _ i o v _ g w _ l o g _ l o c a l _ 2 0 2 3 0 1 2 7 ) ,   S t a c k   t r a c e ， 指 向 硬 件 异 常 的 物 理 机   1 7 2 . 2 6 . 1 8 5 . 1 8 6

2023.06.26 17:57:30.120612 [ 34959 ] {a6ee5760-0b1c-410d-a6de-a5016425fe68} <Error> executeQuery: Code: 439, e.displayText() = DB::Exception: Cannot schedule a task (version 19.17.4.11 (official build)) (from 172.26.185.186:51708) (in query: SELECT api FROM iov_log.t_iov_gw_log_local_20230127), Stack trace:

（ 便 于 更 好 的 观 察 各 个 指 标 ， 贴 一 张 核 心 指 标 汇 总 图 ）

 

原 因 大 致 清 晰 了

1 7 2 . 2 6 . 1 8 5 . 1 8 6   物 理 机 硬 件 损 坏   - >   1 7 2 . 2 6 . 1 8 5 . 1 8 6   有 巨 烂 s q l 查 询   1 8 2 个 分 布 式 表 U N I O N   A L L ， 总 数 据 量 达 3 0 0 亿   - >     触 发 1 7 2 . 2 6 . 1 8 5 . 1 8 6   c l i c k h o u s e _ l o c a l _ t h r e a d   线 程 飙 高   - >   触 发     c l i c k h o u s e _ g l o b a l _ t h r e a d _ a c t i v e   线 程 飙 高   - >   c l i c k h o u s e _ m e m o r y _ t r a c k i n g   飙 高   - >   达 到   m a x _ m e m o r y _ u s a g e _ f o r _ a l l _ q u e r i e   阈 值   - >   M e m o r y   l i m i t   ( t o t a l )   e x c e e d e d   报 错   - >   轮 询 重 启 c l i c k h o u s e 集 群 业 务 恢 复

优 化 点

1 、   c l i c k h o u s e _ g l o b a l _ t h r e a d _ a c t i v e   活 跃 线 程 数 监 控 告 警

2 、 c l i c k h o u s e _ m e m o r y _ t r a c k i n g   内 存 使 用 大 小 监 控 告 警

3 、 优 化   m a x _ m e m o r y _ u s a g   单 个 S Q L 在 单 台 机 器 最 大 内 存 使 用 量

4 、 约 束 烂 s q l