分享总结
文章平均质量分 91
burg_xun
热爱运动
展开
-
FlinK KeyBy分布不均匀 问题的总结思考
背景最近 公司组织架构调整,我也被调整到了 数据中台组,刚好最近分配到一个需求任务,这个任务其实也很简单,就是公司的BI分析需要一个维护的 统计分析数据 ,这部分数据 由于一些历史等原因,是solr 那边 做完索引的专利数据,发对应的专利消息到对应的Kafka 的一个topic 中,我们数据组这边消费消息后,做一些etl 的工作后 入库,为了保证数据的实时性,我们采用了Flink 来消费Kafka的消息,我这边只要在我们的处理专利数据的sink中,新增一个逻辑 处理这份数据,然后入库,最终提供给BI那原创 2022-03-28 00:45:39 · 2952 阅读 · 6 评论 -
记一次服务假死的问题排查
日常问题总结原创 2022-03-05 14:29:19 · 784 阅读 · 0 评论 -
FastJson 过滤复杂数据对象
FastJson 过滤复杂数据对象前言描述分析SimplePropertyPreFilter 的使用过滤名称重复的字段改良的版本依旧不灵活的问题最终版本过滤带层级属性 PropertyPreFilter其余的过滤器介绍总结前言很久 没有 写博客了 一晃都已经2个月了 到新东家也有2个月了,好快!博客还是要重新拾起了,养成一个好习至少要21天 但是毁掉它只需要一个借口~描述先描述下问题,最近做了一个任务,主要是处理数据的问题,所有的原始数据存在的我们的Nosql 数据库中,使用的是AWS 的Dyn原创 2020-11-10 17:05:12 · 791 阅读 · 1 评论