【小数据处理】从日志中获取json数据的处理

写在头上

本次分析的数据来源是SpringBoot服务输出的logback日志。具体配置参考：

处理工具:Notepad++ v7.6。处理的日志内容不易过大，Notepad能打开电脑不卡最好（100M以内吧）。如果实在过大，先从日志源头进行截取，可采用grep +关键词的形式输出到新的文件中

处理方法：1 使用正则表达式删除特定字符以外的行，2 使用正则表达（或列编辑）删除不需要的字符；

如果以上内容您知道或者感觉简单请绕行。

使用正则表达式删除特定字符以外的行

给定的文件打开后如下图所示，需要删除不包含“收到的kafka消息”以外的行。如果你打开的是换行的，可在 视图->自动换行 取消选中。

使用的正则表达式是：^(?!.*收到的kafka消息).*\n         格式：^(?!.*关键词).*\n 

使用正则表达（或列编辑）删除不需要的字符

使用正则表达式替换

本例是删除收到的kafka消息-> 之前的字符。使用的正则表达式是：(.+(?=-> {))         格式：(.+(?=关键词{))。这个正则表达式不能删除->，所以替换的结果还需要再执行一步将->替换成空。

 

也可以使用Notepad的列编辑

Alt+Shift+鼠标左键单击

1. 先在第一行的开头点击下
2. 在需要删除的地方同时按下Alt+Shift+鼠标左键
3. 删除所选内容

好了，剩下的就是每一条数据了。

组成JSON格式

json格式：[{},{}]。需要在第一行的开头放[，最后一行的结束位置放]。中间每一行的后面插入“,”

这次是真的好了。在在线JSON校验格式化工具（Be JSON）中校验下就可以使用了。