数据治理之敏感数据探查

1.开发背景

      由于各种原因，在实际生产环境中Mysql或者其他的业务库，有很多敏感数据并没有加密，同样，业务库数据同步到Hive仓库后也并没有加密，这样就存在数据安全问题，但是由于涉及到的库和表太多，用人工去排查显然是不符合实际的，所以急需开发这样一套程序去对进行排查。

2.开发目标

       能够把每个库每个表中可能包含敏感信息的字段找出来并存储在Mysql中(敏感信息包括身份证，手机号，邮箱，银行卡号等),并以邮件的形式通知给对应负责人及时进行处理。如果负责人确认该字段不是敏感字段，无需加密，则需要把该表的该字段加入白名单，下次扫描的时候就会自动忽略

3.使用技术

第一版：java hive mysql

升级版：sparksql  sparkcore hive mysql  datax python

流程图：

分析

每个表中随机抽取20条数据，对这些数据的每个字段根据相关正则进行匹