数据采集分析

数据采集​​分析
目的：获取最有用，最有价值的信息，分析判断其经济价值
思路如下：
1.范围大：采集范围尽可能大些，如果太小影响获取信息价值，达不到采集的效果
方法：把规则尽可能匹配范围大些（特殊要求除外）
2.时间：采集时间尽可能保证24小时以上，区分工作日与休息日
3.去重sguid/IP，去除无效信息。（例如，.js / .css /.jgp/.png ...等）
方法：使用正则或是sql语句剔除无效的

4.分类：对采集到的信息进行分类，对不同类的URL要手工检测下网址（或使用蟒获取其标题信息）

对敏感信息网址不予跳转（防止误操作导致跳转）