安全数据集和开源工具

    由于本人从事安全相关的行业的工作，接触到很多想用机器学习解决网络安全相关的问题，不可避免的需要用到很多安全相关的开源数据集和工具，这里记录一下本人自己用过并感觉不错的数据集和开源工具。当然，这可能只是安全领域数据集和开源工具极小的一部分，希望能起到抛砖引玉的目的吧，本人后续也会不断更新。

 1. 安全数据集

    对于安全数据集，已经有行业从业者不辞辛劳的总结的很完善了，这里给出两个我看到的汇总网址：

        网络安全中机器学习大合集

        SecRepo.com - Samples of Security Related Data

        安全联盟曝光台

   其中，对于“安全联盟的曝光台”，安全联盟是由知道创宇、腾讯等互联网企业于2012年发起的第三方公益组织，自成立以来，通过与12321举报中心、腾讯、搜狗、金山等上百家机构、企业合作，通过发动群众参与网络治理，安全联盟已建成国内最大的第三方网络安全数据共享交换平台，日平均共享数据4500万次，每日接收网民举报超5000条，截止目前已拥有超过8.9亿条恶意网址、电话数据。这些恶意数据被应用到搜索引擎、浏览器、IM、社交平台、路由器OS等互联网终端，每天为网民提供超过30亿次恶意风险提醒，极大程度地帮助网民远离网络诈骗。 

   这里面包罗万象，我第一次看到感觉如获至宝，感觉发现了一座金矿，紧接着又有点傻眼，这个金矿应该怎么挖？我的答案是当然是站在前人的肩膀上，多利用前辈们的智慧啦。个人建议买一本《Web安全之机器学习入门》并下载随书代码，这本书里面列举了用机器学习方法解决典型的各种网络安全问题，上面列举的很多数据集都可以用在这里面，能帮你迅速上手并判断是否有深入使用和研究的价值。当然更棒的是，这本书里也列举了一些网络安全领域的公开数据集，与上面汇总帖里的数据集互为补充，能为你在开始一个网络安全领域的机器学习项目提供快速的建模手段。

    说完汇总，我也列一下我在机器学习项目里使用过数据集：

    恶意url: http://www.sysnet.ucsd.edu/projects/url/
An anonymized 120-day subset of our ICML-09 data set is available from the following links:

• URL Data Set (Matlab) (470 MB)