自然语言处理的数据集（语料库）制作

      最近在做一些敏感内容检测的研究工作。 苦于数据集缺乏，折腾了很久后发现没有合适的数据集可供使用，遂决定自行开发数据集，并期望在这个数据集上发一系列的文章。

      查看了很多资料后发现网上大部分资料描述的数据制作方法都不是一个完整的方案，查阅了一些论文和书籍后发现，目前最好的参考资料是 James Pusterjovsky 等著的《面向机器学习的自然语言标注》，机械工业出版社，2017版。

本书讲述了 自然语言语料标注，语料库分析以及机器学习等知识，给大家成体系地讲述了数据集制作的一般方法与流程。

 

按我目前的需求，正在进行第一步：

 

１．　数据抓取

2.   数据清理 

3.  模型验证

4. 数据评价