zjc的专栏

原创 网页抓取

上了数据挖掘这门课，想做个小例子。基本思路是根据配置文件打开相应的网址，再根据内容的分类信息自动选择符合的文章进行保存。考虑到效率，采用多线程方式。才完成一个基本框架。包括读取配置文件、打开网址、保存文件；后续还有很多工作，解析网页，分析类别等。感觉最大的工作量是网页分析，和数据挖掘关系不大啊，不知道符不符合要求。代码如下： public static void main(String[] a