nutch1.9--nutch安装记录

nutch 安装记录

1.安装windows下的linux模拟环境Cygwin

2.下载nutch并解压

3.在Cygwin中进入nutch解压缩目录，使用命令cd /cygdrive/e/nutch1.1 （cygdrive是cygwin进入盘符的命令）

4.运行bin/nutch查看是否可以成功运行

5.在nutch目录下建立urls/seeds.txt文件，存放种子url

6.在conf/regex-urlfilter.txt配置过滤url
+ 表示按照此规则抓取页面
- 表示按照此规则去除页面

7.相关配置在nutch-site.xml中，nutch-site.xml的节点会覆盖nutch-default.xml中的节点

8.需要的配置节点名：

fetcher.maxNum.threads 配置最大线程数

fetcher.queue.depth.multiplier 深度乘数 队列的深度是线程的数目乘以该参数的值

http.proxy.host 配置代理服务器 host port username password

parser.skip.truncated 配置是否分段返回

parser.character.encoding.default 配置字符集编码

9.启动爬取 ./bin/crawl ./urls/seed.txt ./TestCrawl 5
命令 种子文件夹 存放目录 遍历轮数

10.抓取结束后会生成三个文件夹 crawldb linkdb segments

crawldb linkdb 保存当前抓取的链接和待抓取的链接。

segments存放抓取的结果，按日期定义文件夹

–注意：新的抓取需要使用新的文件夹，否则crawldb linkdb会影响抓取

11.注意，发布版需要用hadoop1.2.1的jar包替换掉hadoop1.2.0的jar包，否则无法抓取

12.统计命令

bin/nutch readseg -list -dir TestCrawl/segments/ 数据统计

bin/nutch readdb TestCrawl3/crawldb/ -dump crawldb3 查看抓取的url

bin/nutch readseg -dump TestCrawl6/segments/20150819140107 segdb6 导出抓取的文件