Win7环境下配置nutch-1.2
Step1:安装jdk
网上已有许多很好的教程了,这里不再赘述,只是强调两点
-
Jdk的安装路径中不能有中文
-
Jdk的安装路径中不能有空格
Step2:安装tomcat
网上已经有许多成熟的教程了,不再赘述了。Apache-tomcat官网:http://tomcat.apache.org/
Step3:安装cygwin
Cygwin官网:http://www.cygwin.com/
Cygwin安装文件:http://www.cygwin.com/install.html
Cygwin其实就是一个*nix系统的虚拟机(和ubuntu下的wine功能恰好相反)。由于nutch是用java编写的在*nix系统上运行了,为了能够在Windows系统上Run,所以就需要cygwin搭建一个*nix系统的模拟环境。
Cygwin的具体安装过程没什么好说的,下载在安装文件setup.exe后,就点击“下一步”就OK了。只是提醒:cygwin的安装目录需是磁盘根目录,(尽量是默认配置就OK)。
Step4:安装和配置nutch-1.2
Nutch-1.2的下载链接:http://archive.apache.org/dist/nutch/(选择:apache-nutch-1.2-bin.zip)
-
下载完成后将其解压到目录:D:\Code\nutch-1.2(可以自定义)
-
运行step3安装的Cygwin;输入命令将当前目录切换至nutch-1.2目录下;
只需输入cd,然后将nutch-1.2目录拖进cygwin窗口,按下enter。
-
Nutch-1.2的安装测试,在cygwin窗口输入:bin/nutch。
如果出现Usage:nutch[-core] COMMAND等一串信息就表示nutch安装成功。
Step5:测试nutch-1.2的爬虫功能
-
设置系统变量NUTCH_JAVA_HOME,
它的值就是java的安装目录,例如:C:\Java\jdk1.7.0_17 -
设置需要抓取的网站主域名。
在Nutch-1.2的安装目录下建立一个名为urls的文件夹,并在文件夹下建立url.txt文件,在文件中写入:http://www.sohu.com/(即要抓取网站的网址,注意最后要加斜杠)。 -
设置网站过滤规则。
编辑conf/crawl-urlfilter.txt文件,修改MY.DOMAIN.NAME部分。
将
# accept hosts in MY.DOMAIN.NAME
+^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/
改为:
# accept hosts in MY.DOMAIN.NAME
+^http://([a-z0-9]*\.)*sohu.com/ -
设置代理信息。
编辑conf/nutch-site.xml文件。在<configuration>和</configuration>之间添加如下内容:
<property>
<name>http.agent.name</name>
<value>http://www.sohu.com/</value>
</property>
<property>
<name>http.agent.url</name>
<value>http://www.sohu.com/</value>
</property>
<property>
<name>http.robots.agents</name>
<value>http://www.sohu.com/</value>
</property>
-
设置代理名
编辑nutch-1.2\conf\nutch-default.xml文件,找<name>http.agent.name</name>,然后随便设置Value值。例如:
-
运行crawl爬虫命令抓取内容
运行cygwin后,
a)首先切换进入nutch-1.2的目录;
b)运行命令:export LANG="zh_CN.GBK"(设置linux环境变量)
c)运行命令:bin/nutch crawl urls -dir crawled -depth 4 -threads 3-topN 30
crawl 是nutch检索数据命令,后面跟上要检索的URL文件;
-dir指定抓取内容所存放的目录;
-depth表示以要抓取网站顶级网址为起点的爬行深度;
-threads指定并发的线程数;
-topN抓取时每页的最大抓取链接。
-
运行结果
nutch-1.2的目录下多了个crawled目录,下面有文件如下:
Step6:测试nutch-1.2的检索功能
主要在Apache-tomcat目录进行操作,以apache-tomcat-7.039为例:
-
进入apache-tomcat-7.0.39目录,将webapps/root文件夹重命名或删除。
-
将nutch-1.2目录下的nutch-1.2.war复制到apache-tomcat-7.0.39\webapps目录下,并重命名为:ROOT.war。
-
启用apache-tomcat,运行\apache-tomcat-7.0.39\bin\startup.bat
-
在浏览器中输入http://localhost:8080/;
-
此时\apache-tomcat-7.0.39\webapps\目录下就会出现一个ROOT文件夹。
编辑\apache-tomcat-7.0.39\webapps\ROOT\WEB-INF\classes\nutch-site.xml,如下图所示:
红色框就是“step5:测试nutch-1.2的检索功能”中爬虫爬出来的数据文件夹。 -
解决中文乱码问题,编辑\apache-tomcat-7.0.39\conf\server.xml文件,找到Connector部分,设置为:
<Connectorport="8080"
maxThreads="150"
minSpareThreads="25"
maxSpareThreads="75"
enableLookups="false"
redirectPort="8443"
acceptCount="100"
connectionTimeout="20000"
disableUploadTimeout="true"
URIEncoding="UTF-8"
useBodyEncodingForURI="true"/>
如下图所示:
-
再次启用apache-tomcat,重新运行\apache-tomcat-7.0.39\bin\startup.bat
-
在浏览器中输入http://localhost:8080/;结果如图所示: