【Nutch】Linux下Nutch分布式配置和使用

Linux下Nutch分布式配置和使用   目   录 介绍. 2 0 集群网络环境介绍. 2 1 /etc/hosts文件配置. 2 2 SSH无密码验证配置. 2 2.1配置所有节点之间SSH无密码验证. 2 3 JDK安装和Java环境变量配置. 3 3.1...

2010-05-24 01:09:00

阅读数:6138

评论数:5

【Nutch】Linux下单机配置Nutch

Linux下单机配置Nutch 1.环境介绍操作系统:Red hat linux 9 Nutch版本:nutch-0.9,下载:http://apache.etoak.com/lucene/nutch/JDK版本:JDK 1.6Apache Tomcat版本:apache-tomcat-6.0.1...

2010-05-24 00:47:00

阅读数:5559

评论数:2

【Hadoop】集群之外的机器如何连接到集群并与HDFS交互,提交作业给Hadoop集群

集群以外的机器如何访问Hadoop集群,并像集群中提交作业和传送数据(1)首先,在机器上安装nutch或者hadoop(2)配置两个文件hadoop-site.xml: fs.default.name hdfs://gc04vm12:9000       mapred.job.tracker gc...

2010-05-24 00:44:00

阅读数:17504

评论数:2

【Nutch】nutch单机和分布式检索测试

(1)单机搜索测试,保证只是单机启动了Nutch搜索时必须配置:http.agent.name、searcher.dir  http.agent.name  nutch-1.0  HTTP User-Agent request header.  http.robots.agents  nutch-...

2010-05-24 00:42:00

阅读数:1989

评论数:0

【Linux】配置linux主机使得可以使用Xmanager的xbrowser登陆图形界面

Xmanager服务器端的配置方法 以上方法来自Xmanager官网,网址http://www.netsarang.com/products/xmg_faq.html,适用于CentOS 5.3平台。 1. XDM Configuration 1. Change runlevel to...

2010-05-24 00:37:00

阅读数:6656

评论数:2

【Nutch】Linux下应用nutch-1.0Web前端实现HDFS数据检索

启动hadoop集群配置/usr/program/apache-tomcat-6.0.18/webapps/nutch-1.0/WEB-INF/classes下的配置文件hadoop-site.xml:        fs.default.name        hdfs://gc03vm12:9...

2010-05-24 00:34:00

阅读数:1021

评论数:0

【Nutch】Linux下应用nutch 1.0 Web前端实现单机检索

nutch的爬虫和搜索可以说是分离的两块,爬虫可以是M/R作业,但搜索不是M/R作业。搜索有两种方式:一是将爬虫数据(或者称索引数据)放在本地硬盘,进行搜索。二是直接搜索HDFS中的爬虫数据。这里介绍如何使用nutch-1.0的WEB前端检索本地爬虫数据:(1)Nutch的搜索可以独立于hadoo...

2010-05-24 00:33:00

阅读数:899

评论数:0

【linux】linux下su命令su cannot set groups Operation not permitted错误

linux下命令su执行出现以下错误su: cannot set groups: Operation not permitted网上都说这个错误是因为/bin/su文件被取消了s位,所以解决方法是 chmod a+s /bin/su我执行命令后发现仍然不能使用su命令,查看/bin/su文件的详细...

2010-05-24 00:30:00

阅读数:10816

评论数:3

【nutch-1.1】nutch-1.1如何使用

从Hadoop技术论坛一个牛人那了解到,nutch-1.1使用的是hadoop-0.20.2,目前nutch-1.1还未发布,但在SVN上能够下载到,http://svn.apache.org/repos/asf/nutch/tags/1.1/用户可以chech out到Nutch-1.1nutc...

2010-05-19 00:04:00

阅读数:1524

评论数:2

【Nutch-1.0】Windows下解决nutch-1.0的Web前端搜索无结果

nutch-1.0命令行中搜索有结果,但是到web前端搜索,始终无结果,无论怎么配置,搜索关键字,一直提示以下令人郁闷的信息:第0-0项 (共有 0 项查询结果)很是郁闷,今天终于解决了。 (1)浏览器解压nutch-1.0.war后修改nutch-site.xml后必须重启tomcat。(每次修...

2010-05-18 23:59:00

阅读数:1836

评论数:3

我在CSDN开博啦!

很想拥有一个很好的博客,永远保存着我的日志,CSDN是一个强大的群体,希望它永远在。今天我选择了CSDN,我也开博啦!

2010-05-17 21:34:00

阅读数:575

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭