- 博客(11)
- 资源 (30)
- 收藏
- 关注
原创 【Nutch】Linux下Nutch分布式配置和使用
Linux下Nutch分布式配置和使用 目 录介绍.20集群网络环境介绍.21 /etc/hosts文件配置.22 SSH无密码验证配置.22.1配置所有节点之间SSH无密码验证.23 JDK安装和Java环境变量配置.33.1安装 JDK 1.633.2 Java环境变量配置.44 Hadoop集群配置.
2010-05-24 01:09:00 6628 3
原创 【Nutch】Linux下单机配置Nutch
Linux下单机配置Nutch 1.环境介绍操作系统:Red hat linux 9 Nutch版本:nutch-0.9,下载:http://apache.etoak.com/lucene/nutch/JDK版本:JDK 1.6Apache Tomcat版本:apache-tomcat-6.0.18http://apache.etoak.com/tomcat/t
2010-05-24 00:47:00 5955 2
原创 【Hadoop】集群之外的机器如何连接到集群并与HDFS交互,提交作业给Hadoop集群
集群以外的机器如何访问Hadoop集群,并像集群中提交作业和传送数据(1)首先,在机器上安装nutch或者hadoop(2)配置两个文件hadoop-site.xml: fs.default.name hdfs://gc04vm12:9000 mapred.job.tracker gc04vm12:9001 (3)这样便能执行命令,查看集群状态,向集群提交作业(4
2010-05-24 00:44:00 21176 2
原创 【Nutch】nutch单机和分布式检索测试
(1)单机搜索测试,保证只是单机启动了Nutch搜索时必须配置:http.agent.name、searcher.dir http.agent.name nutch-1.0 HTTP User-Agent request header. http.robots.agents nutch-1.0,* The agent strings well look f
2010-05-24 00:42:00 2156
原创 【Linux】配置linux主机使得可以使用Xmanager的xbrowser登陆图形界面
Xmanager服务器端的配置方法以上方法来自Xmanager官网,网址http://www.netsarang.com/products/xmg_faq.html,适用于CentOS 5.3平台。1. XDM Configuration 1. Change runlevel to 5 Open/etc/inittab and set the initial runlev
2010-05-24 00:37:00 7534 2
原创 【Nutch】Linux下应用nutch-1.0Web前端实现HDFS数据检索
启动hadoop集群配置/usr/program/apache-tomcat-6.0.18/webapps/nutch-1.0/WEB-INF/classes下的配置文件hadoop-site.xml: fs.default.name hdfs://gc03vm12:9000 nutch-site.xml: http.agent.n
2010-05-24 00:34:00 1162
原创 【Nutch】Linux下应用nutch 1.0 Web前端实现单机检索
nutch的爬虫和搜索可以说是分离的两块,爬虫可以是M/R作业,但搜索不是M/R作业。搜索有两种方式:一是将爬虫数据(或者称索引数据)放在本地硬盘,进行搜索。二是直接搜索HDFS中的爬虫数据。这里介绍如何使用nutch-1.0的WEB前端检索本地爬虫数据:(1)Nutch的搜索可以独立于hadoop集群,只要将爬虫下来的数据copy到任何机器,在此机器上安装一个tomcat,并运行nutch自带的
2010-05-24 00:33:00 1033
原创 【linux】linux下su命令su cannot set groups Operation not permitted错误
linux下命令su执行出现以下错误su: cannot set groups: Operation not permitted网上都说这个错误是因为/bin/su文件被取消了s位,所以解决方法是 chmod a+s /bin/su我执行命令后发现仍然不能使用su命令,查看/bin/su文件的详细情况[root@gc03vm12 ~]# ll /bin/su-rwsr-sr-x 1 nutc
2010-05-24 00:30:00 16239 3
原创 【nutch-1.1】nutch-1.1如何使用
从Hadoop技术论坛一个牛人那了解到,nutch-1.1使用的是hadoop-0.20.2,目前nutch-1.1还未发布,但在SVN上能够下载到,http://svn.apache.org/repos/asf/nutch/tags/1.1/用户可以chech out到Nutch-1.1nutch-1.1要正常运行要首先这样做:(1) nutch-default.xml下的plugin.
2010-05-19 00:04:00 1694 1
原创 【Nutch-1.0】Windows下解决nutch-1.0的Web前端搜索无结果
nutch-1.0命令行中搜索有结果,但是到web前端搜索,始终无结果,无论怎么配置,搜索关键字,一直提示以下令人郁闷的信息:第0-0项 (共有 0 项查询结果)很是郁闷,今天终于解决了。 (1)浏览器解压nutch-1.0.war后修改nutch-site.xml后必须重启tomcat。(每次修改Nutch-site.xml后请重启tomcat,再搜索)nutch-site.xm
2010-05-18 23:59:00 2024 3
Organizing Business Knowledge The MIT Process Handbook
2014-10-08
Oracle 11g R2 for Linux X64 OCCI
2011-12-07
Linux下Hadoop分布式配置和使用
2010-05-28
Ubuntu 8.10下Hadoop-0.20.1集群配置详细手册
2010-03-25
wamp server 5集成开发环境
2009-12-04
【server 2003系统下】Eclipse下实现Java和sql server/Oracle连接详细步骤说明
2009-04-10
C#最长匹配算法切词程序(信息检索)
2009-04-10
基于asp+Access的大中型论坛
2009-04-10
ETL过程概念建模好资料
2009-04-04
基于UML的ETL过程建模方法
2009-04-03
基于.NET的网上电子商城
2009-03-23
基于vb6.0+sql server 2000 的图书管理系统
2009-02-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人