nutch 1.2问题求解

最新推荐文章于 2021-03-15 01:56:18 发布
最新推荐文章于 2021-03-15 01:56:18 发布
阅读量1.1k 收藏
点赞数
文章标签： nutch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zjx88/article/details/8622031
版权
13/02/28 14:15:32 INFO crawl.Crawl: crawl started in: test
13/02/28 14:15:32 INFO crawl.Crawl: rootUrlDir = testData/urls.txt
13/02/28 14:15:32 INFO crawl.Crawl: threads = 10
13/02/28 14:15:32 INFO crawl.Crawl: depth = 3
13/02/28 14:15:32 INFO crawl.Crawl: indexer=lucene
13/02/28 14:15:32 INFO crawl.Crawl: topN = 10
13/02/28 14:15:32 INFO crawl.Injector: Injector: starting at 2013-02-28 14:15:32
13/02/28 14:15:32 INFO crawl.Injector: Injector: crawlDb: test/crawldb
13/02/28 14:15:32 INFO crawl.Injector: Injector: urlDir: testData/urls.txt
13/02/28 14:15:32 INFO crawl.Injector: Injector: Converting injected urls to crawl db entries.
13/02/28 14:15:32 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
13/02/28 14:15:32 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
13/02/28 14:15:32 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
13/02/28 14:15:32 INFO mapred.FileInputFormat: Total input paths to process : 1
13/02/28 14:15:33 INFO mapred.JobClient: Running job: job_local_0001
13/02/28 14:15:33 INFO mapred.FileInputFormat: Total input paths to process : 1
13/02/28 14:15:33 INFO mapred.MapTask: numReduceTasks: 1
13/02/28 14:15:33 INFO mapred.MapTask: io.sort.mb = 100
13/02/28 14:15:33 INFO mapred.MapTask: data buffer = 79691776/99614720
13/02/28 14:15:33 INFO mapred.MapTask: record buffer = 262144/327680
13/02/28 14:15:33 INFO plugin.PluginRepository: Plugins: looking in: D:\workspace\Nutch1.2\.\plugins
13/02/28 14:15:33 INFO plugin.PluginRepository: Plugin Auto-activation mode: [true]
13/02/28 14:15:33 INFO plugin.PluginRepository: Registered Plugins:
13/02/28 14:15:33 INFO plugin.PluginRepository:  the nutch core extension points (nutch-extensionpoints)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Basic Query Filter (query-basic)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Basic URL Normalizer (urlnormalizer-basic)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Html Parse Plug-in (parse-html)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Basic Indexing Filter (index-basic)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Site Query Filter (query-site)
13/02/28 14:15:33 INFO plugin.PluginRepository:  HTTP Framework (lib-http)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Text Parse Plug-in (parse-text)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Regex URL Filter (urlfilter-regex)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Pass-through URL Normalizer (urlnormalizer-pass)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Http Protocol Plug-in (protocol-http)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Regex URL Normalizer (urlnormalizer-regex)
13/02/28 14:15:33 INFO plugin.PluginRepository:  OPIC Scoring Plug-in (scoring-opic)
13/02/28 14:15:33 INFO plugin.PluginRepository:  CyberNeko HTML Parser (lib-nekohtml)
13/02/28 14:15:33 INFO plugin.PluginRepository:  JavaScript Parser (parse-js)
13/02/28 14:15:33 INFO plugin.PluginRepository:  URL Query Filter (query-url)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Lucene Highlighter Summary Plug-in (summary-lucene)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Regex URL Filter Framework (lib-regex-filter)
13/02/28 14:15:33 INFO plugin.PluginRepository: Registered Extension-Points:
13/02/28 14:15:33 INFO plugin.PluginRepository:  Nutch Summarizer (org.apache.nutch.searcher.Summarizer)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Nutch Protocol (org.apache.nutch.protocol.Protocol)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Nutch Segment Merge Filter (org.apache.nutch.segment.SegmentMergeFilter)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Nutch Analysis (org.apache.nutch.analysis.NutchAnalyzer)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Nutch Field Filter (org.apache.nutch.indexer.field.FieldFilter)
13/02/28 14:15:33 INFO plugin.PluginRepository:  HTML Parse Filter (org.apache.nutch.parse.HtmlParseFilter)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Nutch Query Filter (org.apache.nutch.searcher.QueryFilter)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Nutch Search Results Response Writer (org.apache.nutch.searcher.response.ResponseWriter)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Nutch URL Normalizer (org.apache.nutch.net.URLNormalizer)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Nutch URL Filter (org.apache.nutch.net.URLFilter)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Nutch Online Search Results Clustering Plugin (org.apache.nutch.clustering.OnlineClusterer)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Nutch Indexing Filter (org.apache.nutch.indexer.IndexingFilter)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Nutch Content Parser (org.apache.nutch.parse.Parser)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Nutch Scoring (org.apache.nutch.scoring.ScoringFilter)
13/02/28 14:15:33 INFO plugin.PluginRepository:  Ontology Model Loader (org.apache.nutch.ontology.Ontology)
13/02/28 14:15:33 INFO conf.Configuration: found resource regex-urlfilter.txt at file:/D:/workspace/Nutch1.2/bin/regex-urlfilter.txt
13/02/28 14:15:33 WARN regex.RegexURLNormalizer: can't find rules for scope 'inject', using default
13/02/28 14:15:33 INFO mapred.MapTask: Starting flush of map output
13/02/28 14:15:34 INFO mapred.JobClient:  map 0% reduce 0%
13/02/28 14:15:34 INFO mapred.MapTask: Finished spill 0
13/02/28 14:15:34 INFO mapred.TaskRunner: Task:attempt_local_0001_m_000000_0 is done. And is in the process of commiting
13/02/28 14:15:34 INFO mapred.LocalJobRunner: file:/D:/workspace/Nutch1.2/testData/urls.txt:0+21
13/02/28 14:15:34 INFO mapred.TaskRunner: Task 'attempt_local_0001_m_000000_0' done.
13/02/28 14:15:34 INFO mapred.LocalJobRunner:
13/02/28 14:15:34 INFO mapred.Merger: Merging 1 sorted segments
13/02/28 14:15:34 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 53 bytes
13/02/28 14:15:34 INFO mapred.LocalJobRunner:
13/02/28 14:15:34 INFO mapred.TaskRunner: Task:attempt_local_0001_r_000000_0 is done. And is in the process of commiting
13/02/28 14:15:34 INFO mapred.LocalJobRunner:
13/02/28 14:15:34 INFO mapred.TaskRunner: Task attempt_local_0001_r_000000_0 is allowed to commit now
13/02/28 14:15:34 INFO mapred.FileOutputCommitter: Saved output of task 'attempt_local_0001_r_000000_0' to file:/tmp/hadoop-Administrator/mapred/temp/inject-temp-861851334
13/02/28 14:15:34 INFO mapred.LocalJobRunner: reduce > reduce
13/02/28 14:15:34 INFO mapred.TaskRunner: Task 'attempt_local_0001_r_000000_0' done.
13/02/28 14:15:35 INFO mapred.JobClient:  map 100% reduce 100%
13/02/28 14:15:35 INFO mapred.JobClient: Job complete: job_local_0001
13/02/28 14:15:35 INFO mapred.JobClient: Counters: 13
13/02/28 14:15:35 INFO mapred.JobClient:   FileSystemCounters
13/02/28 14:15:35 INFO mapred.JobClient:     FILE_BYTES_READ=47717
13/02/28 14:15:35 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=96315
13/02/28 14:15:35 INFO mapred.JobClient:   Map-Reduce Framework
13/02/28 14:15:35 INFO mapred.JobClient:     Reduce input groups=1
13/02/28 14:15:35 INFO mapred.JobClient:     Combine output records=0
13/02/28 14:15:35 INFO mapred.JobClient:     Map input records=1
13/02/28 14:15:35 INFO mapred.JobClient:     Reduce shuffle bytes=0
13/02/28 14:15:35 INFO mapred.JobClient:     Reduce output records=1
13/02/28 14:15:35 INFO mapred.JobClient:     Spilled Records=2
13/02/28 14:15:35 INFO mapred.JobClient:     Map output bytes=49
13/02/28 14:15:35 INFO mapred.JobClient:     Map input bytes=21
13/02/28 14:15:35 INFO mapred.JobClient:     Combine input records=0
13/02/28 14:15:35 INFO mapred.JobClient:     Map output records=1
13/02/28 14:15:35 INFO mapred.JobClient:     Reduce input records=1
13/02/28 14:15:35 INFO crawl.Injector: Injector: Merging injected urls into crawl db.
13/02/28 14:15:35 INFO jvm.JvmMetrics: Cannot initialize JVM Metrics with processName=JobTracker, s
最低0.47元/天 解锁文章
zjx88ba
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hadoop 实战之分析专利引用数据集（二）
xiaotom5的专栏
10-19 6557
大家好，今天给大家介绍一下Mapreduce新旧API的改变，并用新的Api的实现了Hadoop 实战之分析专利引用数据集（一）中计算专利引用数据并排序同样的功能 Hadoop最新版本的MapReduce Release 0.20.0的API包括了一个全新的Mapreduce JAVA API，有时候也称为上下文对象。 　　新的API类型上不兼容以前的API，所以，以前的应用程序需要重写才
map和reduce
大JAVA解决方案
03-21 320
20de 1hello 3hua 1kit 3liu 1liudehua 1min 2shu 2tom 3wang 2 WARN - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  INFO - session.id is deprecat...
Hadoop安装指南
sulliy的专栏
11-26 3409
安装环境 OS：Ubuntu Linux 8.0 Java：sun-java 1.6.0.20 Hadoop：hadoop-0.20.2 安装Hadoop之前需要做一些准备工作，系统应该先安装Java和SSH，并且保证sshd一直运行，以便使用Hadoop脚本管理器远端访问Hadoop守护进程。   第一步：安装SSH 使用OpenSSH，在配置好源的情况下，输入如下命令： sud
大数据学习之jdk、入门级hadoop安装
m0_52080234的博客
01-13 511
前言： 本篇文章针对于2020秋季学期的复习操作，一是对该学期的巩固，二是让老师知道他的努力没有白费，同时，在此感谢徐老师对我们的精心教导… 本次需要用到的材料 jdk-8u112-linux-x64.tar.gz jdk官网下载 hadoop-2.7.6.tar.gz hadoop官网下载 清华镜像下载 当然可能低版本下载不到了，没关系以下是我的百度网盘链接可供下载→https://pan.baidu.com/s/1F0dl4368hlWR18mHzoZKwA →t123 前提 打开虚拟机并用fi
Hadoop MapReduce编程 API入门系列之网页排序（二十八）
weixin_34029680的博客
12-13 173
       　　不多说，直接上代码。   Map output bytes=247 Map output materialized bytes=275 Input split bytes=139 Combine input records=0 Combine output records=0 Reduce input groups=4 Reduce s...
nutch1.2 java的project
10-25
1. **导入项目**：在Eclipse中选择“File” > “Import” > “Existing Projects into Workspace”，然后浏览到下载的`nutch1.2+Project`目录，导入项目。 2. **添加库**：确保你的Eclipse环境中已经安装了Apache ...
nutch1.2源码
12-24
Nutch 1.2是该项目的一个稳定版本，提供了许多改进和优化，使得它在搜索引擎构建、数据分析等领域具有广泛应用。 一、Nutch概述 Nutch是由Apache软件基金会开发的开源Web爬虫项目，主要用于抓取互联网上的网页并...
nutch1.2 java project
05-14
8. **监控与调试**：在运行过程中，你可以通过日志文件来监控 Nutch 的运行状态，以及通过修改配置文件来解决遇到的问题。 由于缺少插件，你可能需要自行下载并配置适合你的场景的插件，例如解析 PDF、XML 等非 ...
Nutch 1.2源码阅读
07-19
Nutch 1.2 学习笔记，讲的比较清楚的文档
nutch1.2测试文档
03-20
nutch1.2测试文档
java使用job报错,java-链??接地图减少工作时出错
weixin_39638929的博客
03-15 239
我的地图缩小结构public class ChainingMapReduce {public static class ChainingMapReduceMapperextends Mapper{public void map(Object key, Text value, Context context) throws IOException, InterruptedException {// ...
Hadoop 之Pig的安装的与配置之遇到的问题---待解决
DB2_c的博客
03-11 919
Hadoop 之Pig的安装的与配置之遇到的问题---待解决 1. 前提是hadoop集群已经配置完成并且可以正常启动；以下是我的配置方案： 首先配置vim /etc/hosts 192.168.1.64 xuegod64 192.168.1.65 xuegod65 192.168.1.63 xuegod63 (将配置好的文件拷贝到其他两台机器，我是在xue...
reduce运行到69%就卡住了。。。。肿么办？
zoe_ranxiaosu的博客
01-03 968
19/01/03 14:17:22 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id 19/01/03 14:17:22 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTrac...
Hadoop 实战之分析专利引用数据集（三）
xiaotom5的专栏
10-19 6372
大家好，今天我们在Hadoop 实战之分析专利引用数据集（一）的基础上来实现计算专利被引用的次数 许多外行人认为统计学就是数量统计，并且许多基本的Hadoop Job就是用于统计数量的。我们已经在第一章中看过统计单词个数的例子了。对于那些专利引用数据，我们可能想要知道专利被引用的次数。这也是一种数量统计。我们期望得到如下形式的结果： 1 2   10000 1   100000 1
Hadoop学习笔记（二）设置单节点集群
热门推荐
无知人生，记录点滴
10-07 2万+
本文描述如何设置一个单一节点的 Hadoop 安装，以便您可以快速执行简单的操作，使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS)。
Hadoop 常见错误处理
wisgood的专栏
12-06 2542
【错误1】 12/12/05 23:11:45 INFO mapred.Merger: Down to the last merge-pass, with 2 segments left of total size: 791 bytes 12/12/05 23:11:45 INFO mapred.LocalJobRunner: 12/12/05 23:11:45 WARN mapred
Nutch环境搭建文档
01-14
Nutch是一个开源的网络爬虫和搜索引擎工具，由Doug Cutting于2002年8月发起，最初托管于Sourceforge。经过多年的发展和演变，Nutch已经成为了Apache的顶级项目，并且在整个搜索引擎领域中有着广泛的应用。 在本文档...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值