hadoop
文章平均质量分 64
zhaoyue007101
这个作者很懒,什么都没留下…
展开
-
Mahout 一种结合Hadoop的机器学习方法库
IBM的一个介绍此方法的博客http://www.ibm.com/developerworks/cn/java/j-mahout/#N103E4原创 2012-08-26 18:01:49 · 1059 阅读 · 0 评论 -
Nutch 学习笔记2 - 查看抓取的文件
http://z60014840.blog.163.com/blog/static/36372889201332085636597/查看抓取后的文件夹ls data -- 有3个文件夹crawldb linkdb segmentsls data/crawldb -- 有2个文件夹:current old。其中old 做冗余备份原创 2015-11-10 12:36:26 · 667 阅读 · 0 评论 -
如何调试nutch
【必须】导入nutch项目时其conf文件下的所有配置文件需要加入到classPath中右键conf -> Build Path -> Use as Source Folder在运行时如发生异常:x point org.apache.nutch.net.URLNormalizer not found.注:这是配置造成的,是插件目录的配置没有正确,修改conf/n原创 2015-11-10 11:15:54 · 710 阅读 · 0 评论 -
在Hadoop上部署nutch 及nutch相关
nutch启动入口,bin/crawl 调用 bin/nutch。nutch系列学习笔记,详细解读nutch每个tool:http://blog.csdn.net/gobitan/article/category/284793原创 2015-11-04 11:26:53 · 2199 阅读 · 0 评论 -
hadoop 1.03 安装配置
环境:操作系统Centos 5.5 64-bit三台节点,计划部署分配如下: ip 主机名 用途172.16.48.201 sg201 namenode 172.16.48.202 sg202 datanode172.16.48.203 sg203 datanode转载 2013-05-20 13:18:48 · 735 阅读 · 0 评论 -
Hadoop添加删除节点
添加节点1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 3.在新节点的机器上,启动服务 [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode[root@转载 2013-05-20 20:19:44 · 514 阅读 · 0 评论 -
hadoop编译错误处理方法
http://dongxicheng.org/mapreduce/mapreduce/hadoop-streaming-programming/http://www.happylivelife.com/view/?hd=map%20reduce&o=http://www.happylivelife.com/r/?id=66http://www.myexception.cn/ai/921原创 2013-03-22 10:33:35 · 752 阅读 · 0 评论 -
Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
分类: 分布式框架 hadoop2012-01-06 10:17 1135人阅读 评论(4) 收藏 举报服务器hadoop测试网络hadoop在使用的过程中出现了这样的错误。解决方式,修改datanode节点里/etc/hosts文件。操作的详细步骤如下:首先查看主机名称cat /proc/sys/kernel/hostname简单介绍下hosts格式转载 2013-03-07 14:17:35 · 1328 阅读 · 0 评论 -
MapReduce:详解Shuffle过程
Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火,所以在这里原创 2013-02-24 15:13:21 · 391 阅读 · 0 评论 -
Hadoop Streaming和Pipes会意
原始问题的引出见:http://bbs.hadoopor.com/viewthread.php?tid=542在论坛里搜查了下,觉察了两篇利用C/C++编写mapreduce的文章.如下:http://bbs.hadoopor.com/thread-256-1-1.htmlhttp://bbs.hadoopor.com/thread-420-1-2.html一. 其中,利用stre原创 2013-02-23 17:46:05 · 1105 阅读 · 3 评论 -
Hadoop 文件命令 kill job
* 文件操作 * 查看目录文件 * $ hadoop dfs -ls /user/cl * * 创建文件目录 * $ hadoop dfs -mkdir /user/cl/temp * * 删除文件 * $ hadoop dfs -rm /user/cl/temp/a.txt * * 删除目录与目录下所有文件 * $ hadoop dfs -rmr /u转载 2013-03-05 15:25:35 · 29359 阅读 · 0 评论 -
hadoop libdai 常用指令
/opt/hadoop-1.0.4/bin/hadoop namenode -format/opt/hadoop-1.0.4/bin/stop-all.sh/opt/hadoop-1.0.4/bin/start-all.sh 安全模式hadoop dfsadmin -safemode leave放sample.txthadoop fs -rm sample.原创 2013-01-26 13:24:19 · 669 阅读 · 0 评论 -
Hadoop启动异常:UnregisteredDatanodeException datanode没全启动起来
启动Hadoop集群测试HBase时候,发现三台DataNode只启动成功了两台,未启动成功的那一台日志中出现了下列异常: 写道2012-09-07 23:58:51,240 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: DataNode is shutting down: org.apache.hadoop.i原创 2013-03-04 16:17:47 · 1671 阅读 · 0 评论 -
在hadoop下如何进行c++开发【入门版】
http://www.linuxidc.com/Linux/2012-07/65969.htm如果遇到authenticate问题请参考http://www.myexception.cn/ai/921448.html然后再执行下列步骤同时注意参考http://www.happylivelife.com/view/?hd=map%20reduce&o=http://w原创 2013-01-23 21:37:40 · 634 阅读 · 0 评论 -
hadoop常用命令
启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh 1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件转载 2013-01-23 16:33:55 · 396 阅读 · 0 评论 -
hadoop单机版安装的配置文件们
hadoop单机版安装时,如果datanode没有激动起来,可以按照以下步骤操作,然后重新启动。把你hdfs文件夹中的data和name两个文件夹删掉,然后$hadoop namenode -format一下,再启动。core-site.xml 1 2 3 4 5 6 7 8 fs.default.name 9原创 2013-01-23 12:31:22 · 549 阅读 · 0 评论 -
Nutch 查看抓取的文件
ls data -- 有3个文件夹crawldb linkdb segmentsls data/crawldb -- 有2个文件夹:current old。其中old 做冗余备份ls data/crawldb/current/ -- part-00000 ,由hadoop reduce 生成的文件夹原创 2015-11-11 12:14:49 · 2124 阅读 · 0 评论