hadoop
zhuiwenwen
这个作者很懒,什么都没留下…
展开
-
hadoop入门阅读
一、简介hadoop与其他分布式系统的区别:其他系统关注于数据的移动,即将需要计算的数据从server端移到client端,然后进行计算,但是当数据量很大的时候,移动数据需要很大的开销hadoop则是通过移动计算代码到数据所在的机器,在该机器进行运算,然后返回结果,这样就避免了移动数据带来的大开销,客户端发送MapReduce程序进行计算这些程序都很小,hadoop负责将该程序移到转载 2012-09-29 13:17:20 · 582 阅读 · 0 评论 -
Hadoop在master查看live nodes为0解决方案
对于这些网上的说法已经很多了,主要包括:1 关闭safemode模式,输入如下命令:bin/hadoop dfsadmin -safemode leave2 检查存储空间是否足够,输入如下命令:df -hl3 重新格式化hdfs,按照如下步骤a) 删除master和所有slave上的 hadoop目录下的logs文件,并重新建立b) 删除master和所转载 2012-10-18 15:09:51 · 1018 阅读 · 0 评论 -
java实现hbase表创建、数据插入、删除表
近日查看了相关资料后,梳理了一下用java实现hbase的表创建、数据插入、删除表,代码如下:1、需要的jar包:commons-codec-1.4.jarcommons-logging-1.0.4.jarhadoop-0.20.2-core.jarhbase-0.20.6.jarlog4j-1.2.15.jarzookeeper-3.2.2.jar 2、代码:转载 2012-10-31 16:47:20 · 888 阅读 · 0 评论 -
Hive与Hbase的区别
Hive是為簡化編寫MapReduce程序而生的,使用MapReduce做過數據分析的人都知道,很多分析程序除業務邏輯不同外,程序流程基本一樣。在這種情況下,就需要Hive這樣的用戶編程接口。Hive本身不存儲和計算數據,它完全依賴於HDFS和MapReduce,Hive中的表純邏輯表,就是些表的定義等,也就是表的元數據。使用SQL實現Hive是因為SQL大家都熟悉,轉換成本低,類似作用的Pig就转载 2013-06-06 19:44:53 · 1715 阅读 · 0 评论 -
Hadoop Tips
大家都在hadoop,但是对它可能只见树木,不见森林。仍然处于迷茫,甚至在 学习的时候,也不知道自己在学什么知识,这个知识在整个hadoop体系中的是什么位置。现在利用hadoop图,为大家整体讲解hadoop.1. 这一切,都起源自Web数据爆炸时代的来临2. 数据抓取系统 - Nutch3. 海量数据怎么存,当然是用分布式文件系统 - HDFS4.转载 2013-10-31 10:44:26 · 609 阅读 · 0 评论