hadoop
zhuiwenwen
这个作者很懒,什么都没留下…
展开
-
hadoop入门阅读
一、简介 hadoop与其他分布式系统的区别: 其他系统关注于数据的移动,即将需要计算的数据从server端移到client端,然后进行计算,但是当数据量很大的时候,移动数据需要很大的开销 hadoop则是通过移动计算代码到数据所在的机器,在该机器进行运算,然后返回结果,这样就避免了移动数据带来的大开销,客户端发送MapReduce程序进行计算 这些程序都很小,hadoop负责将该程序移到转载 2012-09-29 13:17:20 · 573 阅读 · 0 评论 -
Hadoop在master查看live nodes为0解决方案
对于这些网上的说法已经很多了,主要包括: 1 关闭safemode模式,输入如下命令: bin/hadoop dfsadmin -safemode leave 2 检查存储空间是否足够,输入如下命令: df -hl 3 重新格式化hdfs,按照如下步骤 a) 删除master和所有slave上的 hadoop目录下的logs文件,并重新建立 b) 删除master和所转载 2012-10-18 15:09:51 · 1011 阅读 · 0 评论 -
java实现hbase表创建、数据插入、删除表
近日查看了相关资料后,梳理了一下用java实现hbase的表创建、数据插入、删除表,代码如下: 1、需要的jar包: commons-codec-1.4.jar commons-logging-1.0.4.jar hadoop-0.20.2-core.jar hbase-0.20.6.jar log4j-1.2.15.jar zookeeper-3.2.2.jar 2、代码:转载 2012-10-31 16:47:20 · 871 阅读 · 0 评论 -
Hive与Hbase的区别
Hive是為簡化編寫MapReduce程序而生的,使用MapReduce做過數據分析的人都知道,很多分析程序除業務邏輯不同外,程序流程基本一樣。在這種情況下,就需要Hive這樣的用戶編程接口。Hive本身不存儲和計算數據,它完全依賴於HDFS和MapReduce,Hive中的表純邏輯表,就是些表的定義等,也就是表的元數據。使用SQL實現Hive是因為SQL大家都熟悉,轉換成本低,類似作用的Pig就转载 2013-06-06 19:44:53 · 1709 阅读 · 0 评论 -
Hadoop Tips
大家都在hadoop,但是对它可能只见树木,不见森林。仍然处于迷茫,甚至在 学习的时候,也不知道自己在学什么知识,这个知识在整个hadoop体系中的是什么位置。现在利用hadoop图,为大家整体讲解hadoop. 1. 这一切,都起源自Web数据爆炸时代的来临 2. 数据抓取系统 - Nutch 3. 海量数据怎么存,当然是用分布式文件系统 - HDFS 4.转载 2013-10-31 10:44:26 · 603 阅读 · 0 评论