hadoop
jack-zhu
这个作者很懒,什么都没留下…
展开
-
Hadoop无法解决的问题
Hadoop无法解决的问题因为项目的需要,学习使用了Hadoop,和所有过热的技术一样,“大数据”、“海量”这类词语在互联网上满天乱飞。Hadoop是一个非常优秀的分布式编程框架,设计精巧而且目前没有同级别同重量的替代品。另外也接触到一个内部使用的框架,对于Hadoop做了封装和定制,使得更满足业务需求。我最近也想写一些Hadoop的学习和使用心得,但是看到网上那么泛滥的文章,转载 2013-12-10 12:13:37 · 939 阅读 · 0 评论 -
Hadoop 2.6.0单节点安装参考
1.环境说明 本例介绍了hadoop 2.6.0在单节点上的分布式安装方法。 在安装Hadoop前,请确保你的机器上已安装了JDK 1.7或更高版本,并配置了SSH无密码登陆本机。如果还没有设置SSH无密码登陆本机,可以通过如下一句长命令搞定: rm -rf ~/.ssh;ssh-keygen -t rsa;chmod 700 ~/.ssh;more ~/.ssh/id原创 2014-12-22 10:28:25 · 3109 阅读 · 0 评论 -
Hadoop 2.6.0分布式部署参考手册
Hadoop 2.6.0分布式部署参考手册关于本参考手册的word文档,可以到如下地址下载:http://download.csdn.net/detail/u012875880/82853231.环境说明1.1安装环境说明本列中,操作系统为Centos 7.0,JDK版本为Oracle HotSpot 1.7,Hadoop版本为Apache Hadoop 2.6.0原创 2014-12-22 11:23:15 · 7306 阅读 · 3 评论 -
使用hadoop ecipse插件需要注意的问题
1.关于run on hadoop的问题:在未用hadoop eclipse插件前,我以为通过hadoop eclipse 插件不但可以管理hdfs,还可以自动打包程序,并帮我自动设置Configuration对象的mapred.jar属性值。但用了之后,才发现,这个插件只能管理hdfs,至于打包程序等操作,还得自己手动进行。我用的hadoop 版本为1.2.1,hadoop eclipse插原创 2014-11-20 10:51:41 · 1646 阅读 · 0 评论 -
Hadoop源码阅读环境搭建
Hadoop源码阅读环境搭建一、说明作为一个学习hadoop的同学,必须在本机上搭建hadoop源码阅读环境,这样,在方便阅读源码的同时也方便进行调试和源码修改。好了,下面开始搭建环境。1.环境说明:hadoop 版本:1.2.1、 IDE:eclipse、操作系统:centos 2.网上有人是通过eclipse的新建项目指定目录的方式将hadoop目录转换成Eclip原创 2014-11-19 16:53:57 · 5177 阅读 · 1 评论 -
hadoop eclipse插件生成
hadoop eclipse插件生成做了一年的hadoop开发,还没有自己主动生成过eclipse插件,一直都是在网上下载别人的用,今天有时间,就把这段遗憾补回来,自己生成一下,废话不说,开始了。一、环境说明本列中的hadoop eclipse插件通过eclipse生成(未使用命令生成是因为用命令生成插件过程中发生的一些问题,不容易查看和修改,用eclipse很直观,方便出错校正)原创 2014-11-13 16:36:15 · 2080 阅读 · 0 评论 -
Hadoop集群管理之内存管理
1、内存 Hadoop为各个守护进程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)统一分配的内存在hadoop-env.sh中设置,参数为HADOOP_HEAPSIZE,默认为1000M。 大部分情况下,这个统一设置的值可能并不适合。例如对于namenode节点,1000M的内存只能存储几百万个文转载 2014-07-27 15:28:36 · 1094 阅读 · 0 评论 -
Hadoop伪分布式安装
Hadoop伪分布式安装原创 2014-05-11 14:30:18 · 861 阅读 · 0 评论 -
认识org.apache.hadoop.io.compress解码器/编码器
认识org.apache.hadoop.io.compress解码器/编码器编码器和解码器用以执行压缩解压算法。在Hadoop里,编码/解码器是通过一个压缩解码器接口实现的。因此,例如,GzipCodec封装了gzip压缩的压缩和解压算法。下表列出了Hadoop可用的编码/解码器。 压缩格式 Hadoop压缩编码/解码器DEFLATE原创 2014-03-23 15:28:14 · 5422 阅读 · 0 评论 -
lzo压缩之配置文件与程序对应关系
lzo压缩之配置文件与程序对应关系1.core-site.xml中的: io.compression.codecs org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.had原创 2014-03-23 16:05:59 · 2099 阅读 · 0 评论 -
MapReduce输入输出
MapReduce输入输出作业的输入InputFormat 为Map/Reduce作业描述输入的细节规范。Map/Reduce框架根据作业的 InputFormat 来:检查作业输入的有效性。把输入文件切分成多个逻辑 InputSplit 实例, 并把每一实例分别分发给一个 Mapper 。提供 RecordReader 的实现,这个RecordReade原创 2014-03-23 15:31:23 · 1150 阅读 · 0 评论 -
Hadoop集群安装参考
Hadoop集群安装参考一、说明1.安装环境说明: 操作系统为Centos 6.4,安装的hadoop 版本为0.20.2-cdh3u62.安装后的集群环境说明:集群内共6台机器,分别为namenode、secondnamenode、jobtrack、datanode(三个节点),参考如下:namenode节点: 192.168.8.67(原创 2014-05-04 17:33:04 · 1088 阅读 · 0 评论 -
Hadoop都2了 大数据应用会迈上一个新台阶吗
Hadoop都2了 大数据应用会迈上一个新台阶吗Apache软件基金会终于推出了最新的Hadoop2数据分析平台,从而引发了舆论对大数据演进大飞跃的美好憧憬,此前我曾经写过“Hadoop就是大数据应用又何妨”一文,对国内大数据市场现状进行了分析。AD:2013云计算架构师峰会课程资料下载Apache软件基金会终于推出了最新的Hadoop2原创 2014-02-10 14:05:57 · 1301 阅读 · 0 评论 -
十八款Hadoop工具帮你驯服大数据
十八款Hadoop工具帮你驯服大数据 【2013年12月12日 51CTO外电头条】Hadoop已经通过自身的蓬勃发展证明,它不仅仅是一套用于将工作内容传播到计算机群组当中的小型堆栈--不,这与它的潜能相比简直微不足道。这套核心的价值已经被广泛证实,目前大量项目如雨后春笋般围绕它建立起来。有些项目负责数据管理、有些负责流程监控、还有一些则提供先进的数据存储机制原创 2013-12-13 09:13:30 · 1169 阅读 · 0 评论 -
大数据安全: Hadoop安全模型的演进
大数据安全: Hadoop安全模型的演进 敏感信息的安全和保护是当今人们最关心的问题之一。进入大数据时代,很多组织都在从各种源头收集数据,进行分析,并基于对海量数据集的分析做出决策,因此这一过程中的安全问题变得愈发重要。与此同时,HIPAA和其他隐私保护法之类的法律法规也要求组织加强对这些数据集的访问控制和隐私限制。来自内部和外部攻击者的网络安全漏洞与日俱原创 2013-12-13 09:14:58 · 1795 阅读 · 0 评论 -
后Hadoop时代的大数据架构
后Hadoop时代的大数据架构提到大数据分析平台,不得不说Hadoop系统,Hadoop到现在也超过10年的历史了,很多东西发生了变化,版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代,这不是说不用Hadoop,而是像NoSQL (Not Only SQL)那样,有其他的选型补充。我在知乎上也写过Hadoop的一些入门文章 如何学习Hadoop - 董转载 2015-05-02 13:41:04 · 1744 阅读 · 1 评论