hadoop
文章平均质量分 61
12345677654321000000
这个作者很懒,什么都没留下…
展开
-
Hadoop命令大全
1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help2、显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name3、用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output-dir这条命令会显示作业的细节信息,失败和终止的任务细节。转载 2014-06-06 10:15:00 · 546 阅读 · 0 评论 -
apache hadoop 2.7.2 yarn node label测试结果
版本hadoop2.7.2(1)capacity schedule只支持fifo调度策略,cdh或者hdp版本会有支持fair的调度策略,但是社区版目前还不支持。(2)yarn node label 只支持capacity schedule,不支持fair schedule(3)yarn node label社区版功能很不完善,具体表现(3.1)该版本创建分区无法指定是可共享的,即无法指定yarn原创 2017-07-11 10:17:15 · 1443 阅读 · 0 评论 -
hadoop启动cgroups,centos6.5+hadoop2.7.2
centos 6.5 hadoop启用cgroups,yarn的启动用户是hadoop1.centos6.5 需要安装cgroupyum install -y libcgroup遇到的问题,报错groupadd: cannot open /etc/group(1)查看隐藏权限:lsattr /etc/group----i--------e- /etc/group(2)更改隐藏权限:chatt原创 2017-06-27 19:33:34 · 873 阅读 · 0 评论 -
linux cgroup 学习的一些总结
hadoop cgroup, cgroup原创 2017-07-26 15:51:51 · 1032 阅读 · 2 评论 -
hadoop cgroup源码解读
版本:hadoop2.7.2 + centos 6.5现状想要理解hadoop cgroup,首先需要对linux cgroup有一定的了解,yarn目前的调度基于内存和cpu,但是cpu资源并没有像内存资源那样进行了严格的限制,一个container有可以占据很多的cpu资源。启用hadoop cgroup,可以参照我的博客hadoop启用cgroup还有一篇关于cgroup的介绍当前版本hado原创 2017-07-26 18:23:11 · 1319 阅读 · 0 评论 -
hadoop启动bzip2压缩
hadoop启动bzip2压缩在mapr-site.xml mapred.output.compression.codec org.apache.hadoop.io.compress.BZip2Codec If the job outputs are compressed, how should they be compressed?原创 2014-10-23 15:02:10 · 1948 阅读 · 0 评论 -
hadoop2.2.0 centos 编译安装详解
转载地址:http://blog.csdn.net/w13770269691/article/details/16883663分类: hadoop 2013-11-26 14:03 23人阅读 评论(0)收藏 举报hadoop2.2.0废话不讲,直切正题。搭建环境:Centos x 6.4 64bit1、安装JDK我这里用的是64位机,要下载对应转载 2013-11-27 12:46:30 · 2420 阅读 · 3 评论 -
testCompile (default-testCompile) on project hadoop-auth解决办法
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.5.1:testCompile (default-testCompile) on project hadoop-auth: Compilation failure: Compilation failure: [ERROR] /原创 2013-12-28 18:25:05 · 2870 阅读 · 0 评论 -
hadoop中的文件操作 FileSystem
文件路径问题: 本地文件(linux)的路径要写为 file:///开头的,然后加上实际文件路径。例如:file:///home/myhadoop/test 集群中的文件路径为以/开头。例如:/temp/test 命令行操作,以删除为例,在hadoop集群中的任何一台节点上操作: 1.删除集群中的文件 hdfs df原创 2014-01-13 10:41:12 · 1923 阅读 · 0 评论 -
cdh5 源码编译,导入eclipse
操作系统:centos6.4原创 2014-05-29 18:54:27 · 2139 阅读 · 0 评论 -
centos下编译hadoop2.2.0src包
系统环境:centos6.4Final 64位系统步骤1:安装maven3.1步骤2:安装protobuf2.5步骤3:下载hadoop2.2.0源码包,即hadoop-2.2.0-src.tar.gz。说明:hadoop官网上目前只有32位的安装包,而64位的需要自己下载源码包编译。 tar zxvf hadoop-2.转载 2013-11-20 23:07:59 · 1979 阅读 · 1 评论 -
hadoop作业(程序)从1.1.2迁徙到2.2.0
由于工作原因,将之前开发的hadoop1.1.2的程序要修改为2.2.0的。程序主要是作业提交,Mapreduce,JobChain等。 官网说2.0x的兼容1.0x的作业,经过本人测试,发现需要将原来1.1.2的jar包替换为2.2.0的jar包后,便可以在2.2.0上运行。我这边的程序如果不替换jar包的话,提交会出现问题,原因是涉及job的一些类会有变化。原创 2013-11-23 17:05:49 · 735 阅读 · 0 评论 -
HDFS中的文件写入到Mysql,通过DBConfiguration,DBOutputFormat
将HDFS中的文件,通过DBConfiguration,DBOutputormat,写入mysql数据库中。 1.HDFS中文件格式 name1 1 name2 2 name3 3 2.数据库表test格式 两个字段 String name,int原创 2013-11-29 17:56:20 · 2872 阅读 · 1 评论 -
pentaho data integration连接hadoop2.2.0
pdi即kettle,支持hadoop的操作,但是默认支持的是hadoop0.2.0。但是由于我目前所用的是hadoop2.2.0,主要想用pdi来控制hadoop的作业调度。经过几天痛苦的试探过程,目前能够初步实现这个功能。 经本人测试,按照下面修改之后,可以使用transformation中Big Data组件中的Hadoop File Input和Hadoop File Ou原创 2013-12-25 15:03:12 · 2183 阅读 · 7 评论 -
Hadoop(cdh5) File System Shell
英文文档地址,http://archive-primary.cloudera.com/cdh5/cdh/5/hadoop/hadoop-project-dist/hadoop-common/FileSystemShell.html 版本cdh5.0.1概述: FS shell 包含了各种各样的shell命令,可以直接和hdfs进行交互,也可以和其他had翻译 2014-06-05 15:27:39 · 927 阅读 · 0 评论 -
centos安装和配置hadoop2.2.0
Hadoop2.2.0的部署机器环境:操作系统:Centos6.4 64位系统Hadoop版本:hadoop-2.2.0,在centos下自行编译后的64位版本。操作步骤:1.假设共四台机器,每台机器的用户名均设为myhadoop(为了安装配置的方便,另外也是为了权限问题)机器名 IP地址 分配hadoop1 10.172.169.191 namenode,原创 2014-01-02 13:35:41 · 646 阅读 · 0 评论 -
Hadoop2.2.0的Eclipse插件
转载地址:http://blog.csdn.net/twlkyao/article/details/17334693 Hadoop2.2.0还算比较新的,还没有配套的Eclipse插件,在Github上看到有高手编译的插件,就下来编译,可是速度奇慢,还好经过搜索找到了别人根据此Github项目编译生成的插件,拿来分享。此插件还不稳定。 插件下载地址: 1.点转载 2014-01-03 21:27:39 · 871 阅读 · 0 评论 -
hadoop,hive中的mv(rename)操作
系统环境:hadoop2.7.2+hive1.2.1 大约一年多之前,将hive版本从0.14升级到了1.2.1。之后发现新版本在最后一步写入数据的时候,会比以前慢很多。最后发现是由于hive新版本中,默认中间结果文件是在表空间下生成以 .hive-staging_hive_ 开头的文件。以前版本默认是在/tmp/hive下。最后查出来解决办法: 修改配置文件参原创 2017-02-07 17:38:21 · 9524 阅读 · 1 评论