- 博客(4)
- 资源 (1)
- 收藏
- 关注
原创 MapReduce 作业提交执行过程代码分析(Hadoop 1.2.1)
MR工作过程大致分为以下几步:1:作业配置2:提交作业 2.1:从JobTracker获取新的JobID。2.2:将该Job相关的资源(jar,libjars)发送到JobTracker。2.3:计算输入分片。2.4:将job.xml发送到JobTrack。这样就将Job发送给JobTracker。3:作业初始化3.1:将接收到的Job放到队列中并生成与之对应的
2016-03-30 19:06:22
350
转载 Hadoop的namenode datanode无法启动
namenode没有启动最近遇到了一个问题,执行start-all.sh的时候发现JPS一下namenode没有启动 每次开机都得重新格式化一下namenode才可以 其实问题就出在tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失 于是我们得重新配置一个tmp文件目录
2016-03-15 13:55:26
265
原创 ssh localhost 老是要输入密码
问题描述:在Ubuntu 下安装 ssh 和设置免密码登录后,ssh 127.0.0.1 和 ip 地址都不用输出密码,可以直接登录,但是ssh localhost 却需要输入密码.解决方法:在 /etc/hosts 里面没有配置 127.0.0.1 localhost 映射,Ubuntu 默认将 localhost 匹配 ipv6 的 地址
2016-03-15 10:51:43
1247
转载 hadoop默认参数
1 常用的端口配置1.1 HDFS端口 参数描述默认配置文件例子值fs.default.name namenodenamenode RPC交互端口8020core-site.xmlhdfs://
2016-03-15 10:41:29
235
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人