- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MapReduce 作业提交执行过程代码分析（Hadoop 1.2.1）
MR工作过程大致分为以下几步：1：作业配置2：提交作业 2.1：从JobTracker获取新的JobID。2.2：将该Job相关的资源（jar，libjars）发送到JobTracker。2.3：计算输入分片。2.4：将job.xml发送到JobTrack。这样就将Job发送给JobTracker。3：作业初始化3.1：将接收到的Job放到队列中并生成与之对应的
2016-03-30 19:06:22
350
转载 Hadoop的namenode datanode无法启动
namenode没有启动最近遇到了一个问题，执行start-all.sh的时候发现JPS一下namenode没有启动 每次开机都得重新格式化一下namenode才可以 其实问题就出在tmp文件，默认的tmp文件每次重新开机会被清空，与此同时namenode的格式化信息就会丢失 于是我们得重新配置一个tmp文件目录
2016-03-15 13:55:26
265
原创 ssh localhost 老是要输入密码
问题描述：在Ubuntu 下安装 ssh 和设置免密码登录后，ssh 127.0.0.1 和 ip 地址都不用输出密码，可以直接登录，但是ssh localhost 却需要输入密码.解决方法：在 /etc/hosts 里面没有配置 127.0.0.1 localhost 映射，Ubuntu 默认将 localhost 匹配 ipv6 的 地址
2016-03-15 10:51:43
1247
转载 hadoop默认参数
1 常用的端口配置1.1 HDFS端口 参数描述默认配置文件例子值fs.default.name namenodenamenode RPC交互端口8020core-site.xmlhdfs://
2016-03-15 10:41:29
235
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人