hadoop
能白话的程序员♫
这个作者很懒,什么都没留下…
展开
-
hdfs 安全模式及解决
一 安全模式NameNode在重启的时候,DataNode需要向NameNode发送块的信息,NameNode只有获取到整个文件系统中有99.9%(可以配置的)的块满足最小副本才会自动退出安全模式。最小副本和那个99.9%阀值可以通过下面配置来设定: <property> <name>dfs.namenode.replication.min<...原创 2019-10-24 09:09:18 · 718 阅读 · 0 评论 -
移动hadoop源文件后启动namenode失败解决方法
1 查看namenode启动日志发下如下异常消息 :产生原因是因为之前hadoop源文件在/data/hadoop/hadoop2.8.4中 ,为了与线上开发环境一致,现更改为/data/hadoop/,但是再次启动就出现如下异常信息。解决方法见异常描述之后。Directory /data/hadoop/datas/dfs/name is in an inconsistent state...原创 2019-03-15 12:02:32 · 519 阅读 · 0 评论 -
HadoopStreaming常用参数简单说明
1 、基本开发参数-input"${INPUTS}" \ 输入路径,指的是hdfs上的路径-output"${OUTPUTS}" \ 输出路径,指的也是hdfs上的路径-mapper"python map.py" \ 执行map过程的代码的执行参数-reducer"python red.py" \ 执行reduce过程的代码的执...原创 2019-03-11 17:08:45 · 528 阅读 · 0 评论 -
hadoop伪集群安装
1.准备Linux环境1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> apply -> ok回到windows --> 打开网络和共享中心 -> 更改适配器设置 ...原创 2019-01-29 08:44:48 · 175 阅读 · 0 评论 -
stop-all.sh无法停止hadoop集群
1 问题:执行 stop-all.sh 脚本一直提示没有可停止的namenode、datanode、secondarynode。可是输入 jps 命令,发现hadoop 相关进行依旧存在。提示消息如下:这是检查hadoop功能依旧正常,能进行进行存储以及计算。2 产生原因:stop-all.sh 执行的原理是根据mapred和dfs的进程号进行关闭进程的,而这些进程号默认是存储在/...原创 2019-03-22 23:51:59 · 1648 阅读 · 0 评论 -
HDFS存储文件的过程详解
以下内容基本都是自己的语言进行描述的,并不全是官方的说法,若有哪里说的不对可以在下面进行交流。一 、角色 : Namenode ,DataNode ,Client1 NameNode namenode 负责维护整个文件系统的信息,包括:整个文件树,文件的块分布信息,文件系统的元数据,数据复制策略等 以下简称NN2 DataNode存储文件内容,负责文件实际的读写操作...原创 2019-05-22 17:57:14 · 2046 阅读 · 0 评论