![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop学习
架构师夏老师
毕业于浙江大学软件工程硕士,曾任于IBM,阿里,目前任职在美团点评担任架构师工作,作为面试官有丰富的面试经验,以及项目架构经验
展开
-
Hadoop2.2.0 中错误总结之(org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test._COPYING)
错误: [root@xiajie01 sbin]# hadoop fs -put /root/20131210110122880.doc hdfs://192.168.30.169:9000/test 15/01/28 03:11:27 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteExcep原创 2015-01-28 19:33:10 · 11145 阅读 · 1 评论 -
Hadoop2.2.0 中错误总结之(WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfo)
错误一:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin- 原因查找: 查看本地hadoop文件 发现是由于安装的是64位的hadoop文件而本linux系统是32位的,版本不匹配,lib包编译环境不一样,所以原创 2015-01-28 11:14:47 · 1892 阅读 · 0 评论 -
一步一步学Hadoop(之ZooKeper)
1.Zookeeper基本概念 1.1什么是Zookeeper ZooKeeper 顾名思义 动物园管理员,他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig) 的管理员, Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。 Zookeeper 是 Go原创 2015-02-04 10:38:56 · 1588 阅读 · 0 评论 -
hadoop中的Configuration对象是什么有什么用?
疑惑: Configuration conf=new Configuration(); FileSystem fs=FileSystem.get(URI.create("/user/algo/wy/tmp"),conf); 这是打开hdfs系统上的文件的常用写法。但是我不明白: conf感觉就是一个空的配置文件,一个空的配置文件相当于里面没有携带任何有用的信息,为什么FileSystem的原创 2015-02-07 13:46:04 · 6880 阅读 · 1 评论 -
ssh: connect to host 192.168.169 port 22: No route to host 处理方法
ssh: connect to host 192.168.169 port 22: No route to host 出现这种原因是由于防火墙设置问题,要先检查防火墙的设置: 查看防护墙状态 service iptables status 关闭 service iptables stop 查看防火墙开机启动状态 chkconfig iptables --list原创 2015-01-22 12:54:20 · 47563 阅读 · 0 评论