Hadoop学习
Java开发面试辅导-海龟老师
毕业于浙江大学软件工程硕士,在BAT一线大厂担任架构师工作,作为面试官有丰富的面试经验,以及项目架构经验
展开
-
Hadoop2.2.0 中错误总结之(org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test._COPYING)
错误:[root@xiajie01 sbin]# hadoop fs -put /root/20131210110122880.doc hdfs://192.168.30.169:9000/test15/01/28 03:11:27 WARN hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteExcep原创 2015-01-28 19:33:10 · 11174 阅读 · 1 评论 -
Hadoop2.2.0 中错误总结之(WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfo)
错误一:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-原因查找: 查看本地hadoop文件发现是由于安装的是64位的hadoop文件而本linux系统是32位的,版本不匹配,lib包编译环境不一样,所以原创 2015-01-28 11:14:47 · 1907 阅读 · 0 评论 -
一步一步学Hadoop(之ZooKeper)
1.Zookeeper基本概念1.1什么是Zookeeper ZooKeeper 顾名思义 动物园管理员,他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig) 的管理员, Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。 Zookeeper 是 Go原创 2015-02-04 10:38:56 · 1598 阅读 · 0 评论 -
hadoop中的Configuration对象是什么有什么用?
疑惑:Configuration conf=new Configuration();FileSystem fs=FileSystem.get(URI.create("/user/algo/wy/tmp"),conf);这是打开hdfs系统上的文件的常用写法。但是我不明白:conf感觉就是一个空的配置文件,一个空的配置文件相当于里面没有携带任何有用的信息,为什么FileSystem的原创 2015-02-07 13:46:04 · 6936 阅读 · 1 评论 -
ssh: connect to host 192.168.169 port 22: No route to host 处理方法
ssh: connect to host 192.168.169 port 22: No route to host 出现这种原因是由于防火墙设置问题,要先检查防火墙的设置:查看防护墙状态service iptables status关闭service iptables stop查看防火墙开机启动状态chkconfig iptables --list原创 2015-01-22 12:54:20 · 47626 阅读 · 0 评论