hadoop
小嘎子闯天涯
这个作者很懒,什么都没留下…
展开
-
hadoop伪分布式搭建
1.准备Linux环境1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> apply -> ok回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 ->原创 2016-03-13 15:10:38 · 305 阅读 · 0 评论 -
linux关闭防火墙
关闭防火墙#查看防火墙状态service iptables status#关闭防火墙service iptables stop#查看防火墙开机启动状态chkconfig iptables --list#关闭防火墙开机启动chkconfig iptables off原创 2016-03-13 15:12:04 · 491 阅读 · 0 评论 -
使用ssh公钥实现免密码登录
ssh 无密码登录要使用公钥与私钥。linux下可以用用ssh-keygen生成公钥/私钥对,下面我以CentOS为例。有机器A(192.168.1.155),B(192.168.1.181)。现想A通过ssh免密码登录到B。首先以root账户登陆为例。1.在A机下生成公钥/私钥对。[root@A ~]# ssh-keygen -t rsa -P ''-P表示密码,原创 2016-03-13 16:08:05 · 366 阅读 · 0 评论 -
RPC小例子解决Exception in thread "main" java.lang.reflect.UndeclaredThrowableException
首先服务端和客户端都需要导入hadoop包内的/common下的三个jar,以及/common/lib与/sources(否则报log4j warn)下所有依赖包。然后服务端和客户端所在包(就是项目内路径)必须一致,否则会出现如下错误。Exception in thread "main" java.lang.reflect.UndeclaredThrowableException a原创 2016-04-13 14:08:27 · 8322 阅读 · 0 评论 -
使用命令行编译打包运行自己的MapReduce程序 Hadoop2.7.2
网上的 MapReduce WordCount 教程对于如何编译 WordCount.java 几乎是一笔带过… 而有写到的,大多又是 0.20 等旧版本版本的做法,即 javac -classpath /usr/local/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar WordCount.java,但较新的 2.X 版本中,已经没有 hadoop-cor原创 2016-04-16 13:40:13 · 3682 阅读 · 0 评论 -
hadoop解决Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/util/Apps
linux+eclipse+本地执行WordCount抛出下面异常:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/util/Apps。解决:没有把yarn下的包以及yarn 下的lib目录下的包导入原创 2016-04-18 18:38:08 · 26503 阅读 · 2 评论 -
解决Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/ FSDataInputStream
我们将 Hadoop 的 classhpath 信息添加到 CLASSPATH 变量中,在 ~/.bashrc 中增加如下几行:export HADOOP_HOME=/home/hadoop/app/hadoopexport JAVA_HOME=/home/hadoop/app/java/jdkexportSCALA_HOME=/home/hadoop/app/scalaexp原创 2016-04-19 21:28:58 · 33684 阅读 · 2 评论 -
通过Windows7对linux上的hadoop2.7.2进行编程开发
通过Windows7对linux上的hadoop2.7.2进行编程开发原创 2016-11-28 21:46:02 · 917 阅读 · 0 评论 -
hadoop如何使用第三方jar包
hadoop如何使用第三方jar包原创 2016-11-22 17:32:36 · 1368 阅读 · 0 评论