2014年02月_Garry1115

12月 08月 07月 06月 04月 03月 02月

原创 class com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider$Text

运行mapreduce遇到的奇芭的错：java.lang.ClassCastException: classcom.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider$Text atjava.lang.Class.asSubclass(Unknown Source) atorg.apache.hadoo

2014-02-26 14:43:00 8104 6

原创 hadoop实例分析之WordCount单词统计分析

WordCount单词统计分析最近在网上看了hadoop相关资料以及单词计数的一个实例，结合网上的资料和自己的看法简要分析一下执行过程。MyMapper.javapackage com.mpred; import java.io.IOException; import org.apache.hadoop.io.IntWritable;imp

2014-02-26 11:58:08 7938

转载火狐浏览器firefox adobe flash player 崩溃

Mozilla出品的Firefox浏览器，凭借高度自定义组件，开源的内核，较高的安全性，丰富的扩展应用。火狐浏览器更新速度很快，现在迎来了最新版本号24，熟悉Firefox浏览器的用户对于Adobe出品的Flash插件，可以说是爱恨交加。这个小小视频插件常常造成Firefox浏览器上网延迟，卡顿，甚至未响应，最终是插件奔溃。其中最严重的案例就是Firefox 13和当时的Adobe Fla

2014-02-26 11:01:44 9642

原创 windows下通过eclipse进行远程执行出错：Permission denied:

前一阵子搭建好了windows下的hadoop开发环境，今天进行远程执行时报了一个异常：14/02/26 10:33:52 WARNmapred.LocalJobRunner: job_local_0001org.apache.hadoop.security.AccessControlException:org.apache.hadoop.security.AccessContro

2014-02-26 10:48:44 6678

原创 windows上运行MapReduce出错（Failed to set permissions of path）

今天在windows上搭建了hadoop1.1.2+eclipse的开发环境，在Run on hadoop时，控制台报了一个异常；异常信息大致为： ERRORsecurity.UserGroupInformation: PriviledgedActionException as:lenovocause:java.io.IOException: Failed to s

2014-02-25 16:52:40 5265

原创 java.util.zip.ZipException: error in opening zip file

今天在eclipse上新建了一个java项目，将其打包为jar文件，上传到linux上进行运行时出错了；错误内容为:java.util.zip.ZipException: error in opening zip file.....后来才知道原来是在导出 jar环节出了问题，在Export导出项目时去掉被选中的.CLASSPATH。呵呵去掉之后在linux

2014-02-25 16:44:05 23107

原创 Unsupported major.minor version 51.0（jdk版本错误）

最近在进行hadoop的开发时遇到了一个问题，现将此记录下来！前一阵子搭建了hadoop的开发环境（win8+eclipse4.3+hadoop1.1.2+centerOS6.4），最近在eclipse下创建了一个实例，将其打包为jar文件后发布到linux环境下执行时报了一个错：不难看出是版本问题，即:eclipse下的项目的jdk环境和liux下的jdk环境不一致造

2014-02-25 10:37:20 8647 1

原创 windows下搭建hadoop+eclipse开发环境

我的环境：windows8+hadoop1.1.2+eclipse4.3(linux为centerOS6.4)实现步骤下载eclipse、hadoop,提取hadoop中的hadoop-eclipse-plugin-1.1.2.jar将其拷贝到eclipse中的plugins中（注：如果没有找到hadoop-eclipse-plugin-1.1.2.jar，可以到网上下载对应的版

2014-02-25 09:08:06 32131 4

原创 hadoop的安装与配置（伪分布式模式安装）

最近偶然在研究hadoop看完网络上的配置文章居然在linux下安装成功的hadoop就把别人的文章进行说明一下，提供给需要的读者。hadoop 的安装分为本地模式、伪分布模式、集群模式。本地模式是运行在本地，只负责存储，没有计算功能，不讲述。伪分布模式是在一台机器上模拟分布式部署，方便学习和调试。集群模式是在多个机器上配置 hadoop，是真正的“分布式”。本文章讲述伪分布模式。

2014-02-21 23:20:35 3600

原创 windows与linux网络设置（host-only）

windows(宿主机)和linux(客户端)网络的连接方式有三种：NATBridge（桥接）host-only桥接是一种最简单的配置方式，只要windows和linux的ip处于同一网段即可，缺点是同一网段外部机器都能访问，不安全，易受黑客攻击。在此我说明一下host-only的配置方式，他的优点是安全，顾名思义仅仅是主机能访问。配置PC(宿主机)、VM(虚拟

2014-02-21 22:19:52 5453

原创 hadoop设置ssh免密码登录

对于需要远程管理其它机器，一般使用远程桌面或者telnet。linux一般只能是telnet。但是telnet的缺点是通信不加密，存在不安全因素，只适合内网访问。为解决这个问题，推出了通信加密通信协议，即SSH（Secure Shell）。使用非对称加密方式，传输内容使用rsa或者dsa加密，可以避免网络窃听。hadoop的进程之间同信使用ssh方式，需要每次都要输入密码。为了实现自动化操

2014-02-21 21:59:19 26771 5

原创 Linux更改主机名称（hostname）和设置DNS解析以及设置IP

linux更改主机名称vi /etc/sysconfig/network打开配置文件设置HOSTNAME=hadoop(自己想更改的名称)退出保存即可测试：重启机器设置DNS域名解析vi /etc/hosts打开配置文件在最后加入：ip地址域名称（192.168.0.9 hadoop）保存退出即可测试：ping hadoo

2014-02-21 21:19:23 16440

原创 Linux关闭防火墙

说明：linux下关闭防火墙永久性关闭还有一种只在当前会话中有效（此处就不介绍了）步骤：首先使用chkconfig --list iptables查看防火墙（服务）的状态 [ 查看指定的服务状态：chkconfig --list 服务名 ]可以看到服务的各个级别的启动状态（应该有6个级别）执行命令chkconfig iptables off 永久性关闭

2014-02-21 21:01:21 884

原创 Linux（CenterOS 6.4）下安装jdk1.6

环境：操作系统：Center OS6.4JDK版本：jdk1.6windows和linux传输工具：WinSCP步骤：首先通过Winscp将jdk-6u24-linux-i586.bin放入usr/local目录下使用命令 ./jdk-6u24-linux-i586.bin（前面有个“.”哦）解压解压后看到新目录（jdk1.6.0_24）(可以使用mv

2014-02-21 20:50:29 2214