2014年03月_Garry1115

12月 08月 07月 06月 04月 03月 02月

转载 hive安装测试及Hive 元数据的三种存储方式

一 hive安装测试1、下载解压tar -xf hive-x.y.z.tar.gz（本次安装为hive-0.8.1.tar.gz）将解压后的hive-0.8.1文件放在系统的/home/hadooptest/中。2、环境变量配置在.bash_profile中添加：export HIVE_HOME=/home/hado

2014-03-31 22:27:51 3372

原创移动namenode、secondarynamenode和jobTracker的节点（使其成为独立节点）

由于集群规模差异较大，对于主节点守护进程的配置也差异很大，包括namenode、辅助namenode和jobtracker。对于一个小型集群来说（几十个节点），可以直接将这些守护进程放到单独的一台机器上。但是对于大型集群来说，则最好让这些守护进程分别运行在不同机器上。namenode在内存中保存整个命名空间的所有文件和块数据，他的内存需求很大。辅助namenode在大多时间里空闲，但是他在创建

2014-03-29 23:09:25 3172

转载单节点配置SecondaryNameNode

一、SecondaryNameNode概念：光从字面上来理解，很容易让一些初学者先入为主：SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是。ssn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间。

2014-03-29 22:35:25 1797

转载整合Struts2、Spring、Hibernate构建J2EE应用

【论文摘要】J2EE即是以Java 2平台为基础的体系结构，又是一组旨在简化企业解决方案的开发、部署、运行、维护等相关复杂问题的技术规范与指南。Struts2、Spring、Hibernate是当今符合J2EE技术规范的三个流行的开源框架。本文通过对这三个框架的工作机制的分析引伸出它们在J2EE应用中的互补作用，进而讲解它们在J2EE开发中的整合。最后通过一个简单的实例演示Struts2＋Sp

2014-03-24 21:12:08 6800 1

转载 hbase 的shell操作中相关属性说明

Hbase 是一个分布式的、面向列的开源数据库，其实现是建立在google 的bigTable 理论之上，并基于hadoop HDFS文件系统。 Hbase不同于一般的关系型数据库(RDBMS)。是一种适用于非结构化数据存储的数据库，且Hbase是基于列的数据库。下面的内容基于我们已经安装好hadoop、hbase。一、hbase shell 介绍 h

2014-03-19 16:06:11 4788

转载 HBase条件查询（多条件查询）

Author：Pirate LeomyBlog: http://blog.csdn.net/pirateleo/myEmail: codeevoship@gmail.com转载请注明出处，谢谢。文中可能涉及到的API：Hadoop/HDFS:http://hadoop.apache.org/common/docs/current/api/HBase: http://hbas

2014-03-19 15:36:18 8572 1

转载 hadoop+hbase导致报错（NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration）

Exception in thread "main" java.io.IOException: Error opening job jar: ./ADReport2Hbase_0309.jar at org.apache.hadoop.util.RunJar.main(RunJar.java:90)Caused by: java.util.zip.ZipException:

2014-03-19 14:40:49 60055

转载仿QQ聊天程序（java）

java聊天程序推荐java聊天室项目：http://zyshare.cn/resource/detail/15推荐java相关毕业设计项目整理：https://blog.csdn.net/zwx19921215/article/details/103225211推荐java最新聊天项目（java仿微信聊天）:https://blog.csdn.net/zwx19921215/art......

2014-03-17 15:52:47 132032 161

转载联通研究院处长王志军：Hadoop在电信业大数据的应用

联通研究院处长王志军：Hadoop在电信业大数据的应用摘要：联通研究院处长王志军发表《Hadoop在电信业大数据的应用》主题演讲，据他介绍，联通第一次采用了开源技术，在这之前在电信行业当中比较少见，使用Hadoop、HBase等技术。6月29日，第七届“开源中国开源世界”高峰论坛在北京唯实国际文化交流中心召开。本届论坛主题为“开源融合创新移动互联未来”，聚焦开源与移动

2014-03-17 15:50:14 4568

转载数据挖掘常用的方法（分类，回归、聚类、关联规则）

原文出自：http://www.vsharing.com/k//2013-10/690272.html在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统计学等。通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘

2014-03-15 17:19:57 50625

原创 shell函数日期之间的操作（日期转秒，日期间隔秒，日期间隔天）

#!/bin/sh#接收日期转换为秒数function mydate(){ date --date="$1" +%s}#接收两个日期，比较相差秒数function differdate(){ #将接收到的日期转换为秒 a=`date --date="$1" +%s` b=`date --date=

2014-03-12 16:54:36 6914

转载 shell中的比较（if运算）

比较两个字符串是否相等的办法是： if [ "$test"x = "test"x ]; then 这里的关键有几点： 1 使用单个等号 2 注意到等号两边各有一个空格：这是unix shell的要求 3 注意到"$test"x最后的x，这是特意安排的，因为当$test为空的时候，上面的表达式就变成了x = testx，显然是不相等的。而如果没有这个

2014-03-12 16:29:11 10510

转载 linux下的shell运算（加、减、乘、除）

((i=$j+$k)) 等价于 i=`expr $j + $k`((i=$j-$k)) 等价于 i=`expr $j -$k`((i=$j*$k)) 等价于 i=`expr $j \*$k`((i=$j/$k)) 等价于 i=`expr $j /$k`Let expressions执行一个或多个表达式。表达式中的变量前不必有$.如果表

2014-03-12 16:25:53 272732 2

原创 linux安装mysql出错（ file /usr/share/mysql/czech/errmsg.sys from install of MySQL-server-5.5.31-2.el6.i6）

linux下安装MySQL出错！ [root@hadoop0 local]# rpm -i MySQL-server-5.5.31-2.el6.i686.rpm file /usr/share/mysql/czech/errmsg.sys from install of MySQL-server-5.5.31-2.el6.i686 conflicts with fil

2014-03-11 17:49:38 13309 1

原创 Could not establish connection to hadoop0:10000/default: Connection refused: connect

今天在完成Hive的安装配置后，通过java客户端连接Hive进行操作时抛了一个异常：Exception in thread "main" java.sql.SQLException: Could not establish connection to hadoop0:10000/default: java.net.ConnectException: Connection refuse

2014-03-11 17:41:58 7923 1

原创 FAILED: Error in metadata: MetaException(message:Got exception: java.net.ConnectException

今天在安装配置玩hive后，进入了hive的命令行执行show databases时抛出一下错误：FAILED: Error in metadata: MetaException(message:Got exception: java.net.ConnectException Call to hadoop0/192.168.0.10:9000 failed on connection exce

2014-03-11 12:51:19 6516 3

原创 Java读取文件时第一行出现乱码“？”问号

我们在使用Java在读取文件（txt、dat等）时,如果文件不是utf-8格式的话,读取结果会出现,中文字符变乱码的情况,所以一般在读取时转为UTF-8格式读取。但这时会出现一种情况，第一次读取第一行第一个字符时会出现“？”的乱码这个是java本身编码格式转换的问题，可以采用一下方式解决：使用EditPlus等工具将txt文件另存为UTF-8无BOM格式

2014-03-09 23:59:03 9275 1

原创 no java virtual machine was found after searching& Failed to load the JNI shared library

Eclipse打开出现“no java virtual machine was found...."这个错误一般是环境变量设置错误导致在cmd里面输入java -version看有没有版本的提示？有的话说明你的JDK是对的，那么就是Eclipse的问题了。否则你就要设置环境变量信息了：依次点击：“我的电脑”－(右键)“属性”－“高级”－“环境变量”，弹出Window

2014-03-09 11:18:34 6988

原创 ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times

今天在配置好hbase分布环境后，进行shell操作，在创建表时出现了如下错误：ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times进入hbase目录下的logs目录中查看MASTAR的日志信息发现了问题：2014-03-08 07:14:17,955 INFO org.apache.ha

2014-03-08 23:27:02 7176 1

原创 windows下SecureCRT无法使用backspace（空格键）和上下左右键

在使用SecureCRT登陆liunx（我的为CenterOS）系统，发现删除(backspace)键、和上下左右键不起作用，郁闷了很久没有找到解决办法，今天终于看到了一篇有用的文章，在此记录一下！解决方法：先打开Options–>Session Options–>Terminal–>Emulation(中文：选项–>回话选项–>终端–>仿真) 界面下：

2014-03-08 22:53:28 30527 4

原创 mapreduce之自定义排序算法

有人说mapreduce中不是有一个自动排序和分组（按key排序和分组）的嘛，我们为什么还需要自己写排序算法呢？因为很多时候这种自动排序无法满足我们的需求，所以我们需要自定义排序算法！需求1：#首先按照第一列升序排列，当第一列相同时，第二列升序排列3 33 23 12 22 11 1----结果---------------1 12 12 2

2014-03-07 15:33:45 12595 3

转载 hashCode()、equals()以及compareTo()方法的理解

原文出自：http://blog.sina.com.cn/s/blog_50d936c40100nvzz.htmlhashCode()、equals()以及compareTo()方法的理解转载▼ 判断两个对象是否相等（是同一个对象），首先调用hashCode()方法得到各自的hashcode，1、如果hashcode不相等，则表

2014-03-07 00:06:48 3139

原创 mapreduce之partition分区

听了超哥的一席课后逐渐明白了partition，记录一下自己的理解！（thanks 超哥）package partition;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSyst

2014-03-06 15:42:10 11525 2

原创 mapreduce的规约（Combiner）

听了超哥的一席课后逐渐明白了Combiner，记录一下自己的理解！（thanks 超哥）首先贴上两段代码：code1:package combine;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hado

2014-03-06 14:01:08 4817

原创 eclipse打包jar发布到linux下运行出错（java.lang.ClassNotFoundException: cmd.WordCount$MyMapper ）

今天在eclipse写一个mapreduce计数例子，打包成jar放到linux下通过hadoop命令运行时出现如下错误：小小的纠结了一下，检查了一下代码原来是漏写了一个打包的设置：//打成jar需要指定的执行类job.setJarByClass(WordCount.class);重新打包执行，一切oK!

2014-03-05 18:03:32 7049

原创 mapreduce实现计数时未执行reduce方法（未实现统计功能）

今天写了一个mpareduce的计数例子（统计每个单词出现的个数），哪知没有实现统计功能！纠结了半天才发现原来是reduce函数中的Context前面有一串包名，把它去掉后再重新执行就OK了。。。protected void reduce(Text key, Iterable values,org.apache.hadoop.mapreduce.Reducer.Context contex

2014-03-04 19:02:10 3091

转载 org.apache.hadoop.hdfs.server.namenode.SafeModeException

原文出自：http://hi.baidu.com/zhy65991/item/8428013fcf459e342f0f8158safemode模式NameNode在启动的时候首先进入安全模式，如果datanode丢失的block达到一定的比例（1-dfs.safemode.threshold.pct），则系统会一直处于安全模式状态即只读状态。dfs.safemo

2014-03-03 21:24:56 2186