- 博客(42)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 数据的四个特征
我们总是在谈数据分析，那么到底什么是数据，数据有什么特征呢？这个问题虽基础却重要。这里我们所说的数据，仅指应用于企业运营的市场信息。它是认识事物的中间环节，是事物的表面特征，其作用在于消除事物的不确定性。它至少具有以下四个基本特征。一、时效性所谓时效性是指数据的发生和运用要有个提前期，失去时效性，就失去了潜在机会。举个例子，以前在广州有个大厦，它对数据的时效性运用的就很好。据说有...
2014-01-26 16:32:28
4388
原创 HBase 写入数据Region路由机制
HBase put一条数据 Region 路由规则1.客户端put接口org.apache.hadoop.hbase.client.HTableInterface.put(Put put) org.apache.hadoop.hbase.client.HTable.put public void put(final Put put) throws IOExceptio...
2014-01-17 15:16:35
404
如何向expect脚本里面传递参数
比如下面脚本用来做ssh无密码登陆，自动输入确认yes和密码信息，用户名，密码，hostname通过参数来传递ssh.exp #!/usr/bin/expectset timeout 10set username [lindex $argv 0]set password [lindex $argv 1]set hostname [lindex $argv 2]...
2013-05-09 17:37:05
823
原创 hadoop自动化安装、管理及监控工具Ambari安装
Apache Ambari是对Hadoop进行监控、管理和生命周期管理的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。Ambari向Hadoop MapReduce、HDFS、 HBase、Pig, Hive、HCatalog以及Zookeeper提供服务。最近准备装ambari，在网上找了许久，没找到比较系统的ambari安装过程，于是，就根据官网...
2013-03-25 18:01:10
453
原创 关于 MapReduce Too Many fetch failures.Failing the attempt错误
reduce task启动后的第一阶段是shuffle（向map端fetch数据），每次fetch数据的时候都可能因为connect timeout，read timeout，checksum error等原因时报，因而reduce task为每个map设置了一个计数器，用以记录fetch该map输出时失败的次数，当失败次数达到一定阀值的时候。会通知MRAppMaster 从该map fetch数...
2012-12-05 11:50:03
1603
原创 linux下清理svn的垃圾文件.svn文件夹
有时候把svn的代码传到服务器，会不小心传上svn的系统文件，这些文件都是用于版本控制的，在生产环境，总有点不爽。在linux下可以用一个命令删除，命令如下：find . -name .svn | xargs rm -rf上述命令要在代码所在目录运行哦。svn的版本控制，也会有类似问题，方法类似，换一下名字，如下：find . -name .cvs | xargs rm -rf...
2012-11-09 16:10:51
751
原创 hive 支持hadoop-0.23.1
hive要支持hadoop-0.23.1需要自己从源码编译，具体的做法如下： $ svn co http://svn.apache.org/repos/asf/hive/trunk hive $ cd hive $ ant clean package -Dhadoop.version=0.23.1 -Dhadoop-0.23.version=0.23.1 -Dhado...
2012-09-10 14:03:43
107
原创 hadoop-2.0-cdh4 HA 解决方案安装文档
1.安装NFS，配置共享目录安装配置NFSNFS是Network File System的简写,即网络文件系统.网络文件系统是FreeBSD支持的文件系统中的一种，也被称为NFS. NFS允许一个系统在网络上与它人共享目录和文件。通过使用NFS，用户和程序可以象访问本地文件一样访问远端系统上的文件。CentOS系统中如何安装和配置nfs呢，下面我们就来学习一下方法。首先我们来介...
2012-08-21 17:27:23
132
原创 Hypertable on hadoop 安装
软件： hadoop-0.20.2-cdh-u3hypertable-0.9.5.6ruby-1.8.7CentOS-6.2 yum -y install gccyum -y install gcc-c++yum install make 安装 BerkeleyDB4.6+=================================...
2012-06-21 14:07:38
129
原创 hbase源码分析（一）：客户端数据入库
Hbase插入数据的过程大致是：客户端提交请求给region server（这中间会有作一些缓存）region server接收到请求，判断如果是put请求，将其put到memstore每次memstore的操作，都会检查memstore是否操作一个阈值，如果超过，就开始执行flush()，这个flush其实就是从内存中的KeyValue对持久化到HStore（也就是HFil...
2012-05-14 17:06:14
145
原创 oracle解锁
select t2.username,t2.sid,t2.serial#,t2.logon_time from v$locked_object t1,v$session t2 where t1.session_id=t2.sid order by t2.logon_time;--查看锁--alter system kill session 'sid,serial#';--把锁给KILL掉...
2012-05-13 21:09:20
87
原创 oracle创建时间分区
例如我们要对一张表按照时间创建分区： create table cmp ( transaction_id number primary key, item_id number(8) not null, item_description varchar2(300), transaction_date date ...
2012-05-13 12:22:05
262
原创 hbase编译
check 代码：svn co http://svn.apache.org/repos/asf/hbase/trunk hbase-core-trunk 安装maven 在hbase根目录下执行mvn package -Dmaven.test.skip.exec=true
2012-03-21 11:34:43
94
自己开发一个google talk的聊天小工具
我们可以基于google talk开发一个属于自己的聊天客户端代码如下：public class GoogleTalk { /** * @param args * @throws XMPPException */ public static void main(String[] args) throws XMPPException { XMPPConnection.DE...
2008-08-06 11:03:04
171
基于开源软件做一个获取google talk你的联系人给你发送消息的小程序
我在哪吒闹海的网站上看到他们使用google talk来实现发送信息留言的功能，就想自己做一个看看，事实上就是完成一个对你的google上的所有用户发过来的消息实现监控就可以。 首先我们要下载igniterealtime 提供的开源 Smack Java XMPP 软件包，下载地址是：http://www.igniterealtime.org/down...
2008-08-06 10:57:32
140
基于开源软件做一个获取google talk你的联系人给你发送消息的小程序
我在哪吒闹海的网站上看到他们使用google talk来实现发送信息留言的功能，就想自己做一个看看，事实上就是完成一个对你的google上的所有用户发过来的消息实现监控就可以。 首先我们要下载igniterealtime 提供的开源 Smack Java XMPP 软件包，下载地址是：http://www.igniterealtime.org/down...
2008-08-06 10:54:20
121
原创 JSTL function 标签 使用
长度函数： fn:length 字符串处理函数： fn:contains 、 fn:containsIgnoreCase 、 fn:endsWith 、 fn:escapeXml 、 fn:indexOf 、 fn:join 、 fn:replace 、 fn:split 、 fn:startsWith 、 fn:substring...
2008-07-08 14:34:18
94
在是用Ibatis是操作Oracle数据库字段类型为LONG的问题
查询语句： <select id="selectJingHuaBlogArticleCount" resultMap="result_JingHuaBlog" > <![CDATA[ select * from ( SELECT a.article_id,a.class_id,a.article_title,a.article_content,c.class_nam...
2008-07-08 14:19:20
412
实现从Oracle中随机取得几条记录
select * from (select * from tablename order by sys_guid()) where rownum < N; select * from (select * from tablename order by dbms_random.value) ...
2008-07-08 14:06:13
485
tomcat 6 el表达式的问题
下面的这个页面在 tomcat 5.5.15里面是正确的，但是在6.0.14里面就出问题<?xml version="1.0" encoding="GBK"?><htmlxmlns="http://www.w3.org/1999/xhtml"xmlns:jsp="http://java.sun.com/JSP/Page"><jsp:output o
2008-07-01 12:09:30
159
[以解决]请教iBatis批量插入数据问题
我使用的Spring +Ibatis在我做批量从插入的时候遇到了数据插不进去的问题，请大家帮忙看看 数据访问接口的代码是： public void saveMessages(String oknos, String userId, String title,String msg){ Map<String,Object> params = new HashMap<Str...
2008-06-23 11:59:55
443
Spring AOP 进行统一日志处理
java代码：[code="java"]import org.apache.log4j.LogManager;import org.apache.log4j.Logger;import org.aspectj.lang.ProceedingJoinPoint;public class GenericLoggerBean { private static Logger l...
2008-04-09 08:32:37
184
windows XP下安裝APACHE2.0.59+PHP5.5.3+MYSQL5
先从各官方网站下了APACHE2.0.59、PHP5.5.2、MYSQL5、PHPMYADMIN2.6.1 假设:系统盘为 c:/假设:把所有的东西安装在D盘下的php目录下假设:安装好后目录状态会是这样子: apache-------------------------> d:/php/apachemysql---------------------------> d:/php/my...
2008-01-23 16:43:06
274
Apache+JK+Tomcat负载平衡配置
准备软件1、 Tomcat或JBoss（本文档中采用的是JBoss4.0.2）；2、 apache2.0.54是开源的Web服务器，下载地址为： http://www.apache.org/dist/httpd/binaries/ ；3、 mod_jk-1.2.14-apache-2.0.54.so模块,jk是mod_jserv的替代者，它是Tomcat-Apache插件，为Apache和T...
2008-01-18 23:48:50
88
Java异常分析
算术异常类：ArithmeticExecption空指针异常类：NullPointerException类型强制转换异常：ClassCastException数组负下标异常：NegativeArrayException数组下标越界异常：ArrayIndexOutOfBoundsException违背安全原则异常：SecturityException文件已结束异常：EOFException文件未找到...
2008-01-03 15:14:40
182
不断的测试，产品就会不断的改进
什么是软件测试？ 关于软件测试的定义，比较权威的是IEEE在1983年提出的：“使用人工或自动手段来运行或测定某个系统的过程，其目的在于检验它是否满足规定的需求或是弄清预期结果与实际结果之间的差别。”软件测试的目的？ 第一：确认软件的质量，确认你所期望软件所做的事情和确认软件以正确的方式来做了这件事情 第二：提供必要的信...
2007-12-23 16:10:17
285
什么是mashup
mashup作为一个建立web应用的新方式，它在单一页面中合并了来自多个源站点的程序和数据服务。通称，通过将javascript作为各个源页面之间的“粘合剂”使这些组件和连接被乖巧地布局在同一个页面里，这样并无需昂贵的花费就生产出有价值的“新产品”什么是mashup？ mashup是由多个源站点无缝合并而成的一个web站点或web应用。它带给用户...
2007-12-23 15:42:51
1721
完整ant自动编译打包和发布脚本
xml 代码 <?xml version="1.0" encoding="UTF-8"?> <project basedir="." default="build" name="potato"> <property file="ant.properties"/&
2007-12-21 11:42:43
144
持续集成服务器（CruiseControl）安装和配置
我使用的是CruiseControl-2.7.1CruiseControl：http://cruisecontrol.sourceforge.net/SVN：http://subversion.tigris.org/首先安装你的CruiseControl，你可以选择exe的文件下载，直接安装就可以，然后设置你的环境变量，将svn添加到你的环境变量的path中CruiseControl安装...
2007-12-20 14:58:43
156
Guice 1.0 用户指南
Java企业应用开发社区在连接对象方面花了很大功夫。你的Web应用如何访问中间层服务？你的服务如何连接到登录用户和事务管理器？关于这个问题你会发现很多通用的和特定的解决方案。有一些方案依赖于模式，另一些则使用框架。所有这些方案都会不同程度地引入一些难于测试或者程式化代码重复的问题。你马上就会看到，Guice 在这方面是全世界做得最好的：非常容易进行单元测试，最大程度的灵活性和可维护性，以及最少的代...
2007-11-27 15:05:06
72
Java开发者的十大戒律
有许多标准和实践准则可适用于Java开发者，但此处要说的，是每个Java开发者需坚守的基本原则。 一、为<nobr>代码</nobr>加注释。虽然每个人都知道这点，但有时却不自觉忘了履行，今天你“忘了”加注释了吗?虽然注释对 程序的功能没什么“贡献”，但过一段时间，比如说两星期之后或者更长，回过头来看看自己的代码，说不定已经记不住它是干什么的了。如果这些代码是你个人 的...
2007-11-26 21:10:04
69
使用Spring MVC，出现了点击一次链接，调用同一个方法两次
我在使用Spring的MVC时，出现的这种情况，例如我点击浏览文章这个链接，调用了浏览文章这个方法两次，具体的程序如下，Spring配置：xml 代码 <!-- 抽象Controller定义 --> <bean id="baseController" abstract="true" class="com.potato.core.B...
2007-11-15 10:12:53
338
Java实现按照要求的尺寸对图进行的等比缩放
这个是在参考网上一些代码基础上进行编写的，主要是首先实现图片的等比缩放，然后在进行截取，比如一张1024*768的图要截成263*150的，首先是等比缩放后变成263*197的，然后在对这个图片的高度进行截取，变成163*150的java 代码 import java.awt.Color; import java.awt.Graphics; ...
2007-08-02 10:28:00
843
采用XP方法使软件项目获得更大成功
使用面向对象编程变得空前普及。它使软件开发发生了某种程度上的变革，但最近的研究表明，有半数的软件开发项目滞后，而三分之一的项目则超出预 算。问题不在于技术，而是开发软件所使用的方法。所谓的“轻量型”或“灵活”方式，与面向对象语言的威力和灵活性结合起来，提供了一种很有意思的解决方 案。最常见的灵活方式称为极端编程（Extreme Programming）或者 XP，但许多人并不真正了解它。对软件项目...
2007-05-17 21:31:02
128
Spring的MultiActionController使用
Spring借鉴Struts的DispatchAction提供了类似功能的MultiActionController。可以实现不同的请求路径对应MultiActionController中的不同方法，这样就可以把相关的操作都在一个类的相关方法中完成。 在使用Spring提供的控制器时，AbstractController和SimpleFormC...
2007-04-18 14:16:52
272
WINDOW环境下Apache-2.0.59+mod_jk-2.0.59+Tomcat-5.5.15的整合
首先到www.apache.org上下载所需要的软件Apache-2.0.59tomcat-5.5.15mod_jk-2.0.59.so安装apache和tomcat，将mod_jk-2.0.59.so复制到apache的modules目录下修改httpd.conf文件##设置默认主页DirectoryIndex index.html index.html.var index.jsp...
2007-04-18 10:45:09
138
HTTP应答状态
[转自：伊图教程网] 7.1 状态代码概述 Web服务器响应浏览器或其他客户程序的请求时，其应答一般由以下几个部分组成：一个状态行，几个应答头，一个空行，内容文档。下面是一个最简单的应答：HTTP/1.1 200 OKContent-Type: text/plainHello WorldJAVA手机网[www.cnjm.net] 状态行包含HTTP版本、状态代...
2007-04-12 09:54:14
120
JDK5.0+Apache2.2.3+Tomcat5.5.15配置
修改Apache的 conf/httpd.conf文件在该文件中首先找到如下3行#LoadModule proxy_module modules/mod_proxy.so#LoadModule proxy_ajp_module modules/mod_proxy_ajp.so#LoadModule proxy_balancer_module modules/mod_proxy_balanc...
2007-02-12 20:40:16
94
空空如也
Extjs ComboBox异步加载数据 默认选中值的问题
2010-02-05
TA创建的收藏夹 TA关注的收藏夹
TA关注的人