自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(54)
  • 收藏
  • 关注

Spark On Yarn编译,部署和测试

  环境 Spark On Yarn环境准备: Spark:0.9.1 release。注意要选择relase版本(不是incubating版),踩到的坑会比较少。下载页面 http://spark.apache.org/downloads.html  Hadoop:2.0.0-cdh4.2.1。MRv2(Yarn) 环境:cygwin(Git console also works) ...

2014-04-11 16:50:10 317

原创 SAXP解析XML的笔记

  SAXP 使用streaming 读取xml ,基于事件触发和回调函数处理xml 内容,占用内存小,速度快,适用于1 )仅仅读取但是不改变xml 内容 2 )只处理内容一次,类似于在xml 中查找相关内容。 创建Factory 解析xml 过程。首先需要创建factory ,factory 是用来创建parser 的,包含一些创建parser 的属性。 view source p...

2014-04-11 16:47:52 250

原创 编写ganglia的客户端发送metrics

ganglia中gmond是负责搜集metrics数据的。gmond被设计为使用UDP搜集metrics数据,可以方便的使用python,脚本,java来发送metrics数据给gmond。这样,gmond上就可以包含除了本身搜集的机器级别的metrics之外的metrics内容。   gmond存储的metrics的信息如下:   <GANGLIA_XML VERSION="3...

2014-04-09 16:05:56 263

原创 ganglia监控系统简介

模块和名词介绍   ganglia是个运行在linux上的集群监控系统,它有三个组件:gmond,gmeta,和web模块。ganglia以metrics为单位,对集群进行监控。   metrics:可以认为就是指标。一个metrics至少有一个名字,值和时间。比如cpu-usage,值是500,时间是2014-04-09 15:24。这样有了一连串的metrics,就可以以时间为x轴...

2014-04-09 15:34:48 260

Java Log 系统介绍以及切换

Java的log系统比较繁杂。在这里梳理一下。本文只涉及log系统介绍和处理log系统之间的切换。不涉及如何配置和使用。   具体的log系统 Log4j:准确的说是log4j 1.x版。是之前使用最广泛的log系统。 Logback:Log4j的作者另立炉灶写的新版log,比起log4j性能更好。具体的对比可以参考http://www.oschina.net/translate/re...

2014-04-01 16:44:46 121

原创 Ganglia 部署与配置

简介 ganglia是一个不错的用来监控集群的开源软件。依托于RRDTools,它可以方便的生成metrics graph,对metrics进行聚合等。ganglia自带的客户端可以搜集集群节点CPU,memory,network的负载。也可以方便的通过编程发送UDP包来将程序的metrics发给ganglia。 单独的metrics graph:   几个metr...

2014-03-31 14:33:03 691

云与云计算科普,高手请绕道

云计算? 云计算现在算是比较火的一个名词了。从最开始的怀疑,质疑,到普遍的应用,再到现在各大软件公司都开发自己的云,云计算这个方向在企业应用里,就如同SOA一样,已经开始飞入寻常百姓家了。 云计算其实乍听之下确实有点忽悠。主要还是因为现在还没有一个标准。但是云计算要解决的核心问题就是资源。让应用可以按需获取资源,可以灵活的增加 减少应用的资源(Scale Up/...

2011-10-11 14:07:15 109

原创 LinkageError之loader (instance of xxx) previously initiated loading for a differe

LinkageError包括其子类,是Java中比较不应该出现的Error。出现这 些问题,大概有几个问题:ClassLoader没有严格遵守Java中默认的双亲委派模式;全限定名相同的两个类在不同的CL中有重复;程序运行时使用 的类的版本与开发时候不一样(类有变化,比如改了方法的可见性等)。 而LinkageError本身则更少见。当遇到LinkageError loader (ins...

2011-10-11 14:06:17 447

原创 KMP字符串搜索

  KMP 号称是效率最高的字符串搜索算法,大学数据结构的时候老师说这玩意不考,然后我就 直接趴下睡觉了-_-||| 。这阵子正好要做点字符串搜索的东西,顺便抄起数据结构的书看看。KMP 算法是Knuth 、Morris 、Pratt 仨牛人发 明的,不过俺也只听说过Knuth 。算法的思想不难,不过还是有点小绕脑子的。 Java SDK 的String 类中的inde...

2011-10-11 14:05:58 84

原创 解析XML——简单直接的来。

  ================== 闲扯的话================ 对于现在越来越轻量级,越来越讲究速度和接近用户的应用来说,xml 确实有点复杂了。解析起来不仅耗内存,而且很复杂。这就好像花了几千块钱买了个MS Office ,但是80% 的feature 都用不着,还白白的耗着CPU 和内存。 个人觉得,设置文件用XML 其实挺好,因为设置文件...

2011-10-10 15:48:10 104

原创 BOM

BOM - Byte Order Mark。对于Unicode编码的文件,BOM可以出现在文件最开始,用来指示一个文本所使用的编码。 Unicode有好几种编码,UTF-8,UTF-16BE/LE等。如果不知道文件编码,将无法正确解析文件。BOM则解决了这种问题。 但是对于使用其它方式指定编码的文件,则BOM可能会引发问题。比如对于特定的系统,如果需要手动指定文件编码,则BOM和指定的编码...

2011-10-10 15:46:53 87

原创 JUnit4 Tutorial

  JUnit4 比之前的版本可爱多了。 编写Testcase 使用JUnit4 编写testcase 不再有继承Testcase 类的负担了。只要在测试方法加annotation @org.junit.Test 就行了。 @org.junit.Test public void test1(){    // u...

2011-10-10 15:44:44 82

原创 JSON入门——JSON的组成和解析

用JSON也有挺长时间了,最近做了个小软件,需要调用第三方API。Google translate API是使用JSON数据格式的。而douban API是使用XML数据格式的。过程中不禁感慨,xml真是不大适合存储数据,占用资源多不说,解析起来也很麻烦。现在越来越多的api开始使用json 作为数据载体,还是有它的道理的。facebook最新的的graph api也是使用json作...

2011-10-10 15:43:27 130

原创 Facebook Auth API文档中没说清楚的事情

  facebook api 的文档写的不清不楚,很多都要靠自己碰壁之后猜测和琢磨问题的原因。 下面是几个文档中没说清楚的地方: ·         The URL : Facebook api 首先要使用 app 的一些 id 什么的,通过一个 link 来让用户授权这个 app 。如果用户授权后, facebook 会 callback...

2011-10-10 15:37:02 279

深夜两点

[color=navy]自己写的一个小程序,做个视频冒充一下技术宅…… [flash=600,500]http://player.youku.com/player.php/sid/XMTU5MTY3MTEy/v.swf[/flash] 程序经多次优化,终于能够达到一个可以接受的性能了……莫言Java无效率,其实重要的还是要精雕细琢。至 少就绘制Julia Set而言,我这个程序比我见过...

2010-04-07 15:56:16 97

大学时候想的一个算法——计算数组中最大和序列

本文与java语言无关,纯粹就是个解决问题的想法问题:给定一个数组,要求求出数组中连续数和最大的索引对。比如,给定一个数组,里面有正数有负数和0。其中肯定有一个连续的序列(连续的,中间不能间断),比如说是索引3到索引5,这个序列的和是这个数组中连续序列中最大的,别的都没这个大。{0,2.-1,9,7.6,-8,16},这个数组中就是索引三到索引五这个连续序列的和最大。要求算法的时间复杂度问O(n)...

2008-08-19 13:56:00 96

Java 的Zip操作

就算是个目录,也要new一个JarEntry,然后add到JarOutputStream里面去。

2008-06-04 23:15:00 141

Eclipse类加载机制带来的问题

除了核心类外,eclipse的功能都是由插件提供的。插件之间经常会互相扩展,这些插件之间难免要使用到彼此的类。Eclipse给每一个插件都分配的一个classloader来负责加载其中的类。所以默认情况下,Eclipse的不同插件中的类是彼此不可见的。 在两种情况下Eclipse插件可能用到其它插件的类。一是直接添加plug-in dependence,然后在程序中直接使用。然后是把extens...

2007-07-04 17:11:00 160

TPTP官方文档

http://www.eclipse.org/tptp/home/documents/index.html

2007-07-04 16:23:00 1531

为什么Java不支持创建范型数组?

http://www.blogjava.net/sean/archive/2005/08/09/9630.html 最近看到BlogJava上有人在讨论为什么Java范型不支持数组http://www.blogjava.net/myqiao/archive/2005/08/08/9580.html 我想这个问题的答案是:因为这样做会破坏类型安全。核心的问题在于Java范型和C#范型存...

2007-01-19 20:12:00 93

报LinkageError的原因(1)

LinkageError是一个比较棘手的异常,准确的说它是一个Error而不是Exception。java api对它没有直接的解释,而是介绍了它的子类: Subclasses of LinkageError indicate that a class has some dependency on another class; however, the latter class has inc...

2006-12-11 20:28:00 1113

关于java数组的深度思考

刚刚开始接触java数组的人都会听到一句类似的话:java是纯面向对象的语言,他的数组也是一个对象。于是乎,我就按照一个对象的方式来使用数组,心安理得。直到我接触到C的数组后,才发现将数组作为一个类来使用在实现上是多么的“不自然”。首先我们看一下表面现象,数组创建的时候采用的是如下语句:MyClass[] arr = new MyClass[9];而普通类采用的是如下语句:MyClass obj ...

2006-09-18 14:18:00 62

使用SAX解析msn聊天记录文档的java小程序

SAX是一种基于事件驱动模式的XML解析API,好处是快,而且节省内存,坏处是程序编写起来相对复杂,而且给人感觉不够OO。最好用的还是DOM,但是占内存太多,极限的时候会引起OutOfMemory异常。 闲话就说道这里,下面开始说程序。sun的JDK1.5中包含我下面程序将用到的所有import的类,所以运行的时候不需要第三方jar包。 //---------------------...

2006-09-15 15:49:00 66

Javasssist初探(需要对Java的ClassLoader机制有一些了解)

Javassist可以用来动态生成java类,就好像js可以生成可执行的js代码一样。javassist是JBoss的一个子项目,用处的话可能是在对EJB提供支持的时候,将声称各种接口的实现类和代理类。 下面给出一个例子,在这个例子中一共有三个类:DirectLoader自定义类加载器;IAccess是接口类(我们动态生成的类要实现这个接口);MainTest完成主要逻辑的类,其中javassi...

2006-09-12 17:07:00 135

Timer和TimerTask的使用

这两个类使用起来非常方便,可以完成我们对定时器的绝大多数需求 Timer类是用来执行任务的类,它接受一个TimerTask做参数 Timer有两种执行任务的模式,最常用的是schedule,它可以以两种方式执行任务:1:在某个时间(Data),2:在某个固定的时间之后(int delay).这两种方式都可以指定任务执行的频率.看个简单的例子: importjava.io.IOExc...

2006-09-11 13:58:00 68

${}的使用

在我使用循环标签(logic:iterator)内嵌套select标签的时候,经常会遇到一个烦人的问题。需要将循环标签中定义的bean的一个属性的数值赋值给select的option的value属性,这个时候如果使用bean:write标签,则会报错,无法成功赋值。这时候,如果还想使用select标签,可以使用jsp新的特性解决:1:在page、requset、session、applicatio...

2006-09-04 11:55:00 184

记录一下连接各种数据库的url,备忘。

Java数据库连接(JDBC)由一组用 Java 编程语言编写的类和接口组成。JDBC 为工具/数据库开发人员提供了一个标准的 API,使他们能够用纯Java API 来编写数据库应用程序。然而各个开发商的接口并不完全相同,所以开发环境的变化会带来一定的配置变化。本文主要集合了不同数据库的连接方式。   一、连接各种数据库方式速查表   下面罗列了各种数据库使用JDBC连接的方式,可以作为一个...

2006-08-11 16:53:00 84

Array类对数组的操作

Array通过反射,封装了一系列对数组的操作。下面举例说明一下,ps,例子是抄来的,呵呵 importjava.lang.reflect.*;publicclassarray2{publicstaticvoidmain(Stringargs[]){intdims[]=newint[]{5,10,15};Objectarr=Array.newInstance(Integer.TYPE,dims...

2006-08-09 17:29:00 74

得到方法调用者和java中的位操作符

获取方法的调用者 如果你写了一个超级复杂超级大的项目,在项目后期调试修改的时候,突然想知道到底是哪些类调用了ImportantClass中的Important方法,你会怎么做呢? 首先,你可能说:我用不到!如果这样的话,到这里你就可以return了。做法一:最常规有效的做法,使用IDE的全目录全文搜索方法名。当然这样是最有效快速的。但是如果有很多别的类中也定义了Important方法,你就会得...

2006-08-04 13:29:00 121

正则表达式

正则表达式是与语言无关的一种表达式语言,好像是在JDK 1.4及其后续版本中才新增的功能。String类的split方法就是按照一个正则表达式参数对字符串进行切割和匹配,返回切割后的字符串数组。这个功能是不是新增的记不清了,我n久以前在知道有正则表达式这回事之前就用JDK1.4了。其实正则表达式就是匹配,学过sql语句中模糊查询语法的人对之都不会陌生。以上内容是我自己写的,正确性请读者自己把握^_...

2006-08-04 11:58:00 56

nio简介

nio简介 nio的Socket编程中改变最大的是服务器端,客户端可以没有什么变化。目的是增加服务器吞吐量和并行处理客户端请求的能力,改变服务器端阻塞的模型。其设计上采用了Observer模式,使用事件触发机制进行io并行处理。 ByteBuffer:封装了一个byte[],作为数据载体。 ServerSocketChannel:服务器套接字通道通过其工厂方法ServerSocketChan...

2006-08-04 11:49:00 123

java集合框架接口宏观结构:

java集合框架接口宏观结构: java集合框架是一个设计优美的集合框架,为java编程提供了很大的帮助,并且附有高效的实现.使得模块之间可以使用接口进行交互,从而使得程序有很大的扩展性.java集合框架是包含在java标准库里面的,任何支持java的地方都支持.一些需要注意的小问题: List接口的subList方法是一个列表视图,也就是说所有对sublist的操作都会对原Li...

2006-08-04 11:48:00 57

swing编程的一些需要注意的事情

swing是非线程安全的,也就是说,如果多个线程同时对一个swing组件进行操作,很可能会引发异常等问题,以至程序崩溃。毕竟,repaint是一个比较花费时间的操作,如果一个swing组件在repaint的过程中,其内容被更改,就会导致repaint的内容与修改后的内容不符,可能导致访问错误(比如多线程环境下修改一个List的item项)。 使用Swing的时候,有几个需要注意的地方。首先,当一...

2006-07-31 10:34:00 106

Tomcat 配置集锦

Tomcat 服务器server.xml的关键参数配置说明:以下文字均以tomcat5.0.30为例进行。1,配置tomcat服务器访问端口,只需配置Connector的port端口即可。Tomcat默认为8080,现修改port参数值为80。<!-- Define a non-SSL Coyote HTTP/1.1 Connector on port 8080 --><Conn...

2006-07-28 11:04:00 102

类加载器的收获

类加载器的收获 最近读了很多关于ClassLoader的文章,收获不少。在这里赶紧总结回顾一下,吸收吸收。 首先,关于ClassLoader的一些基本的概念我就不再详细说了。如果连系统中不仅有一个ClassLoader,ClassLoader的作用,ClassLoader是有层次结构,为什么要有自定义类加载器,这些问题都还不明白,那么下文读起来肯定很吃力。 ClassLoader这个...

2006-07-26 15:50:00 88

Get a load of that name! (很不错的文章!)

Get a load of that name! Subtle differences in various ways you can dynamically load a class <!--<BLOCKQUOTE><STRONG>Summary</STRONG><BR>--><!--</BLOCKQUOTE&g...

2006-07-25 17:27:00 151

Find a way out of the ClassLoader maze (2)

Find a way out of the ClassLoader maze System, current, context? Which ClassLoader should you use? <!--<BLOCKQUOTE><STRONG>Summary</STRONG><BR>--><!-- REPLACE SU...

2006-07-25 16:23:00 167

Find a way out of the ClassLoader maze (1)

Find a way out of the ClassLoader maze System, current, context? Which ClassLoader should you use? <!--<BLOCKQUOTE><STRONG>Summary</STRONG><BR>--><!--</BLOCKQ...

2006-07-25 16:05:00 141

Inside Class Loaders

by Andreas Schaefer11/12/2003 This series of articles started when I wanted to write a weblog about the impact of class loaders in a J2EE server. But the log entry grew, due the fact that a few basic...

2006-07-21 16:23:00 195

Java类加载内幕

Java类加载内幕 作者: ∣来源:it专家java技术∣原文地址∣2005-10-19   类加载是java语言提供的最强大的机制之一。尽管类加载并不是讨论的热点话题,但所有的编程人员都应该了解其工作机制,明白如何做才能让其满足我们的需要。这能有效节省我们的编码时间,从不断调试ClassNotFoundException, ClassCastException的工作中解脱出来。 ...

2006-07-21 13:16:00 92

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除