- 博客(54)
- 收藏
- 关注
RSS订阅Spark On Yarn编译，部署和测试
环境Spark On Yarn环境准备：Spark：0.9.1 release。注意要选择relase版本（不是incubating版），踩到的坑会比较少。下载页面 http://spark.apache.org/downloads.html Hadoop：2.0.0-cdh4.2.1。MRv2（Yarn）环境：cygwin（Git console also works）...
2014-04-11 16:50:10
317
原创 SAXP解析XML的笔记
SAXP 使用streaming 读取xml ，基于事件触发和回调函数处理xml 内容，占用内存小，速度快，适用于1 ）仅仅读取但是不改变xml 内容 2 ）只处理内容一次，类似于在xml 中查找相关内容。创建Factory 解析xml 过程。首先需要创建factory ，factory 是用来创建parser 的，包含一些创建parser 的属性。view source p...
2014-04-11 16:47:52
250
原创 编写ganglia的客户端发送metrics
ganglia中gmond是负责搜集metrics数据的。gmond被设计为使用UDP搜集metrics数据，可以方便的使用python，脚本，java来发送metrics数据给gmond。这样，gmond上就可以包含除了本身搜集的机器级别的metrics之外的metrics内容。 gmond存储的metrics的信息如下： <GANGLIA_XML VERSION="3...
2014-04-09 16:05:56
263
原创 ganglia监控系统简介
模块和名词介绍 ganglia是个运行在linux上的集群监控系统，它有三个组件：gmond，gmeta，和web模块。ganglia以metrics为单位，对集群进行监控。 metrics：可以认为就是指标。一个metrics至少有一个名字，值和时间。比如cpu-usage，值是500，时间是2014-04-09 15:24。这样有了一连串的metrics，就可以以时间为x轴...
2014-04-09 15:34:48
260
Java Log 系统介绍以及切换
Java的log系统比较繁杂。在这里梳理一下。本文只涉及log系统介绍和处理log系统之间的切换。不涉及如何配置和使用。 具体的log系统Log4j：准确的说是log4j 1.x版。是之前使用最广泛的log系统。Logback：Log4j的作者另立炉灶写的新版log，比起log4j性能更好。具体的对比可以参考http://www.oschina.net/translate/re...
2014-04-01 16:44:46
121
原创 Ganglia 部署与配置
简介ganglia是一个不错的用来监控集群的开源软件。依托于RRDTools，它可以方便的生成metrics graph，对metrics进行聚合等。ganglia自带的客户端可以搜集集群节点CPU，memory，network的负载。也可以方便的通过编程发送UDP包来将程序的metrics发给ganglia。单独的metrics graph： 几个metr...
2014-03-31 14:33:03
691
云与云计算科普，高手请绕道
云计算？云计算现在算是比较火的一个名词了。从最开始的怀疑，质疑，到普遍的应用，再到现在各大软件公司都开发自己的云，云计算这个方向在企业应用里，就如同SOA一样，已经开始飞入寻常百姓家了。云计算其实乍听之下确实有点忽悠。主要还是因为现在还没有一个标准。但是云计算要解决的核心问题就是资源。让应用可以按需获取资源，可以灵活的增加减少应用的资源（Scale Up/...
2011-10-11 14:07:15
109
原创 LinkageError之loader (instance of xxx) previously initiated loading for a differe
LinkageError包括其子类，是Java中比较不应该出现的Error。出现这些问题，大概有几个问题：ClassLoader没有严格遵守Java中默认的双亲委派模式；全限定名相同的两个类在不同的CL中有重复；程序运行时使用的类的版本与开发时候不一样（类有变化，比如改了方法的可见性等）。而LinkageError本身则更少见。当遇到LinkageError loader (ins...
2011-10-11 14:06:17
447
原创 KMP字符串搜索
KMP号称是效率最高的字符串搜索算法，大学数据结构的时候老师说这玩意不考，然后我就 直接趴下睡觉了-_-|||。这阵子正好要做点字符串搜索的东西，顺便抄起数据结构的书看看。KMP算法是Knuth、Morris、Pratt仨牛人发明的，不过俺也只听说过Knuth。算法的思想不难，不过还是有点小绕脑子的。Java SDK的String类中的inde...
2011-10-11 14:05:58
84
原创 解析XML——简单直接的来。
==================闲扯的话================对于现在越来越轻量级，越来越讲究速度和接近用户的应用来说，xml确实有点复杂了。解析起来不仅耗内存，而且很复杂。这就好像花了几千块钱买了个MSOffice，但是80%的feature都用不着，还白白的耗着CPU和内存。个人觉得，设置文件用XML其实挺好，因为设置文件...
2011-10-10 15:48:10
104
原创 BOM
BOM - Byte Order Mark。对于Unicode编码的文件，BOM可以出现在文件最开始，用来指示一个文本所使用的编码。Unicode有好几种编码，UTF-8，UTF-16BE/LE等。如果不知道文件编码，将无法正确解析文件。BOM则解决了这种问题。但是对于使用其它方式指定编码的文件，则BOM可能会引发问题。比如对于特定的系统，如果需要手动指定文件编码，则BOM和指定的编码...
2011-10-10 15:46:53
87
原创 JUnit4 Tutorial
JUnit4比之前的版本可爱多了。编写Testcase使用JUnit4编写testcase不再有继承Testcase类的负担了。只要在测试方法加annotation@org.junit.Test就行了。@org.junit.Testpublic void test1(){ // u...
2011-10-10 15:44:44
82
原创 JSON入门——JSON的组成和解析
用JSON也有挺长时间了，最近做了个小软件，需要调用第三方API。Google translate API是使用JSON数据格式的。而douban API是使用XML数据格式的。过程中不禁感慨，xml真是不大适合存储数据，占用资源多不说，解析起来也很麻烦。现在越来越多的api开始使用json作为数据载体，还是有它的道理的。facebook最新的的graph api也是使用json作...
2011-10-10 15:43:27
130
原创 Facebook Auth API文档中没说清楚的事情
facebook api的文档写的不清不楚，很多都要靠自己碰壁之后猜测和琢磨问题的原因。下面是几个文档中没说清楚的地方：· The URL：Facebook api首先要使用app的一些id什么的，通过一个link来让用户授权这个app。如果用户授权后，facebook会callback...
2011-10-10 15:37:02
279
深夜两点
[color=navy]自己写的一个小程序，做个视频冒充一下技术宅……[flash=600,500]http://player.youku.com/player.php/sid/XMTU5MTY3MTEy/v.swf[/flash]程序经多次优化，终于能够达到一个可以接受的性能了……莫言Java无效率，其实重要的还是要精雕细琢。至 少就绘制Julia Set而言，我这个程序比我见过...
2010-04-07 15:56:16
97
大学时候想的一个算法——计算数组中最大和序列
本文与java语言无关，纯粹就是个解决问题的想法问题：给定一个数组，要求求出数组中连续数和最大的索引对。比如，给定一个数组，里面有正数有负数和0。其中肯定有一个连续的序列（连续的，中间不能间断），比如说是索引3到索引5，这个序列的和是这个数组中连续序列中最大的，别的都没这个大。{0,2.-1,9,7.6,-8,16}，这个数组中就是索引三到索引五这个连续序列的和最大。要求算法的时间复杂度问O(n)...
2008-08-19 13:56:00
96
Eclipse类加载机制带来的问题
除了核心类外，eclipse的功能都是由插件提供的。插件之间经常会互相扩展，这些插件之间难免要使用到彼此的类。Eclipse给每一个插件都分配的一个classloader来负责加载其中的类。所以默认情况下，Eclipse的不同插件中的类是彼此不可见的。在两种情况下Eclipse插件可能用到其它插件的类。一是直接添加plug-in dependence，然后在程序中直接使用。然后是把extens...
2007-07-04 17:11:00
160
为什么Java不支持创建范型数组？
http://www.blogjava.net/sean/archive/2005/08/09/9630.html最近看到BlogJava上有人在讨论为什么Java范型不支持数组http://www.blogjava.net/myqiao/archive/2005/08/08/9580.html我想这个问题的答案是：因为这样做会破坏类型安全。核心的问题在于Java范型和C#范型存...
2007-01-19 20:12:00
93
报LinkageError的原因（1）
LinkageError是一个比较棘手的异常，准确的说它是一个Error而不是Exception。java api对它没有直接的解释，而是介绍了它的子类： Subclasses of LinkageError indicate that a class has some dependency on another class; however, the latter class has inc...
2006-12-11 20:28:00
1113
关于java数组的深度思考
刚刚开始接触java数组的人都会听到一句类似的话：java是纯面向对象的语言，他的数组也是一个对象。于是乎，我就按照一个对象的方式来使用数组，心安理得。直到我接触到C的数组后，才发现将数组作为一个类来使用在实现上是多么的“不自然”。首先我们看一下表面现象，数组创建的时候采用的是如下语句：MyClass[] arr = new MyClass[9];而普通类采用的是如下语句：MyClass obj ...
2006-09-18 14:18:00
62
使用SAX解析msn聊天记录文档的java小程序
SAX是一种基于事件驱动模式的XML解析API，好处是快，而且节省内存，坏处是程序编写起来相对复杂，而且给人感觉不够OO。最好用的还是DOM，但是占内存太多，极限的时候会引起OutOfMemory异常。闲话就说道这里，下面开始说程序。sun的JDK1.5中包含我下面程序将用到的所有import的类，所以运行的时候不需要第三方jar包。//---------------------...
2006-09-15 15:49:00
66
Javasssist初探（需要对Java的ClassLoader机制有一些了解）
Javassist可以用来动态生成java类，就好像js可以生成可执行的js代码一样。javassist是JBoss的一个子项目，用处的话可能是在对EJB提供支持的时候，将声称各种接口的实现类和代理类。下面给出一个例子，在这个例子中一共有三个类：DirectLoader自定义类加载器；IAccess是接口类（我们动态生成的类要实现这个接口）；MainTest完成主要逻辑的类，其中javassi...
2006-09-12 17:07:00
135
Timer和TimerTask的使用
这两个类使用起来非常方便，可以完成我们对定时器的绝大多数需求Timer类是用来执行任务的类，它接受一个TimerTask做参数Timer有两种执行任务的模式,最常用的是schedule,它可以以两种方式执行任务:1:在某个时间(Data)，2:在某个固定的时间之后(int delay).这两种方式都可以指定任务执行的频率.看个简单的例子:importjava.io.IOExc...
2006-09-11 13:58:00
68
${}的使用
在我使用循环标签(logic:iterator)内嵌套select标签的时候，经常会遇到一个烦人的问题。需要将循环标签中定义的bean的一个属性的数值赋值给select的option的value属性，这个时候如果使用bean:write标签，则会报错，无法成功赋值。这时候，如果还想使用select标签，可以使用jsp新的特性解决：1：在page、requset、session、applicatio...
2006-09-04 11:55:00
184
记录一下连接各种数据库的url，备忘。
Java数据库连接（JDBC）由一组用 Java 编程语言编写的类和接口组成。JDBC 为工具/数据库开发人员提供了一个标准的 API，使他们能够用纯Java API 来编写数据库应用程序。然而各个开发商的接口并不完全相同，所以开发环境的变化会带来一定的配置变化。本文主要集合了不同数据库的连接方式。 一、连接各种数据库方式速查表 下面罗列了各种数据库使用JDBC连接的方式，可以作为一个...
2006-08-11 16:53:00
84
Array类对数组的操作
Array通过反射，封装了一系列对数组的操作。下面举例说明一下，ps，例子是抄来的，呵呵importjava.lang.reflect.*;publicclassarray2{publicstaticvoidmain(Stringargs[]){intdims[]=newint[]{5,10,15};Objectarr=Array.newInstance(Integer.TYPE,dims...
2006-08-09 17:29:00
74
得到方法调用者和java中的位操作符
获取方法的调用者如果你写了一个超级复杂超级大的项目，在项目后期调试修改的时候，突然想知道到底是哪些类调用了ImportantClass中的Important方法，你会怎么做呢？首先，你可能说：我用不到！如果这样的话，到这里你就可以return了。做法一：最常规有效的做法，使用IDE的全目录全文搜索方法名。当然这样是最有效快速的。但是如果有很多别的类中也定义了Important方法，你就会得...
2006-08-04 13:29:00
121
正则表达式
正则表达式是与语言无关的一种表达式语言，好像是在JDK 1.4及其后续版本中才新增的功能。String类的split方法就是按照一个正则表达式参数对字符串进行切割和匹配，返回切割后的字符串数组。这个功能是不是新增的记不清了，我n久以前在知道有正则表达式这回事之前就用JDK1.4了。其实正则表达式就是匹配，学过sql语句中模糊查询语法的人对之都不会陌生。以上内容是我自己写的，正确性请读者自己把握^_...
2006-08-04 11:58:00
56
nio简介
nio简介 nio的Socket编程中改变最大的是服务器端，客户端可以没有什么变化。目的是增加服务器吞吐量和并行处理客户端请求的能力，改变服务器端阻塞的模型。其设计上采用了Observer模式，使用事件触发机制进行io并行处理。 ByteBuffer：封装了一个byte[]，作为数据载体。 ServerSocketChannel：服务器套接字通道通过其工厂方法ServerSocketChan...
2006-08-04 11:49:00
123
java集合框架接口宏观结构:
java集合框架接口宏观结构: java集合框架是一个设计优美的集合框架,为java编程提供了很大的帮助,并且附有高效的实现.使得模块之间可以使用接口进行交互,从而使得程序有很大的扩展性.java集合框架是包含在java标准库里面的,任何支持java的地方都支持.一些需要注意的小问题: List接口的subList方法是一个列表视图,也就是说所有对sublist的操作都会对原Li...
2006-08-04 11:48:00
57
swing编程的一些需要注意的事情
swing是非线程安全的，也就是说，如果多个线程同时对一个swing组件进行操作，很可能会引发异常等问题，以至程序崩溃。毕竟，repaint是一个比较花费时间的操作，如果一个swing组件在repaint的过程中，其内容被更改，就会导致repaint的内容与修改后的内容不符，可能导致访问错误（比如多线程环境下修改一个List的item项）。使用Swing的时候，有几个需要注意的地方。首先，当一...
2006-07-31 10:34:00
106
Tomcat 配置集锦
Tomcat 服务器server.xml的关键参数配置说明：以下文字均以tomcat5.0.30为例进行。1，配置tomcat服务器访问端口，只需配置Connector的port端口即可。Tomcat默认为8080，现修改port参数值为80。<!-- Define a non-SSL Coyote HTTP/1.1 Connector on port 8080 --><Conn...
2006-07-28 11:04:00
102
类加载器的收获
类加载器的收获最近读了很多关于ClassLoader的文章，收获不少。在这里赶紧总结回顾一下，吸收吸收。首先，关于ClassLoader的一些基本的概念我就不再详细说了。如果连系统中不仅有一个ClassLoader，ClassLoader的作用，ClassLoader是有层次结构，为什么要有自定义类加载器，这些问题都还不明白，那么下文读起来肯定很吃力。ClassLoader这个...
2006-07-26 15:50:00
88
Get a load of that name! (很不错的文章！)
Get a load of that name! Subtle differences in various ways you can dynamically load a class <!--<BLOCKQUOTE><STRONG>Summary</STRONG><BR>--><!--</BLOCKQUOTE&g...
2006-07-25 17:27:00
151
Find a way out of the ClassLoader maze (2)
Find a way out of the ClassLoader maze System, current, context? Which ClassLoader should you use? <!--<BLOCKQUOTE><STRONG>Summary</STRONG><BR>--><!-- REPLACE SU...
2006-07-25 16:23:00
167
Find a way out of the ClassLoader maze (1)
Find a way out of the ClassLoader maze System, current, context? Which ClassLoader should you use? <!--<BLOCKQUOTE><STRONG>Summary</STRONG><BR>--><!--</BLOCKQ...
2006-07-25 16:05:00
141
Inside Class Loaders
by Andreas Schaefer11/12/2003This series of articles started when I wanted to write a weblog about the impact of class loaders in a J2EE server. But the log entry grew, due the fact that a few basic...
2006-07-21 16:23:00
196
Java类加载内幕
Java类加载内幕 作者： ∣来源：it专家java技术∣原文地址∣2005-10-19 类加载是java语言提供的最强大的机制之一。尽管类加载并不是讨论的热点话题，但所有的编程人员都应该了解其工作机制，明白如何做才能让其满足我们的需要。这能有效节省我们的编码时间，从不断调试ClassNotFoundException, ClassCastException的工作中解脱出来。...
2006-07-21 13:16:00
92
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人