- 博客(55)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hadoop源码解析copyFromLocal
好奇分布式存储是怎么实现的，如何能将一个文件存储到HDFS上，HDFS的文件目录只是一个空壳，真正存储数据的是DataNode，那么当我们把一个文件放到HDFS上的时候，集群都做了哪些工作呢 ?也就是执行命令copyFromLocal这个命令都做了哪些操作首先命令肯定对应着源码里面的某一个方法，这个方法是FsShell类的copyFromLocal，代码： void copyFr...
2013-08-07 17:51:14
825
原创 InetSocketAddress的使用
使用NIO的InetSocketAddress建立网络通信非常方便，包括服务端和客户端：服务端创建一个ServerSocketChannel，等待客户端发起链接请求，下面的例子比较简单，开启服务端等待客户端请求，接收到客户端的连接后，给客户端发送数据。 Server段代码：import java.io.IOException;import java.io.OutputStre...
2013-08-07 09:36:01
3600
原创 scala的map类型
scala的map数据类型类似自己在草稿上随手画出，很形象地表达了人的思想，容易理解，使用起来也非常简单，先看如何创建一个map对象：val products = Map("hjunetcn" -> 20500015, "hkbicicom" -> 20400010, "hkceducn" -> 20500005, "hl1314com" ...
2013-08-01 13:11:59
666
原创 hadoop中LineReader的readLine方法解析
Hadoop默认的读取一条数据，使用的就是LineReader的readLine方法，这个方法具体怎么工作，可以直接看源码，因为比较复杂，所以加上一些注释： /** * Read one line from the InputStream into the given Text. A line can be * terminated by one of the ...
2013-07-31 18:34:11
722
原创 scala读取文件
scala读取文件非常的简单，使用的都是scala模板提供的静态函数，打开一个文件的 IO 流就一句话，比Java的数据流包装简单：val src = scala.io.Source.fromFile("E:/JavaObject/Url_Product_Classification.txt") 得到数据IO流以后可以使用src.getLines()函数得到Iterator，后面就与J...
2013-07-31 16:41:20
403
原创 scala初识
scala是一门混合了函数和面向对象的语言，关于scala的详细介绍在scala的官网上有详细的介绍。参考文档：http://www.scala-lang.org/old/node/25 scala程序运行在JVM上，相信熟悉Java的人，这个很容易就能配置，scala的配置包可以从上面的网站上下载，在机器的环境变量里配置就可以使用，为了能够更好地进行scala的开发，scala提供...
2013-07-30 21:35:10
81
原创 hadoop新版本多文件输出
基于Hadoop 1.0.1版本编写，在hadoop 1.0.1 + 版本应该都可以使用import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import...
2013-04-19 15:24:31
102
原创 hadoop实现自定义的数据类型
关于自定义数据类型，http://book.douban.com/annotation/17067489/ 一文中给出了一个比较清晰的说明和解释。以wordCount为例子定义自己的数据类型Http类import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import ...
2013-04-08 14:59:44
234
原创 Log4j配置信息
log4j的日志输出格式： %m 输出代码中指定的消息 %p 输出优先级，即DEBUG，INFO，WARN，ERROR，FATAL %r 输出自应用启动到输出该log信息耗费的毫秒数 %c 输出所属的类目，通常就是所在类的全名 %t 输出产生该日志事件的线程名 %n 输出一个回车换行符，Windows平台为“/r/n”，Un...
2013-02-28 15:19:58
104
原创 使用MapReduce往Hbase插入数据
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.clien...
2012-11-11 21:11:11
200
原创 php 删除mysql表中的数据
php 删除mysql表中的数据 <html><head><title>Delete a Record from MySQL Database</title></head><body><?php if(isset($_POST['delete'])) { $dbhost = '...
2012-09-14 20:19:11
444
原创 php更新数据库信息
php更新数据库信息 <html><head><title>Update a Record in MySQL Database</title></head><body><?php if(isset($_POST['update'])) { $dbhost = 'localhos...
2012-09-14 20:02:12
166
原创 php 从mysql中读取数据
php 从mysql中读取数据 <?php $dbhost = 'localhost:3306'; $dbuser = 'root'; $dbpass = 'root'; $conn = mysql_connect($dbhost, $dbuser, $dbpass); if(! $conn ) { die('Could not connect to ...
2012-09-14 19:43:18
131
原创 php 往mysql中插入数据
php 往mysql中插入数据<html><head><title>Add New Record in MySQL Database</title></head><body><?php if(isset($_POST['add'])) { $dbhost = 'localhost...
2012-09-14 19:36:05
197
原创 PHP 连接mysql数据库
PHP 连接mysql数据库<?php $dbhost = 'localhost:3306'; $dbuser = 'root'; $dbpass = 'root'; $conn = mysql_connect($dbhost, $dbuser, $dbpass); if(! $conn ) { echo 'Connect failure'; }...
2012-09-14 15:12:26
155
原创 eclipse添加svn插件
在eclipse中安装svn插件：1，下载eclipse的svn插件叫做Subclipse,官方网站的下载地址在http://subclipse.tigris.org/，也提供了update site http://subclipse.tigris.org/update2，eclipse中help-->install new software-->add选择下载的...
2012-09-06 18:48:30
95
原创 svn服务器与客户端配置
首先得下载svn的服务器和客户端服务器：http://subversion.apache.org/packages.html客户端：http://tortoisesvn.net/downloads.html安装完以后打开命令窗口切换到subversion的安装目录的bin目录下首先在f:\svn\project\的目录下创建一个repository，命令如下：>&g...
2012-09-06 18:45:39
95
原创 ibatis的增，删，改，查
对mysql进行操作，创建数据库表CREATE TABLE EMPLOYEE ( id INT NOT NULL auto_increment, first_name VARCHAR(20) default NULL, last_name VARCHAR(20) default NULL, salary INT default NULL, ...
2012-09-04 21:35:51
90
原创 搭建可运行的ibatis平台
ibatis是一个持久层框架，能够自动映射数据库和java中的对象，ibatis使得创建更好的面向数据库的应用变得更快，使用更少的代码。ibatis与其他持久层框架的最大区别在于ibatis着重于结构化查询语言SQL，而其他的框架主要使用传统的查询语言如Hibernate使用HQL语言ibatis设计遵循的原则：1，简易性：ibatis被广泛认为是最简单的持久层框架之一...
2012-09-04 20:54:32
100
原创 python的list 和tuple
在python中最基本的结构是序列化结构，每个值都有它固定的位置，位置的下表从0到长度-1，python有六种基本的序列化结构类型，最常用的是list和tuplelist是最通用的数据类型，list以逗号分隔，方括号包围，一个列表可以放任意类型的值下面创建一个有四个元素的listlist1 = ['physics', 'chemistry', 1997, 2000];print...
2012-08-25 16:03:12
104
原创 python的安装
在window下安装python：1.从官网下下载相应的版本，网址： http://www.python.org/download/2.配置环境变量：将python的安装目录添加到path下：如：D:\python273.在命令控制台下，输入命令 python如果没有提示 python不是命令说明安装成功了，会输出版本信息：Python 2.7.3 (defa...
2012-08-23 10:08:10
79
原创 html5的页面存储
html5的页面存储使用html5，浏览器可以将页面数据存储在本地，早期是通过cookies实现的。然而，页面存储更快也更安全，存储的数据不包括所有的服务请求，只有在被请求的情况下才存储数据，在不影响网站性能的情况下可以存储大量的数据，数据是以键值对的形式存储的在客户端存储数据有两种形式：本地存储：无限期的存储数据，在浏览器关闭的时候也不会被删除，以后还是可用的会话存储：...
2012-08-22 09:05:47
114
原创 html5 定位，地理位置
使用html5定位你的地理位置自从定位技术让步于个人隐私，指定位置只能在用户许可的情况下使用通过使用getCurrentPosition()方法来获得用户的位置下面的例子返回用户的经度和纬度：并在图中显示出来，在使用时当请求跟踪位置的时候选择允许跟踪：<body><p id="demo">Click the button to get y...
2012-08-22 09:03:42
184
原创 初识html5
html5的一些新特性：1.添加了<video>和<audio>媒体文件2.支持本地文件存储3.新的内容控制元素，如<article>、<footer>、<header>、<nav>和<section>4.新的表单控件，如: calendar、date、time、email、url和searc
2012-08-21 14:35:05
96
原创 Log4j的使用
Log4j可以很好的进行程序的跟踪：1.首先编写log4j.properties，这个在网上有很多，可以直接拿过来使用log4j.rootLogger=debug, stdout, Rlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.log...
2012-08-20 22:11:12
78
原创 Map的排序
使用Collections对Map进行排序，可以对值进行排序，也可以对键进行排序，可以根据自己的需要去实现，下面程序实现的是对值进行排序：import java.util.ArrayList;import java.util.Collections;import java.util.Comparator;import java.util.HashMap;import j...
2012-08-18 19:10:15
87
原创 servlet中过滤器的使用
在servlet中过滤器的使用，这个例子实现对用户登录的验证，当前用户的session为空的时候，不允许查看数据：下面看具体的例子：1.编写过滤器： import java.io.IOException;import javax.servlet.Filter;import javax.servlet.FilterChain;import javax.servlet...
2012-08-15 19:46:25
101
原创 android解析json数据
使用android解析json数据：json是一种特定的数据格式，其实就是一些键值对的组合，这里简单定义一个json的数组：private String jsonData = "[{\"name\":\"bao\", \"age\":12}, {\"name\":\"Allen\", \"age\":23}]"; 对这个json数据进行解析：
2012-08-14 20:41:14
82
原创 servlet中使用db4o
在web的工程如果想使用db4o，是不能直接使用的，如果想使用的就得做一些初始化的工作，以便在servlet中使用，具体可以看下面的两个网页有详细的介绍： http://java.dzone.com/articles/db4o-java http://community.versant.com/documentation/reference/db4o-8.1/java/re...
2012-08-07 20:37:45
114
原创 how to extract image from PDF in java
how to extract image from PDF in java: public static void readImageFromPDF(String filePath, String imagePath) { try { // 加载PDF文件 PDDocument document = PDDocument.load(filePath); //...
2012-08-02 08:42:54
122
原创 java 解析PDF
用java读取PDF，这里用到了itext，jar包可以自己上网下载： public static void readPDF(String path) throws Exception { try { PdfReader reader = new PdfReader(path); int n = reader.getNumberOfPages(); Sy...
2012-08-01 21:34:13
167
原创 hbase整合hive
将对hbase-0.90.6和hive-0.8.1进行集成，使用的hadoop-0.20.21.首先将hbase-0.90.6.jar和zookeeper-3.3.2.jar复制到hive/lib目录下...
2012-07-25 19:05:22
65
原创 hive处理特殊分割符的日志
在平时使用的都是指定分割符的存储，在遇到特殊符号的，比如有好几个字符相连的，hive是不能自己处理的，这时候就需要在inputformat/outputformat上处理：实现这个功能需要实现两个函数：一个是InputFormat的next函数：在这里处理的特殊字符是 @##@ 分割符号： @Override public boolean next(Long...
2012-07-24 21:49:04
137
原创 jdbc连接hive
使用jdbc连接hive1.开启集群： start-all.sh2.启动服务： hive--service hiveserver3.加入必要的jar包： hadoop-x.xx.x-core.jar和 hi...
2012-07-24 17:22:52
104
原创 SAX解析xml文件
使用SAX解析xml文件：import java.io.File;import javax.xml.parsers.SAXParser;import javax.xml.parsers.SAXParserFactory;import org.xml.sax.Attributes;import org.xml.sax.SAXException;import or...
2012-07-21 20:39:49
248
原创 在集群上运行hadoop程序
p { margin-bottom: 0.08in; }在hadoop集群上执行程序：这里只是简单的实现文件的读取工作：1.开启hadoop: start.all.sh注意在开启hadoop后并不能马上进行下面的操作，hadoop...
2012-07-20 20:32:30
288
原创 父线程停止是否会导致子线程停止
父线程停止是否会导致子线程停止呢？不会，具体可看测试程序：public class MultiThread { public static void main(String args[]) throws Exception { boolean flag = true; while (flag) { ...
2012-07-20 18:31:40
504
原创 pig的一些基本函数的应用
1.加载数据： records=load './Desktop/data.txt' using PigStorage as(year:int,temperature:int, quality:int);2.查看数据： dumprecords;3.根据quality字段对records...
2012-07-17 19:01:27
314
原创 pig中python的使用
WritingPython UDFs 1.writepython script:@outputSchema("word:chararray")def helloworld(): return 'Hello, World'@outputSchema("word:chararray,num:long")def complex(word):...
2012-07-17 18:11:06
291
原创 AES加密解密
AES实现加密解密的功能：import java.security.SecureRandom;import javax.crypto.Cipher;import javax.crypto.KeyGenerator;import javax.crypto.SecretKey;import javax.crypto.spec.SecretKeySpec;publi...
2012-07-16 21:54:03
159
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人