- 博客(4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 H2DBEngine——Driver的设计与实现
首先，我们通过下面的代码看一下JDBC是如何使用Driver的。 Connection conn = null; String driver = "oracle.jdbc.driver.OracleDriver"; Class.forName(driver); String jdbcUrl = "jdbc:oracle:thin:@localhost:1521:ORCL"; String use
2013-04-17 19:28:14
907
原创 Hadoop Reducer个数设置
在默认情况下，一个MapReduce Job如果不设置Reducer的个数，那么Reducer的个数为1。具体，可以通过JobConf.setNumReduceTasks(int numOfReduceTasks)方法来设置Reducer的个数。那么，如何确定Reducer的个数呢，Hadoop documentation 推荐了两个计算公式： 0.95 * NUMBER_OF_NOD
2013-04-08 19:06:20
5049
3
原创 Hadoop控制输出文件命名
Hadoop 控制输出文件命名 在一般情况下，Hadoop 每一个 Reducer 产生一个输出文件，文件以 part-r-00000、part-r-00001 的方式进行命名。如果需要人为的控制输出文件的命 名或者每一个 Reducer 需要写出多个输出文件时，可以采用 MultipleOutputs 类来 完成。MultipleOutputs 采用输出记录的键值对（output Key
2013-04-07 19:36:35
9257
原创 Hadoop依赖包处理方式
在编写MapReduce程序时，有时需要很多依赖的Jar包，那么如何处理依赖的Jar包呢？ 方法一： 其中最简单的一种方式是，在项目的根目录下创建lib文件夹，将所依赖的所有Jar包都放在该目录下。在将程序进行打包时将lib一并打包。Jar包的具体结构如下图所示： 方法二： 在执行Hadoop程序，在命令行直接指定(采用-libjars jar1，jar2，.....)： had
2013-04-07 19:31:38
5489
空空如也
Java读取NAS存储速度太慢
2015-03-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人