2012年08月_zjml2412

11月 10月 09月 08月

原创 hadoop运行命令

在本地文件上运行：hadoop Maxtemperature -fs file:// -jt local input/ncdc/micro max-output使用两个reducer,生成两个输出顺序文件hadoop jar Maxtemperature.jar Maxtemperature -conf conf/hadoop-localhost.xml -D mapred.red

2012-08-30 10:05:26 438

原创正则表达式

^ 匹配输入字符串的开始位置。要匹配 "^" 字符本身，请使用 "\^"$ 匹配输入字符串的结尾位置。要匹配 "$" 字符本身，请使用 "\$". 匹配除了换行符（\n）以外的任意一个字符。要匹配小数点本身，请使用 "\."? 修饰匹配次数为 0 次或 1 次。要匹配 "?" 字符本身，请使用 "\?"+ 修饰匹配次数为至少 1 次。要匹配 "+"

2012-08-29 16:17:10 314

原创用md5sum检验文件的一致性

检验文件一致性hadoop fs -copyFromLocal quangle.txt quangle.txthadoop fs -copyToLocal quangle.txt quangle.copy.txtmd5sum quangle.txt quangle.copy.txt输出结果：b33c4dbc86d45236a14f24b643a1f6f9

2012-08-28 19:49:42 732

原创 hadoop常用的命令大全

cat使用方法：hadoop fs -cat URI [URI …]将路径指定文件的内容输出chgrp使用方法：hadoop fs -chgrp [-R] GROUP URI [URI …]改变文件所属的组。使用-R将使改变在目录结构下递归进行。chmod使用方法：hadoop fs -chmod [-R] URI [URI …]改变文件的权限。使用-R将使改变在

2012-08-28 19:23:55 645

原创 MapReduce的Web界面

Hadoop的Web界面用来浏览作业信息，对于跟踪作业运行进度，查找作业完成后的统计信息和日志非常有用。浏览NameNode和JobTracker的网络接口，它们的地址默认为：NameNode :http://localhost:50070/JobTracker :http://localhost:50030/

2012-08-28 18:53:08 3914

原创 hadoop伪分布模式配置

hadoop伪分布模式配置如下：进入/home/tom/hadoop/conf，配置hadoop配置文件配置hadoop-env.sh文件export JAVA_HOME=/home/tom/jdk1.7.0_05export PATH=$PATH:/home/tom/hadoop/binexport HADOOP_CLASSPATH=/home/tom/had

2012-08-28 18:33:44 583

原创 hadoop伪分布模式下的编程步骤

haoop工作在伪分布模式下，以MaxTemperature.java为例：1.javac -classpath /home/tom/hadoop/hadoop-core-1.0.3.jar -d maxtemperature_classes MaxTemperature.java2.jar -cvf maxtemperature.jar -Cmaxtemperatur

2012-08-28 18:16:56 522

原创 hadoop里的MaxTemperature程序

hadoop工作在伪分布模式。统计最高气温。import java.io.IOException; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apa

2012-08-28 18:08:19 1806

原创 hadoop自带的WordCount程序

hadoop工作在伪分布模式。统计一篇文章中每个单词出现的次数。代码如下：import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import

2012-08-28 17:54:44 1076

原创 java更改文件名

将files文件夹下的所有文件名后加个.zip的后缀。代码如下：import java.io.File;public class RenameFile { public static void main(String args[]) { File f = new File("/home/tom/test/files"); if (f.exists()) {

2012-08-28 16:43:49 8768 1

原创 java读取zip文件和压缩zip文件

java读取名为T11.zip的文件，解压后再生成名为T22.zip的文件。代码如下:import java.io.*;import java.util.zip.*;public class ReadWriteZip { public static void main(String[] args) throws Exception { FileInputStream fi

2012-08-28 16:34:52 895

转载如何在新浪后台绑定回调地址以及Oauth2 error:redirect_uri_mismatch的解决方法

如何在新浪后台绑定回调地址以及Oauth2 error:redirect_uri_mismatch的解决方法进入http://open.weibo.com并登录，网页右上方找到“我的应用”选项进入后台。选择需要修改回调地址的应用进入应用管理界面后，在左侧选择“应用信息”>“基本信息”在右侧点击编辑后，在“

2012-08-28 10:08:37 17332 2

原创 linux下的java环境变量配置

环境变量的系统配置文件/etc/profilevim ~/.bashrcexport JAVA_HOME=/home/tom/software/jdk1.7.0_05export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/binsour

2012-08-28 08:59:44 787

原创 hadoop问题Type mismatch in value from map解决方法

12/08/27 15:49:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable12/08/27 15:49:40 WARN mapred.JobClient: No job jar

2012-08-27 18:27:42 26494 9

原创 java读取文件和写入文件的简单代码

程序首先将一个字符串写入指定文件，然后从另一个文件读出文件内容输出在屏幕。程序代码如下： import java.io.*;public class ReadWrite { public void writeFile() { String str = "this is a program"; // 要写入的内容 try { FileOutputStream ou

2012-08-27 09:28:58 15675

Delphi5高级编程丛书之GUI编程

Delphi5高级编程。内容包括设计图形界面、公共对话框，Win32公共控件，多媒体编程等内容。

2015-07-11

C++语言程序设计，郑莉，代码，课件

C++语言程序设计（第三版）（郑莉、张瑞丰、李莉）源代码和课件

2014-05-02

flash_player_firefox

flash_player_firefox 火狐的flash插件

2012-11-02

EndNoteX6_User_Guide简体中文版 Endnote作为一款经典的文献管理软件，它的功能可以分为以下几个方面：首先，它是一个文献检索工具，可以在软件界面搜索多个数据库，而无需逐一打开数据库网站；其次，它是一个文摘及全文的管理工具，可以帮助我们高效管理大量的文献信息。另外，它也是一个引文编排工具，可以自动帮助我们编辑参考文献的格式；最后，它还是一个文献共享与协作工具可以说，以上任何一个环节效率的提高，都可以极大地改善科研工作者的“生存”质量。

2012-10-13

应用信息论基础答案

朱雪龙《应用信息论基础》习题答案本书从基本概念、基本方法和基本应用三个方面较系统地介绍了信息理论。包括信源的熵率、冗余度与冗余度压缩编码等。

2012-09-26

vsftpd-2.2.2-11.el6.x86_64.rpm

2012-09-22

ftp-0.17-51.1.el6.x86_64.rpm

2012-09-22

hadoop_the_definitive_guide_3nd_edition.pdf

hadoop 权威指南第三版英文版 Foreword Preface 1. Meet Hadoop Data! Data Storage and Analysis Comparison with Other Systems RDBMS Grid Computing Volunteer Computing A Brief History of Hadoop Apache Hadoop and the Hadoop Ecosystem Hadoop Releases What’s Covered in this Book Compatibility 2. MapReduce A Weather Dataset Data Format Analyzing the Data with Unix Tools Analyzing the Data with Hadoop Map and Reduce Java MapReduce Scaling Out Data Flow Combiner Functions Running a Distributed MapReduce Job Hadoop Streaming Ruby Python import import import import import import org.apache.hadoop.fs.Path; org.apache.hadoop.io.IntWritable; org.apache.hadoop.io.Text; org.apache.hadoop.mapreduce.Job; org.apache.hadoop.mapreduce.lib.input.FileInputFormat; org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class MaxTemperature { public static void main(String[] args) throws Exception { if (args.length != 2) { System.err.println("Usage: MaxTemperature <input path> <output path>"); System.exit(-1); } Job job = new Job(); job.setJarByClass(MaxTemperature.class); job.setJobName("Max temperature"); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); job.setMapperClass(MaxTemperatureMapper.class); job.setReducerClass(MaxTemperatureReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); }

2012-08-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人