runlin的专栏

看yuying代码，看到这个distributedCache，然后搜到这篇文章，很赞，~ 1、DistributedCache In Hadoop 此篇文章主要是前一篇的后续，主要讲Hadoop的分布式缓存机制的原理与运用。 分布式缓存在MapReduce中称之为DistributedCache，它可以方便map task之间或者reduce task之间共享一些信息

转，这个博主貌似女的，写文章很清晰呀，mapreduce的基本概念，~ 参考原文： http://code.google.com/intl/zh-CN/edu/parallel/mapreduce-tutorial.html MapReduce其实是两个分离的概念：map和reduce。 首先看一个简单的例子。 例如，现在需要计算1w篇文章中字母‘w’的数量。这些文章

bash中，目前有五种方法： 1. i=`expr $i + 1`; 2. let i+=1; 3. ((i++)); 4. i=$[$i+1]; 5. i=$(( $i + 1 )) 另外，对于固定次数的循环，可以通过seq命令来实现，就不需要变量的自增了；实例如下： #!/bin/bash for j in $(seq 1 5) do   ech

Hadoop的MapReduce框架中，Map动作通过Mapper类来抽象。一般来说，我们会实现自己特殊的Mapper，并注册到系统中，执行时，我们的Mapper会被MapReduce框架调用。 内部类Context继承自MapContext，并没有引入任何新的方法。 Mapper的四个方法是setup，map，cleanup和run。其中，setup和cleanup用于管

csdn用的不爽的地方就是不能转载，  这篇博主写的很清晰，留着看~   前面在讲InputFormat的时候，讲到了Mapper类是如何利用RecordReader来读取InputSplit中的K-V对的。   这一篇里，开始对Mapper.class的子类进行解读。   先回忆一下。Mapper有setup()，map()，cleanup()和run(

路径分为绝对路径和相对路径： 　　绝对路径: 　　在Linux中，绝对路径是从/(也被称为根目录)开始的，比如/usr、/etc/X11。如果一个路径是从/开始的，它一定是绝对路径，这样就好理解了; 　　[root@localhost ~]# pwd 注：判断用户当前所处的位置，也就是说他到底位于哪？ 　　/root 注：用户当前位于/root; 　　[root@lo

感觉会用户，然后 查看hive表具体信息的时候，可以用 desc extended tablename； （by run） 通常用户在HIVE中用SELECT语句出来结果，无法确定结果是来自哪个文件或者具体位置信息，HIVE中考虑到了这点，在Virtual Column虚列中可以指定三个静态列: 1.  INPUT__FILE__NAME    

1. /*+ALL_ROWS*/ 表明对语句块选择基于开销的优化方法,并获得最佳吞吐量,使资源消耗最小化. 例如: SELECT /*+ALL+_ROWS*/ EMP_NO,EMP_NAM,DAT_IN FROM BSEMPMS WHERE EMP_NO=’SCOTT’; 2. /*+FIRST_ROWS*/ 表明对语句块选择基于开销的优化方法,并获得最佳响应时间,使资源消耗最小化. 例如: SE

sed 是一种在线编辑器： 理解： 1，它一次处理一行内容，把当前处理的行存储在临时缓冲区中，接着用sed命令处理缓冲区中的内容； 2，对源文件的内容没有任何改变，其实只是把处理的内容放在缓冲里，然后对想要的数据进行重定向输出就ok~

看到同事用vim，菜鸟的我，今天搜了下，vi与vim的区别，整理如下 它们都是多模式编辑器，不同的是vim 是vi的升级版本，它不仅兼容vi的所有指令，而且还有一些新的特性在里面。 vim的这些优势主要体现在以下几个方面： 1、多级撤消 我们知道在vi里，按 u只能撤消上次命令，而在vim里可以无限制的撤消。 2、易用性 vi只能运行于unix中，而vim不仅可以运行于unix,windows