2017年04月_稻草一根

11月 07月 05月 04月 03月 02月 01月

原创使用Scala模拟简单的RPC通信,Socket编程

初步尝试使用Scala编程，还有很多不熟悉的地方，其实Scala的socket编程也是调用的java的api，所以基本上和java的代码大同小异。实现功能大体如下：客户端发送一个序列化参数，里面以空格分割几个参数，在服务端进行接收，并分割字符串，获取到一个字符串数组，然后对其进行模式匹配，返回不同的处理结果，写入到输出流中，客户端获取到返回的结果并打印。代码如下：客户端代码：pac

2017-04-27 21:11:58 3574 1

原创使用java模拟scala函数式编程将函数作为参数传入方法中

需求：将一个list集合传入一个方法中，同时传入一个函数，根据传入函数的不同对集合做不同的处理方法：定义一个接口，并定义一个方法option，测试中调用一个方法传入的参数是list和函数，函数就是该接口的实现类。代码如下：接口package me.season.com;import java.util.ArrayList;public interface O

2017-04-26 23:44:27 2434 1

原创使用sqoop将数据从hdfs中导入mysql时，卡在INFO mapreduce.Job: map 100% reduce 0%的解决办法

最近在将hdfs中已经处理好的数据导入到mysql的时候遇到这么一个现象，当任务执行到INFO mapreduce.Job: map 100% reduce 0%mapreduce任务卡在map100% ，任何reduce不继续执行。总结了以下解决办法：一，如果没有报错的话，可能是你mysql的数据库建表指定的主键不全，导致导入一部分数据后，主键出现相同字段，那么就造成阻塞了

2017-04-20 20:32:26 8049

原创模拟实现mapreduce中环形缓冲区的读写过程

原型：在mapreduce中，map task调用map处理逻辑将处理后的key和value利用outputcollector.collect()放入一个环形缓冲区中，那么这个缓冲区是有一定大小的，那么如果放入的内容很多很多的时候怎么办呢？其实hadoop里面有这么个机制，在缓冲区达到某一个值或者比率的时候，比如80%，那么hadoop会利用Spiller.spill()将这个80%的数据读出

2017-04-07 14:34:37 2712 2

原创 Hadoop使用MapReduce处理百万行Json格式数据

需求：每行数据格式"{\"movie\":\"2599\",\"rate\":\"5\",\"timeStamp\":\"957716949\",\"uid\":\"6040\"}"从其中计算出每个用户评分最高的十步电影movie值和rate值输出为uid：...movie...rate...思路：map端先将读取的json数据转成pojo对象，所以要创建一个bean用

2017-04-05 23:20:58 8059 3

原创 JAVA设计模式(1)----单例模式及jiangsu密钥分享

这几天计划系统的学习一下设计模式，今天先回顾一下最基本的一种设计模式----单例模式。单例模式：定义是单例模式是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例的特殊类。通过单例模式可以保证系统中一个类只有一个实例。场景：比如创建连接池的时候，显而易见，连接池在这一个项目中只能存在一个，那么我们去创建它的时候就必须保证任何时候项目中只存在这一个连接池。那么我们什么时候去创建...

2017-04-04 20:13:39 495