2017年02月_zhurhyme

12月 10月 09月 08月 07月 06月 02月

原创 flume概念入门

flume一句话理解说是关于数据的管道处理开箱即用框架。flume agent的三个基本概念即为:source ,channel,sink.即数据读取，数据处理，数据写入三个阶段。要作数据处理，首先要解决的是数据收集的问题。如果这个问题解决不了，根本谈不上数据的处理。flume的source帮我们解决了这个问题，并且对于数据读取的吞吐量的问题，也顺便给我们解决了。flume channel作为

2017-02-18 01:03:32 390

原创 spark streaming与spring batch批处理

之前很不理解什么是流计算。那么流计算中的流，如何去理解？因为把数据看作是源源不断的流，那么数据就没有起始与结尾，那么如何去处理它呢？这几天看了 spark快速大数据分析这本书受益颇丰，思考了一下得出如下结论：流计算中的”流“指的是把数据作为一种抽像流的方式。spark streaming 将源源不断的数据流以流的形式进行处理。但是我们常说的流计算，个人理解指的数据以流的形式输入到spar

2017-02-18 00:38:09 5624

原创 oracle 分页sql语句的深入理解

从oracle数据里向外迁移大量数据，有多种方法。其中一种就是应用jdbc连接oracle,写代码向外分页提取。

2017-02-07 13:18:26 691

原创 spring batch入门

spring batch是什么？它是一个批处理框架。任何系统总会积累数据，对于积到的数据，老板就会要求作报表、作统计、作分析，那么批处理就这么产生了。

2017-02-05 01:25:56 397

原创关于json的理解

关于json的理解可能是写java时间太长了，满脑子都是面向对象。所以的有东西都是对象。对于json一直都没有太感冒，只是把它当作一种数据格式，类似与xml.前段时间在思考一个问题，android与ios开发在调用后台服务，如何才能像java rpc服务调用一样方便。这个问题一直没有答案（我主要是开发后台国架构，对于手机开发是不太清楚）。但是我知道，http+json 能够解决前后端的调用

2017-02-05 00:52:17 517