JDK 小结

ArrayList 、 LinkedList ArrayList 容量参数是ArrayList和Vector等基于数组的List的特有性能参数。它表示初始化的数组大小。当ArrayList所存储的元素数量超过其已有大小时。它便会进行扩容,数组的扩容会导致整个数组进行一次内存复制。因此合理的...

2018-05-31 17:25:56

阅读数:116

评论数:0

hadoop 2.6 源码 解读之上传文件(-put)内部实现之写数据篇

此篇blog,承接 《hadoop 2.6 源码 解读之上传文件(-put)内部实现之FsShell init()篇》:https://blog.csdn.net/zhixingheyi_tian/article/details/80499773 入口处,FsShell run() 处 ...

2018-05-30 17:56:41

阅读数:128

评论数:0

hadoop 2.6 源码 解读之上传文件(-put)内部实现之FsShell init()篇

hdfs 命令行 -put 上传文件操作,通过shell脚本最终调用 FsShell 的main入口方法,实现相应的逻辑功能 为便于debug调试,编写相应的测试程序模拟 -put 操作,示例代码如下 public class TestShell { public static ...

2018-05-29 17:52:39

阅读数:82

评论数:1

kafka采用http协议 report 出 influxline 格式的metrics测量数据

kafka 自带测量数据,为进行监控,将其测量数据采集并report出去,由于团队内部使用时序数据库 influxdb 作为测量数据库,所有吐出格式为 influxline, 样例代码如下,以飨读者 KafkaInfluxMetricsReporter /** * Licensed t...

2018-05-26 19:02:35

阅读数:146

评论数:0

influxdb测量平台,编写flume InfluxSink 订阅kakfa相关数据到influxdb

influxdb 生态圈 自带采集数据工具 telegraf,telegraf集成了很多功能,包括订阅kafka数据,但是由于telegraf 订阅 kafka 性能太低,所以自定义开发了 flume sink插件,使得 订阅数据性能获得了极大提高。 InfluxSink 样例代码如下,以...

2018-05-26 18:53:51

阅读数:174

评论数:2

influxdb测量平台建设中,编写HTTPInfluxLineSource及HTTPSourceInfluxHandler

flume 是公司公用的平台,所有数据都经过flume,flume也是团队最主要的数据采集工具。 因此好多平台要和flume进行对接,比如我负责的测量平台。为此要开发相应的flume插件,本篇分享 flume source插件,用来接收 使用influxdb官方sdk产生的metrics数据。 ...

2018-05-26 18:12:43

阅读数:59

评论数:0

实现Flume多维度metrics测量的解决方案

由于公司大数据架构是,flume收集所有数据,流到kafka。 kafka自带相关metrics测量,而flume没有,导致数据定位发生困难。 为此,特地研究了kafka metrics的相关源码模块,将其实现原理移植到flume kafka metrics 实现方式 kafka 相关测量...

2018-05-25 18:21:35

阅读数:228

评论数:0

hadoop 2.6 源码 解读之关闭文件流

客户端写完文件之后,要关闭文件流,如下: out.write("hello".getBytes("UTF-8")); // out.write...

2018-05-25 17:05:50

阅读数:56

评论数:0

hadoop 2.6 源码 解读之写操作之DataStreamer篇

DataStreamer是 在创建 文件流的时候已经初始化 DFSClient create()方法中 { final DFSOutputStream result = DFSOutputStream.newStreamForCreate(this, src, ma...

2018-05-22 21:08:47

阅读数:75

评论数:0

hadoop 2.6 源码 解读之读写中级单元Packet类

在hdfs中 Packet 是读写 网络传输的基本单元, 有必要探讨下Packet 的基本结构 以下是Packet 类所有的数据成员,均已详细注释 private static class Packet { private static final long HEART_BEAT_S...

2018-05-17 18:08:55

阅读数:36

评论数:0

使用 intellij 远程调试 hdfs 源码 经验总结

最近在阅读hadoop源码,有时候为搞清楚来龙去脉,必要时得做debug。 在搭建调试环境的时候,遇到不少问题,最后逐一解决。在此分享给大家,以飨读者、同仁。 NoClassDefFoundError 第一个问题,莫名其妙,类找不到,代码都没标红,排查了很久以为环境没搭好。 Excep...

2018-05-17 14:23:21

阅读数:189

评论数:0

hadoop 2.6 源码 解读之写操作之总体流程篇

hdfs写文件示例代码 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create(file), conf); Path path = new P...

2018-05-14 17:59:38

阅读数:65

评论数:0

hadoop 2.6 源码 解读之创建文件

HDFS客户端创建文件示例 Path file = new Path("demo.txt"); FSDataOutputStream outStream = fs.create(file); fs 是 DistributedFileS...

2018-05-13 21:39:02

阅读数:64

评论数:0

hadoop 2.6 源码 解读之FileSystem.get(conf)实现

hdfs 常见的获取文件系统代码,如下 Configuration conf = new Configuration(); FileSystem fs; fs = FileSystem.get(conf); fs 最终指向的是FileSystem哪个子类...

2018-05-13 17:46:14

阅读数:122

评论数:0

hadoop 2.6 源码 解读之限流

DataTransferThrottlerhdfs Datanode是 IO密集型应用,网络IO、磁盘IO容易成为系统的瓶颈。 Datanode 有各种任务占用这些共同资源,为保证可用性,有必要对流量进行控制//a class to throttle the data transfers. 实...

2018-05-09 18:52:20

阅读数:54

评论数:0

hadoop 2.6 源码 解读之零拷贝数据传输

DataNode重要的数据功能之一是读取数据块

2018-05-09 13:00:10

阅读数:53

评论数:0

hadoop 2.6 源码 解读之Namenode启停

NameNode类入口 public static void main(String argv[]) throws Exception { if (DFSUtil.parseHelpArgument(argv, NameNode.USAGE, System.out, true)) ...

2018-05-04 16:01:44

阅读数:45

评论数:0

hadoop 2.6 源码 解读之追加写操作流程

客户端 DistributedFileSystem.java调用入口 @Override public FSDataOutputStream append(Path f, final int bufferSize, final Progressable progress)...

2018-05-03 14:48:54

阅读数:63

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭