- 博客(41)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 NIO与Socket笔记 ： 转换为 CharBuffer字符缓冲区及中文的处理
asCharBuffer()方法的作用:创建此字节缓冲区的视图 ，作为 char缓冲区。 新缓冲区的 内容将从此缓冲区的当前位置开始。 此缓冲区内容的更改在新缓冲区中是可见的 ，反之亦 然 ;这两个缓冲区的位置、 限制和标记值是相互独立的。 新缓冲区的位置将为 0，其容量和 限制将为此缓冲区中所剩余的字节数的 1/2，其标记是不确定的。 当且仅当此缓冲区为直接 缓冲区时，新缓冲区才是直接缓冲区。 ...
2019-03-29 14:32:47
2262
原创 NIO与Socket笔记 ： Socket、NIO 理论
一、Socket 理论Socket编程其实就是实现服务端与客户端的数据通信，不管使用任何的编程语言，在 实现上基本上都是4个步骤: 1建立连接;2请求连接; 3回应数据; 4结束连接，这4个 步骤的流程图如图 1-3所示。在学习 NIO 之前，必须先学习 Socket，因 为 NIO 中的核心通道类都是基于 Socket技术的通道类 。学习 Socket 时要着重学...
2019-03-29 12:31:04
6264
原创 管理类联考-英语 : 基础 [ 十二 ]
Powering the great ongoing changes of our time is the rise of human creativity as thedefining feature of economic life. Creativity has come to be valued, because new technologies, new industries and...
2019-03-28 13:48:07
4183
翻译 Apache NiFi开发人员指南
介绍NiFi组件ProcessorAPI支持APIAbstractProcessor API组件生命周期组件通知受限州经理报告处理器活动记录组件记录属性记录关系记录能力和关键词记录FlowFile属性交互记录相关组件高级文档种源事件通用处理器模式数据入口数据出口基于内容的路由（一对一）基于内容的路由（一...
2019-03-20 18:04:49
6465
3
翻译 Apache NiFi深度扩展
介绍该高级文档旨在深入了解NiFi的实施和设计决策。它假设读者已经阅读了足够的其他文档来了解NiFi的基础知识。FlowFiles是NiFi的核心，也是基于流程的设计。FlowFile是一种数据记录，由指向其内容（有效负载）的指针和支持内容的属性组成，该指针与一个或多个起源事件相关联。属性是用作FlowFile元数据的键/值对，例如FlowFile文件名。内容是文件的实际数据或有效负载。原...
2019-03-20 16:36:47
3837
翻译 Apache NiFi系统管理员指南 [ 四 ]
系统属性核心属性State管理H2设置FlowFile存储库交换管理(Swap Management)内容存储库 (Content Repository)文件系统内容存储库属性 (File System Content Repository Properties)易失性内容存储库属性 (Volatile Content Repository Propertie...
2019-03-20 16:05:02
4310
翻译 Apache NiFi系统管理员指南 [ 三 ]
基本群集设置故障排除State管理配置状态提供程序嵌入式ZooKeeper服务器ZooKeeper访问控制ZooKeeper安全ZooKeeper MigratorBootstrap属性通知服务电子邮件通知服务HTTP通知服务代理配置Kerberos服务笔记基本群集设置本节介绍由三个NiFi实例组成的简单三节点非安全...
2019-03-20 16:04:42
3683
翻译 Apache NiFi系统管理员指南 [ 二 ]
配置用户和访问策略加密配置关键衍生函数盐和IV编码Java密码术扩展（JCE）有限强度管辖政策允许不安全的加密模式配置文件中的加密密码NiFi工具包管理工具群集配置零主集群为什么集群？术语集群内的通信管理节点流动选举配置用户和访问策略根据配置的UserGroupProvider和AccessPolicyProvide...
2019-03-20 16:03:43
3239
翻译 Apache NiFi系统管理员指南 [ 一 ]
如何安装和启动NiFi端口配置NiFi嵌入式Zookeeper配置最佳实践安全配置TLS生成工具包用户认证轻量级目录访问协议（LDAP）Kerberos的OpenId ConnectApache Knox多租户授权授权人配置Authorizers.xml安装程序Apache NiFi团队dev@nifi.apache.org...
2019-03-20 16:03:05
4925
1
翻译 Apache NiFi用户指南
介绍Apache NiFi是基于流程编程概念的数据流系统。它支持强大且可扩展的数据路由，转换和系统中介逻辑的有向图。NiFi具有基于Web的用户界面，用于设计，控制，反馈和监控数据流。它在服务质量的几个方面具有高度可配置性，例如容错与保证交付，低延迟与高吞吐量以及基于优先级的排队。NiFi为所有接收，分叉，加入克隆，修改，发送和最终在达到其配置的最终状态时丢弃的数据提供细粒度数据来源。有关...
2019-03-20 11:15:10
11629
4
翻译 Apache NiFi 入门指南
本指南使用于谁？本指南适用于从未使用过，在NiFi中有限度接触或仅完成特定任务的用户。本指南不是详尽的说明手册或参考指南。“用户指南”提供了大量信息，旨在提供更加详尽的资源，并且作为参考指南非常有用。相比之下，本指南旨在为用户提供所需的信息，以便了解如何使用NiFi，以便快速轻松地构建强大而灵活的数据流。一些因为本指南中的某些信息仅适用于初次使用的用户，而其他信息可能适用于那些使用过Ni...
2019-03-19 12:12:29
12880
1
翻译 Apache NiFi 概述
Apache NiFi概述Apache NiFi团队dev@nifi.apache.org什么是Apache NiFi？简单地说，NiFi是为了自动化系统之间的数据流而构建的。虽然术语“数据流”在各种环境中使用，但我们在此处使用它来表示系统之间自动化和管理的信息流。这个问题空间一直存在，因为企业有多个系统，其中一些系统创建数据，一些系统消耗数据。已经讨论并广泛阐述了出现的问题和解...
2019-03-18 23:01:24
5692
翻译 Hortonworks HDP3.1.0 / HDF 3.4.0 官方资源下载地址.
HDP 3.1.0 RepositoriesOS Version Number Repository Name Format URL RedHat 7 CentOS 7 Oracle Linux 7 HDP-3.1.0.0 HDP Version Definition File (VDF...
2019-03-18 09:37:49
10199
2
原创 Flume 1.9.0 源码解析 : 一篇文章弄清Flume 程序启动流程
一 .环境准备.1.配置文件: example.conf# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure t...
2019-03-16 15:48:53
4620
11
原创 管理类联考-英语 : 基础 [ 十一 ]
1. 段落翻译Exercise and healthful eating are linked to better health—and so is having a decent circle offriends. Now it looks like that link between friends and better health is true for the major onli...
2019-03-15 23:23:23
2174
原创 Flume 1.9.0 源码解析 : 环境配置 & 启动入口
从本文开始对Flume 1.9.0 源码进行分析, 首先从启动入手.一.源码包下载. 源码包:https://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-src.tar.gz 官方用户API:https://flume.ap...
2019-03-15 11:05:36
3476
原创 Flume 1.9.0开发者指南
概述架构数据流模型可靠性构建Flume获取Source编译/测试的Sink更新协议缓冲区版本开发自定义组件ClientClient SDKRPC客户端接口RPC客户端- Avro和Thrift安全RPC客户端-Thrift故障转移客户端 (Failover Client)LoadBalancing RPC客户端嵌入式代理...
2019-03-15 10:13:35
2625
原创 Flume 1.9.0用户指南
概述系统要求架构数据流模型复杂的流程可靠性可恢复性设置设置 agent配置单个组件将各个部分连接在一起启动 agent一个简单的例子在配置文件中使用环境变量记录原始数据基于Zookeeper的配置plugins.d目录插件的目录布局数据摄取RPC网络流设置多 agent 流程多路复用流程配置定义...
2019-03-14 20:55:31
9243
5
原创 Spark2.3.0 通过Phoenix4.7 查询 Hbase 数据.
0. 环境软件 版本 JDK 1.8 SCALA 2.11.8 Spark 2.3.0 Phoenix 4.7.0 Hbase 1.1.2 1. 目标数据CREATE TABLE TABLE1 (ID BIGINT NOT NULL PRIMARY KEY, COL1 VARCHAR);UPSERT INT...
2019-03-14 19:47:22
1712
3
原创 管理类联考-英语 : 基础 [ 十 ]
The turning point of my life was my decision to give up a promising business career and studymusic. My parents, although sympathetic, and sharing my love of music, disapproved of it as a profession....
2019-03-13 21:05:11
1429
原创 Spark2.3.2源码解析： 算子解析 [ 四 . Action算子 ]
本文讲述的是[ Action算子 ] 分类的算子. 本质上在 Action 算子中通过 SparkContext 进行了提交作业的 runJob 操作，触发了RDD DAG 的执行。一、无输出 22、foreach算子 foreach 对 RDD 中的每个元素都应用 f 函数操作，不返回 RDD 和 Array， 而是返回Uint。图22表示 foreach...
2019-03-12 18:27:11
1112
原创 Spark2.3.2源码解析： 算子解析 [ 三 . Key-Value数据类型的Transfromation算子 ]
本文讲述的是[ Key-Value数据类型的Transfromation算子 ] 分类的算子.一、输入分区与输出分区一对一 15、mapValues算子mapValues ：针对（Key， Value）型数据中的 Value 进行 Map 操作，而不对 Key 进行处理。 图 15 中的方框代表 RDD 分区。a=>a+2 代表对 (V1,...
2019-03-12 18:03:29
818
转载 30张图带你彻底理解红黑树
写在前面终于，在学习了几天的红黑树相关的知识后，我想把我所学所想和所感分享给大家。红黑树是一种比较难的数据结构，要完全搞懂非常耗时耗力，红黑树怎么自平衡？什么时候需要左旋或右旋？插入和删除破坏了树的平衡后怎么处理？等等一连串的问题在学习前困扰着我。如果你在学习过程中也会存在我的疑问，那么本文对你会有帮助，本文帮助你全面、彻底地理解红黑树！本文将通过图文的方式讲解红黑树的知...
2019-03-12 13:10:54
4549
5
原创 Spark2.3.2源码解析： 算子解析 [ 二 . Value数据类型的Transformation算子 ]
本文讲述的是[ Value数据类型的Transformation算子 ] 分类的算子.一、输入分区与输出分区一对一型 1、map算子将原来 RDD 的每个数据项通过map 中的用户自定义函数 f映射转变为一个新的元素。源码中 map 算子相当于初始化一个 RDD， 新 RDD 叫做 MappedRDD(this, sc.clean(f))。...
2019-03-12 10:28:01
940
原创 MEM-英语 : 基础 [ 九 ]
1. 动名词做主语Keeping a sense of humor (保 持幽默)helps to reduce stress.2. 动名词做表语我的爱好是打篮球。My hobby is playing basketball.3. 动名词做定语Swimming poolWashing machineChewing gum...
2019-03-11 23:11:23
1037
原创 管理类联考-英语 : 基础 [ 八 ]
谓语动词一、分词充当的成分分词来源于状语从句和定语从句As soon as they saw the teachers, the students stood up.1、分词作状语Seeing the teachers, the students stood up.1. 删连词及从主2. 有be删be，其余不不变3. 无be，动词改为...
2019-03-11 22:43:05
889
原创 管理类联考-英语 : 基础 [ 七 ]
地点状语从句 whereWhere there is a will, there is a way.有志者，事竟成我在昨天摔倒的地⽅方找到了了钱包.I found my wallet at the place where I fell down yesterday.原因状语从句becausesinceSince you a...
2019-03-11 22:22:00
1108
原创 Spark2.3.2源码解析：Shuffle 过程写入的 数据文件&索引文件
Spark 在 shuffle 过程中,如果内存空间不足会向磁盘溢写文件, 一个索引文件,一个数据文件.那么这两个文件长什么样? 里面放什么数据呢?文件命名:ShuffleBlockId : "shuffle_" + shuffleId + "_" + mapId + "_" + reduceId数据文件名:ShuffleDataBlockId : ...
2019-03-11 18:11:50
1317
原创 Spark2.3.2源码解析： 算子解析 [ 一 . 概览 ]
本章先大体对Spark的算子进行分类, 然后根据分类做具体分析 从大方向来说，Spark 算子大致可以分为以下两类: 1）Transformation 变换/转换算子：这种变换并不触发提交作业Action 操作，完成作业中间过程处理。 Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需...
2019-03-11 11:52:31
1178
原创 LRU . LFU 和 LRU-K 的解释与区别
LFU和LRU算法的不同之处：LRU的淘汰规则是基于访问时间，而LFU是基于访问次数的。LRU-K 是LFU与LRU的综合版本比如,LRU时期T为10分钟,如果每分钟进行一次调页,主存块为3,若所需页面走向为2 1 2 1 2 3 4注意,当调页面4时会发生缺页中断若按LRU算法,应换页面1(1页面最久未被使用) 但按LFU算法应换页面3(十分钟内,页面3只使用了一次)...
2019-03-08 12:39:00
5897
原创 操作系统 中的内存管理分页和分段
要理解分段和分页，那么得理解为什么会出现分段和分页的技术首先，这两个技术都是为了利用和管理好计算机的资源--内存。在分段这个技术还没有出现之前，程序运行是需要从内存中分配出足够多的连续的内存，然后把整个程序装载进去。举个例子，某个程序大小是10M，然后，就需要有连续的10M内存空间才能把这个程序装载到内存里面。如果无法找到连续的10M内存，就无法把这个程序装载进内存里面，程序也就无法...
2019-03-08 11:24:16
1484
原创 Redis 知识梳理 [ Cluster 集群 ]
RedisCluster 是 Redis 的亲儿子，它是 Redis 作者自己提供的 Redis 集群化方 案。相对于 Codis 的不同，它是去中心化的如图所示，该集群有三个 Redis 节点 组成，每个节点负责整个集群的一部分数据，每个节点负责的数据多少可能不一 样。这三个节点相互连接组成一个对等的集群，它们之间通过一种特殊的二进制 协议相互交互集群信息。R...
2019-03-07 17:18:12
715
转载 Java源码分析：关于 HashMap 1.8 的重大更新
前言HashMap 在 Java 和 Android 开发中非常常见而HashMap 1.8 相对于 HashMap 1.7 更新多今天，我将通过源码分析HashMap 1.8 ，从而讲解HashMap 1.8 相对于 HashMap 1.7 的更新内容，希望你们会喜欢。本文基于版本 JDK 1.8，即 Java 8关于版本 JDK 1.7，即 Java 7，具体请看文章Java：手...
2019-03-05 10:30:06
742
原创 管理类联考-英语 : 基础 [ 六 ]
一.时间状语1.when引导的动作 可以持续，可以瞬间When I die, I want my tombstone to offer freeWifi, just do people will visit more often.2.while 之 之后是持续的动作或状态 表同时发⽣生Strike while the iron is h...
2019-03-05 09:23:59
1021
原创 管理类联考-英语 : 基础 [ 五 ]
同位语从句1.从句= 陈述句A saying goes that practice makes perfect.俗话说:熟能⽣生巧。The suggestion is great. We should get up early tomorrow.Because she is dark-skinned, I can’t see her.Due to the ...
2019-03-05 09:23:25
802
原创 FF快速失败 & FS安全失败区别
概念快速理解:快速失败： 当你在迭代一个集合的时候，如果有另一个线程正在修改你正在访问的那个集合时，就会抛出一个ConcurrentModification异常。 在java.util包下的都是快速失败。安全失败： 你在迭代的时候会去底层集合做一个拷贝，所以你在修改上层集合的时候是不会受影...
2019-03-04 16:45:45
1076
原创 Redis 知识梳理 [ 五 种基础数据结构 ]
Redis 有 5 种基础数据结构，分别为:string (字符串)、list (列表)、set (集 合)、hash (哈希) 和 zset (有序集合)。1. 字符串字符串 string 是 Redis 最简单的数据结构。它的内部表示就是一个字符串数组.Redis 所有的数据结构都是以唯一 的 key 字符串作为名称，然后通过这个唯一 key 值来获取相应的 va...
2019-03-02 16:24:46
767
转载 Hash算法总结
1. Hash是什么，它的作用先举个例子。我们每个活在世上的人，为了能够参与各种社会活动，都需要一个用于识别自己的标志。也许你觉得名字或是身份证就足以代表你这个人，但是这种代表性非常脆弱，因为重名的人很多，身份证也可以伪造。最可靠的办法是把一个人的所有基因序列记录下来用来代表这个人，但显然，这样做并不实际。而指纹看上去是一种不错的选择，虽然一些专业组织仍然可以模拟某个人的指纹，但这种代价实在太...
2019-03-02 16:04:20
2630
原创 Maven镜像仓库更换为阿里云,快速加载依赖
总共修改两个地方, 一个settings.xml配置文件, 一个 pom.xml 文件.修改maven配置文件settings.xml (当然也可以在用户home目录.m2下面添加一个settings.xml文件,记得备份.)在 apache-maven-3.x.x/conf 目录下.<mirror> <id>nexus-aliyun...
2019-03-01 21:59:30
2870
原创 ambari集成redis . 支持redis-sentinel 模式 ambari-redis-service
# ambari-redis-service (For Ambari Version>2.6 and Redis Version=3.0.7)Ambari Redis Service / Custom Stack will allow you to install and manage Redis and Redis HA (with Sentinels and Slaves) via...
2019-03-01 14:42:36
1859
jdk-8u251-macosx/linux/windows 多版本下载
2020-06-28
Flink基础教程.pdf
2019-05-28
深入理解计算机系统（原书第3版）PDF 计算机科学丛书 [美] 兰德尔 E.布莱恩特
2019-03-08
Java虚拟机规范（Java SE 8版） 带书签
2018-10-26
Thinking in UML(2 edition)
2014-06-24
《谁说菜鸟不会数据分析》入门篇-简版电子书
2014-06-24
[逻辑思维训练500题II].于雷.扫描版
2014-06-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人