2019年12月_zuodaoyong

12月 11月 10月 09月 08月 07月

原创树结构之二叉树

二叉树每个节点最多只能有两个子节点的树1、满二叉树二叉树的所有叶子节点都在最后一层，且节点总数=2^n-1，n为层数2、完全二叉树二叉树的所有叶子节点都在最后一层或者倒数第二层，而且最后一层的叶子节点是左边连续，倒数第二层是右边连续3、二叉树遍历（1）前序遍历先输出父节点，再遍历左子树和右子树（2）中序遍历先遍历左子树，再输出父节点，再遍历右子树...

2019-12-29 23:54:05 244

原创 Elasticsearch集群之配置与建议

1、内存es使用内存主要有jvm的堆内存和机器内存，os cache，排序和聚合都会耗费很多内存。es底层时lucene，lucene的数据结构都是基于磁盘的格式，es通过os cache来进行高性能的磁盘文件读写。当数据量达到亿级别，建议集群的每台机器的内存要大于等于64G2、cpu对于es来说，cpu没有内存更重要，cpu如果是多核，可以带来更高的并发处理能力。3、磁盘es...

2019-12-28 20:46:37 312

原创 Elasticsearch和Kibana安装

一、es安装步骤：1、首先下载elasticsearch的安装包：wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.1-linux-x86_64.tar.gz2、es官方推荐不要在root权限下启动，我们建立一个新的用户和用户组groupadd esgroupuseradd e...

2019-12-28 09:45:12 186

原创 Elasticsearch搜索方式

1、query string searchGET /index/type/_search2、query DSL3、query filter4、全文检索5、phrase search（短语搜索）6、高亮检索

2019-12-24 23:08:47 100

原创 Elasticsearch开山篇

功能：（1）分布式的搜索引擎和数据分析引擎（2）全文检索，结构化检索，数据分析（3）海量数据近实时的处理适用场景：（1）全文检索，搜索推荐（2）日志数据分析（3）数据挖掘（4）github开源代码管理核心概念：（1）NRT：近实时，从写入es到被检索查询有1秒（2）Cluster：集群（3）Node：节点，es的节点名称默认是随机分配的，节点启动默认...

2019-12-24 22:36:54 81

原创制作java的内存文件和线程文件

制作java的内存使用文件步骤1、ps-ef|grepjava看下进程PID2、jmap-dump:format=b,file=/data/logs/dump.hprofPID3、cd/data/logs/&&tar-zcvfdump.hprof.tar.gzdump.hprofdump.hprof即使内存使用文件制作java线程使用文...

2019-12-23 16:54:45 151

翻译 Mysql查询优化

一、小表驱动大表1、当B表的数据集小于A表时，用in 优于existsselect * from A where id in (select id from B)等价于 for select id from B for select * from A where A.id=B.id2、当A表的数据集小于B表，用exists优于insele...

2019-12-22 18:38:35 141

原创 Mysql之索引失效

一、数据准备建立一个index_test库：CREATE DATABASE index_test;在index_test库中创建一张user表：USE index_test;CREATE TABLE `user`( `id` BIGINT, `name` VARCHAR(50), `age` INT(4), `gender` VARCHAR(4),...

2019-12-22 11:49:15 115

原创 Flink状态一致性

一、状态一致性分类（1）最多一次（at most once）当故障发生，什么都不干，既不恢复丢失状态，也不重播丢失的数据。（2）至少一次（at least once）所有事件都处理了，有的事件可能被处理多次（3）精确一次（exactly once）所有事件仅仅被处理一次二、端到端的状态一致性（1）内部保证（checkpoint）（2）source端（可重设数据的...

2019-12-21 19:28:22 749

原创 Flink底层API之ProcessFunction

一、Flink转换算子是无法访问事件的时间戳和watermark，因此DataStream提供了一套底层API,用于访问事件时间戳，watermark和注册的定时事件。Flink SQL是基于ProcessFunction实现的。Flink提供了8个ProcessFunctionProcessFunctionKeyedProcessFunctionCoProcessFunction...

2019-12-20 20:07:08 511

原创 Flink时间语义和watermark

一、时间语义Event Time：事件创建的时间Ingestion Time：数据进入Flink的时间Processing Time：执行算子操作的本地系统时间，与机器相关设置时间语义StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment();...

2019-12-18 23:28:07 524

原创 java内部排序之归并排序

归并排序（时间复杂度(nlogn)）时间复杂度：最好O(nlogn)，最坏O(nlogn)空间复杂度：O(n)稳定性：稳定思想：假设有n个数，可看成n个有序的子序列，每个子序列长度为1，然后两两再归并，得到长度为2或者1的有序子序列。重复两两子序列归并直到一个长度为n的有序序列为止。代码：public static void sort(int []arr){...

2019-12-18 20:30:07 131

原创 java内部排序之基数排序

基数排序（桶排序）思想：将所有待比较数值统一为同样的数位长度，数位较短的数前面补0，然后从最低位开始，一次进行一次排序。这样从最低位排序一直到最高位排序完成以后，数列就变成一个有序序列。将数组{53,3,542,748,14,214}使用基数升序排序步骤如下：代码如下：private static void radixSort(Integer[] arr){ ...

2019-12-17 10:30:17 93

原创 Netty之线程模型

目前使用最多的线程模型：传统阻塞I/O服务模型，Reactor模型Reactor模型又可以分为：单Reactor单线程，单Reactor多线程，主从Reactor多线程Netty的线程模型是由主从Reactor多线程演化而来说明：图中黄色框为对象，蓝色框为线程，白色框为方法一、传统阻塞I/O服务模型特性：1、采用阻塞IO模式获取输入的数据 2、每个连接都...

2019-12-11 22:53:43 398

原创 Netty之NIO零拷贝

零拷贝：从操作系统角度说是没有cpu拷贝。零拷贝不仅带来更少的数据复制，还带来其他的性能优势，例如更少的上下文切换，更少的cpu缓存伪共享以及无cpu校验和计算。java程序中，常用的零拷贝是：内存映射（mmap）和sendFileNIO零拷贝使用方式：transferTo先看下传统的IO数据读写代码如下：传统IO模型：注：DMA（direct memory acc...

2019-12-10 22:43:12 462

原创 Netty之NIO核心组件

Java NIO（同步非阻塞）时jdk1.4开始的，java提供了一系列改进的输入/输出的新特性。NIO可以做到一个线程处理多个操作，假设有10000个请求过来，分配50或者100个线程来处理。不像之前的阻塞IO那样，非得分配10000个。HTTP2.0使用多路复用技术，做到同一个连接并发处理多个请求，且并发请求的数量比HTTP1.1高几个数量级。NIO的核心组件：1、通道(Cha...

2019-12-05 11:41:39 134