- 博客(20)
- 资源 (6)
- 收藏
- 关注
RSS订阅翻译 JAVA正则表达式Pattern类与Matcher类详解
java.util.regex是一个用正则表达式所订制的模式来对字符串进行匹配工作的类库包。它包括两个类：Pattern和Matcher Pattern 一个Pattern是一个正则表达式经编译后的表现模式。Matcher 一个Matcher对象是一个状态机器，它依据Pattern对象做为匹配模式对字符串展开匹配检查。首先一个Pattern实例订制了一个所用语法与PERL的类似的正...
2020-03-24 18:00:17
505
翻译 input输入框禁止显示历史记录
在输入input时会提示原来输入过的内容，还会出现下拉的历史记录，禁止这种情况只需在input中加入：autocomplete=“off”<input type="text" autocomplete="off" />参考：https://blog.csdn.net/amao_aguai/article/details/83344455...
2020-03-24 14:37:43
553
翻译 topic创建之机架分配策略
1、未指定机架的分配策略（assignReplicasToBrokersRackUnaware）所有的broker都没有配置机架信息private def assignReplicasToBrokersRackUnaware(nPartitions: Int, replicationFac...
2020-03-24 13:05:39
584
翻译 topic创建详解
1、自动创建如果kafka broker中的config/server.properties配置文件中配置了auto.create.topics.enable参数为true（默认值就是true），那么当生产者向一个尚未创建的topic发送消息时，会自动创建一个num.partitions（默认值为1）个分区和default.replication.factor（默认值为1）个副本的对应to...
2020-03-24 12:38:56
7128
翻译 生产者之Old Producer的案例
线上由多台Kafka Broker组成的集群（Producer的metadata.broker.list参数设置的是所有broker的地址+端口号的列表），版本号为0.8.2.x，当一台Kafka Broker的硬盘发生故障导致系统崩溃，由于Kafka的HA的作用线上业务无明显异常，发送方和消费方的流量也与之前持稳，但是后面监测到每隔10分钟左右就有少量的消息发送的时延很大，而且有ERROR告警报...
2020-03-23 12:15:45
130
翻译 es集群数据备份到hdfs
一、es集群数据备份es的eeplica 提供了运行时的高可用的保障机制，可以容忍少数节点的故障和部分数据的丢失，但整体上不会丢失任何数据。注意：replica无法做灾难性的数据保护，比如机房停电，所有机器全部宕机二、使用snapshot备份数据snapshot会将集群中的状态和数据全部存储到一个外部文件系统中比如HDFS。snapshot首次备份是全量备份，后面是增量备份。1...
2020-03-22 15:43:53
1572
翻译 Kafka生产者之Old Producer
Kafka的Producer客户端早已不再使用0.8.2.x，通过Kafka Old Producer我们可以了解Kafka变迁升级的历史：旧版的Old Producer模型相对简单利于初始了解，通过对Old Producer的了解也可以慢慢的发现隐患的问题，这样进一步可以研究探讨解决方法，最后再通过对新版Producer的学习来提升对Kafka的认知，与此同时也可以让读者在遇到相似问题的时候可以...
2020-03-20 13:41:57
360
翻译 Kafka失效副本详解
Kafka从0.8.x版本开始引入副本机制，这样可以极大的提高集群的可靠性和稳定性。不过这也使得Kafka变得更加复杂起来，失效副本就是所要面临的一个难题。Kafka中的每个分区（partition）都会分配多个副本（replica），具体的副本数量由Broker级别参数default.replication.factor（默认大小为1）指定，也可以在创建topic的时候通过 --replicat...
2020-03-18 12:54:28
1084
原创 keyBy多字段分组
如果keyBy时需要按照多个字段分组，该如何写？1、使用元组查看keyBy源码，可见当使用元组时可以传入多个索引下标public KeyedStream<T, Tuple> keyBy(int... fields) { return !(this.getType() instanceof BasicArrayTypeInfo) && !(this....
2020-03-14 11:28:37
3302
翻译 shard recovery和shard重分配
在集群重启的时候，有一些配置会影响shard恢复过程。如果有10个node，每个node都有一个shard，可能是primary shard或者是replica shard。当前index有5个primary shard，每个primary shard有一个replica shard。默认配置下,shard恢复过程如下当集群遇到重启情况时，节点是一个一个启动的，可能会出现5个节点先启动...
2020-03-12 21:24:55
471
翻译 正则表达式详解
一、普通字符字母、数字、汉字、下划线以及标点符号，匹配与之相同的字符二、简单转义字符三、标准字符集合（注意区分大小写，大写是相反的意思）四、自定义字符集合[]方括号匹配，匹配方括号中任意一个字符注意：（1）正则表达式的特殊符号，被包含在中括号中，则失去特殊意义，除了^和-之外、五、量词修饰匹配次数的特殊符号匹配次数中的贪婪模式（匹配字符越多越...
2020-03-10 23:51:32
193
原创 位运算判断一个数是否是奇数
奇数的二进制的低位一定是1判断数是否是奇数可以利用这个特性来private static boolean isOdd(int i){ return (i&1)==1;}举例1、i为101010&0001=0000因此10&1=0不为1则10不是奇数2、i为111011&0001=0001因此11&1为1则1...
2020-03-09 12:28:51
913
翻译 discovery.zen.minimum_master_nodes深度解析
discovery.zen.minimum_master_nodes对集群的稳定性至关重要，防止脑裂的出现。脑裂：如果网络的故障导致一个集群被划分成两片，每片都有多个node，以及一个master。因为master是维护集群状态，以及shard的分配。如果出现了两个master，可能导致数据破损。discovery.zen.minimum_master_nodes的作用是只有足够的ma...
2020-03-07 19:26:45
20220
3
翻译 Zen discovery集群发现机制
默认情况下，es进程会绑定本地回环地址（127.0.0.1），扫描本地上的9300~9305端口，尝试和这些端口的启动的其他es进程通信，然后组成一个集群。但是对于生产环境，每台节点需要绑定在非回环地址上才可以和其他节点通信，同时使用集群发现机制来和其他节点上的es node通信。一、discovery集群发现机制1、集群中的节点相互发现组成集群2、负责es集群master的选举...
2020-03-07 17:26:44
4703
1
翻译 MySql 之 left join注意点
left join在我们使用mysql查询的过程中可谓非常常见，比如博客里一篇文章有多少条评论、商城里一个货物有多少评论、一条评论有多少个赞等等。但是由于对join、on、where等关键字的不熟悉，有时候会导致查询结果与预期不符。假设有一个表classes，存了所有的班级；有一个表students，存了所有的学生，具体数据如下：那么现在有两个需求：1、找出每个班级的...
2020-03-05 22:19:08
404
1
翻译 分布式唯一ID生成方案
分布式系统中我们会对一些数据量大的业务进行分拆，如：用户表，订单表。因为数据量巨大一张表无法承接，就会对其进行分库分表。但一旦涉及到分库分表，就会引申出分布式系统中唯一主键ID的生成问题，永不迁移数据和避免热点的文章中要求需要唯一ID的特性：1、整个系统ID唯一2、ID是数字类型，而且是趋势递增的3、ID简短，查询效率快趋势递增在一段时间内，生成的ID是递增的趋势。如：再一...
2020-03-04 23:19:27
231
翻译 贪心算法
贪心算法：在问题求解时，每一步选择中都采取最好或者最优的选择，从而希望能够导致结果是最好或者最优的算法思路：1、遍历所有电台，找到一个覆盖了最多未覆盖的地区的电台2、将找到的电台加入到集合里，同时把该电台所覆盖的地区在全部地区集合中清除3、重复第一步，直到覆盖所有地区代码：public static void main(String[] args) { Map...
2020-03-04 22:50:41
108
翻译 Flink大状态的优化
Flink 支持多种 StateBackend，当状态比较大时目前只有 RocksDBStateBackend 可供选择。RocksDB 是基于 LSM 树原理实现的 KV 数据库，LSM 树读放大问题比较严重，因此对磁盘性能要求比较高，强烈建议生产环境使用 SSD 做为 RocksDB 的存储介质。但是有些集群可能并没有配置 SSD，仅仅是普通的机械硬盘，当 Flink 任务比较大，且对状态访问...
2020-03-03 12:48:11
3485
翻译 牛顿迭代法解决对一个数开方
牛顿迭代法是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法，就是使用迭代的方法来求解函数方程的根。简单地说，牛顿法就是不断求取切线的过程。...
2020-03-02 22:23:07
378
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人