zhuchunyan_aijia的博客

运行机制生产者保存到broker中的消息，会保存在本地的logs/__consumer_offsets-xx/00000000000000000000.log文件中。默认情况，这些文件不会永久保留，当超过了保留时间或体积后，kafka会对这些文件进行删除。首先，根据log.retention条件判断，以segment为单位，判断该segment是否为可删除。如果满足条件，将其标记为可删除。并且在日志文件cleaner-offset-checkpoint中记录当前清理到的位置。由组件Lo

1.from + size这种分页方式，在分布式的环境下的深度分页是有性能问题的，一般不建议用这种方式做深度分页GET kibana_sample_data_flights/_search{ "from": 10, "size": 2, "query": { "match": { "DestWeather": "Sunny" } }, "sort": [ { "timestamp": { "order": ..

1.from + size这种分页方式，在分布式的环境下的深度分页是有性能问题的，一般不建议用这种方式做深度分页GET kibana_sample_data_flights/_search{ "from": 10, "size": 2, "query": { "match": { "DestWeather": "Sunny" } }, "sort": [ { "timestamp": { "order": ..

【Elasticsearch】Result window is too large, from + size must be less than or equal to: [10000]原因：查询文档，可以看到，默认设置最大查询数量是10000.解决方案：我们可以直接利用kibana工具，直接执行以下请求即可：PUT idx_user_info/_settings{ "index":{ "max_result_window":1000000 }}...

【Elasticsearch】Result window is too large, from + size must be less than or equal to: [10000]原因：查询文档，可以看到，默认设置最大查询数量是10000.解决方案：我们可以直接利用kibana工具，直接执行以下请求即可：PUT idx_user_info/_settings{ "index":{ "max_result_window":1000000 }}...

elasticsearch版本7.x如果查询的结果大于1w条，则在total上的总数只是返回1w，如果想要获取真实的总数方法1： "track_total_hits": truePOST myindex/_search{ "track_total_hits": true, "query": { "match_all": { } }, "size": 2}如果是要在java中进行跟踪真实的查询结果总数:searchSourceBuilder.tr

修改集群配置config/elasticsearch.yml 文件增加如下配置max_result_window: 100000注意: :号和数值之间要有个空格修改完配置，重启集群即可

Elasticsearch权威指南里的聚合分析报错: Text fields are not optimised for operations that require per-document field data like aggregations and sorting。GET /my_index/_search{ "size": 0, "aggs": { "distinct_colors": { "cardinality": { "field":

IK中文分词器的安装ES默认是没有IK中文分词器的，我们要将IK中文分词器作为一个插件安装到ES中，安装的步骤也很简单1. 从GitHub上下载适合自己ES版本的IK中文分词器，地址如下：https://github.com/medcl/elasticsearch-analysis-ik/releases。2. 在我们的ES的插件目录中（${ES_HOME}/plugins）创建ik目录， 将我们下载好的IK分词器解压到ik目录。3. 重启我们所有的ES服务。 到这里，我们的IK中文...

对某个字段取最大值max{"aggs":{"max_age":{"max":{"field":"age"} } },"size":0}年龄字段取最大值对某个字段求最小值{ "aggs":{ "min_age":{ "min":{"field":"age"} } }, "size":0 }对某个字段求和{ "aggs":{ "sum_age":{ "sum":{"field":"age"} } }, "size":0 }对某个字段取

ES的数据结构我们常用的几个类型也就是这几种text、keyword、byte、short、integer、long、float、double、boolean、date，其中text和keyword都是string类型，选择区分很简单，需要进行分词用text，不需要并且进行排序或聚合的可以用keyword。创建索引库PUT /my_index{ "settings": { ... any settings ... }, "mappings": { "ty.

复合查询

在elasticsearch集群中，当集群发现某个节点关闭时，将延迟一分钟后（默认）再开始将该节点上的分片复制到集群中的其他节点，这可能涉及很多I / O。由于该节点不久将要重新启动，因此该I / O是不必要的。您可以通过在关闭节点之前禁用副本分配来避免。正确关闭方式：禁止分片自动分布PUT _cluster/settings{ "persistent": { "cluster.routing.allocation.enable": "primaries" }}执行同步

#! Elasticsearch built-in security features are not enabled. Without authentication, your cluster could be accessible to anyone. See https://www.elastic.co/guide/en/elasticsearch/reference/7.17/security-minimal-setup.html to enable security.原因：.

下载https://www.elastic.co/cn/downloads/kibana解压kibanatar -zxvf elasticsearch-7.17.0-linux-x86_64.tar.gz修改配置文件 kibana.yml# vi /kibana/config/kibana.yml修改配置server.port: 5601 #这个不一定需要配置server.host: "192.168.124.41"#配置本机IPelasticsearch.hosts:

1，max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]原因: 内存限制太小了！解决办法: 修改最大内存限制！修改sysctl.conf文件vim /etc/sysctl.conf在末尾增加如下配置:vm.max_map_count = 655360vm.swappiness=1然后保存退出，输入以下命令使其生效sysctl -p2，max nu

下载https://www.elastic.co/cn/downloads/elasticsearch下载你需要的版本准备三台Linux系统192.168.28.129192.168.28.130192.168.29.131创建es帐号Elasticsearch不能在 root 用户下启动，我们需要在三台机器上分别创建一个普通用户：# 创建elastic用户useradd elastic# 设置用户密码passwd elastic# 切换到elasti

​​​​​方差、协方差、四分位差笔记_Miracle.Zhao的博客-CSDN博客_四分位差四分位数定义什么箱线图？它能在什么场景下进行数据分析 - 知乎四分位数的工作原理四分位数将数据分为三个点：下四分位数、中位数和上四分位数，形成四组数据集。下四分位数或第一四分位数表示为Q1，是介于数据集最小值和中间值之间的中间数。第二个四分位数Q2也是中位数。上四分位数或第三个四分位数，表示为Q3，是分布中位数和最高值之间的中心点。现在，我们可以画出由四分位数组成的四组。第一组值包含到Q1为.

最近公司让整理一个Linux安装MySQL的文档。所以就整理了一下，这里将自己整理的详细文档做个笔记。1、下载Mysql。MySQL :: Download MySQL Community Server我这里选择安装的版本是5.7.26选择一个安装包进行下载https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.26-linux-glibc2.12-x86_64.tar.gz使用下载命令直接下载，或者自己下载后上传到服务器。w

一、说明有的时候程序或者数据运行时会报too many open files，根本原因就是打开的文件超过了系统限制的数量。二、查询1、查询某个进程已经开启的文件句柄lsof -p 进程pid | wc -l查看所有进程各自打开的文件数lsof -n|awk ‘{print $2}’|sort|uniq -c|sort -nr|more2、查看当前操作系统已经打开的文件总量cat /proc/sys/fs/file-nr注：第一个值是已开启的，第二个值是分配但未使用，第三个值是总限制数