ElasticSearch6.x +logstash6.x +MySQL8 MySQL8 数据同步，字母大小写问题

最新推荐文章于 2023-11-24 11:05:53 发布
最新推荐文章于 2023-11-24 11:05:53 发布
阅读量306 收藏
点赞数 1
分类专栏： elasticsearch 学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhouzhiwengang/article/details/107357034
版权

ElasticSearch6.x +logstash6.x同步MySQL8数据的时候，sql里面含有的大写字母，到了ElasticSearch6.x的时候就会变成小写，这是因为在jdbc.conf里面没有添加 lowercase_column_names => false 这个属性，就导致ElasticSearch6.x里面看到的字段名称全是小写。 

最后总结：ElasticSearch6.x是支持大写字段名称的，如果想要保留原有的大写字母，需要在同步配置中加上 

lowercase_column_names => false

截图如下：

在奋斗的大道
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch和MySQL数据同步（logstash-input-jdbc）全量增量方式同步近千万数据
Lifelong learning
04-10 7118
同步方案： 同步读写：最为简单的方式在将数据写到mysql时，同时将数据写到ES，实现数据的双写。 异步双写(MQ方式)：MQ的性能基本比mysql高出一个数量级，所以性能可以得到显著的提高。 定时器程序：相关表中增加一个字段为timestamp的字段，任何crud操作都会导致该字段的时间发生变化，原来程序中的CURD操作不做任何变化；增加一个定时器程序，让该程序按一定的时间周期扫描指定的表，把该时间段内发生变化的数据提取出来；逐条写入到ES中。 binlog日志：读取mysql的binlog日志，获取指
使用logstash全量同步mysql的数据到elasticsearch6并且结合canal实现实时增量同步elasticsearch6，以及遇到坑的记录
qq_20448967的博客
02-07 762
进入主题了，我们的目标是同步mysql的数据到elasticsearch中，如果是单单使用logstash的话，存在延迟一分钟的，又如果是使用canal的话，不能实现全量，所以只能结合两个一起用了，准备工具有 logstash-6.8.13,elasticsearch-6.8.13,kibana-6.8.13,mysql，canal-1.1.5，这些中间件都是提前准备好咯，安装过程就不再写，因为都很简单了，百度上也很多， 第一步：配置mysql ，起开binlog的日志 和创建同步用户账号密码 1.
Elasticsearch 基于logstash 同步MySQL8 数据
zhouzhiwengang的专栏
07-08 524
概述   在生成业务常有将MySQL数据同步到ES的需求，如果需要很高的定制化，往往需要开发同步程序用于处理数据。但没有特殊业务需求，官方提供的logstash就很有优势了。   在使用logstash我们应先了解其特性，再决定是否使用： 无需开发，仅需安装配置logstash即可； 凡是SQL可以实现的logstash均可以实现（本就是通过sql查询数据） 支持每次全量同步或按照特定字段（如递增ID、修改时间）增量同步； 同步频率可控，最快同步频率每分钟一次（如果对实效性要求较高，慎用）； 不
logstash同步MySQL8.0数据到elasticsearch
weixin_44863976的博客
04-20 799
一、首先下载安装logstash 下载地址：https://www.elastic.co/cn/downloads/logstash 下载后解压即可 二、测试安装是否成功 进入logstash文件夹下的 /bin 目录下，执行logstash ‐e ‘input { stdin { } } output { stdout {} }’ 命令，出现以下结果即为安装成功 三、logstash-in...
mysql查询区分大小写字母
xzj80927的博客
01-13 594
问题描述： 今天使用mysql查询China时，返回了两个单词china 和 China select * from vocabulary where word="china" 查询结果没有区分大小写。 原因分析： 字符集 utf8_general_ci ---不区分大小写 utf8_bin--区分大小写 CREATE TABLE NAME(name VARCHAR(10...
ElasticSearch搜索时match和term大小写问题
z69183787的专栏
08-22 1万+
https://blog.csdn.net/Java_Beginner27/article/details/81127102   ES的建立索引过程：分词->语法处理（还原时态等等）->排序->创建索引。 其他暂不讨论，本文只讨论大小写问题。 如果创建index时mapping没有指定某个filed的标准化配置normalizer，那么如果写入ES的是大写，搜索出来看到的...
搜索引擎：ElasticSearch+Logstash+Node.js+Vue+ElementUI+Axios
weixin_44730965的博客
03-06 1万+
搜索引擎：ElasticSearch+Logstash+Node.js+Vue+ElementUI+Axiosnode.js安装安装搭建Vue项目功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特...
logstash 吞吐量优化_filebeat+kafka+logstash+elasticsearch全链路日志收集系统压测分享...
weixin_39671509的博客
12-20 440
前阵子做了一次日志收集系统压测，我们的全链路日志收集系统采用filebeat+kafka+logstash+elasticsearch，今天主要分享原始日志入库ES的压测经验，并不涉及storm的实时日志处理。压测目标是120万条日志/分钟，压测团队由本人、自动压测同事、SRE、众多PO、领导组成。压测的目标是明确的，却不太好下手。经过优化后，大概摸索出了方案。真是团队协作才完成，手上排满了别的活...
ElasticSearch 使用term查询无法匹配具有大小写的数据
zheyuan_xing的博客
04-22 1820
因为对ElasticSearch不是很熟悉，所以在用的时候碰到了很多的坑。比如这次在使用term查询的时候，因为查询的数据中是大小写都有的，但是没有查询到数据，但是换成match查询就可以。 所以去查阅了一些资料，ElasticSearch在倒排索引的时候就会将大写全部转化为小写，但是match查询会分词，所以能匹配。但是term查询没有分析器，所以只能精准匹配，因此会没有结果返回。 解决的方法有...
SpringDataElasticSearch查询时忽略大小写
大家都叫我菜鸡刘
11-11 2090
我们在进行ElasticSearch查询时通常字段都是以 @Field(type = FieldType.keyword) private String info; 标注,再查询时，会发现条件是区分大小写的。 这样再mysql与elasticSearch之间进行切换的时候就会发现查询结果不一致的情况。 百度n久，都是针对9200的http接口请求的方式。 处理方式如链接 ：h...
logstash安装Mysql数据库从插件
石头
08-31 826
项目需要，使用logstash定时读取log文件，并插入mysql数据库中，output使用logstash-output-jdbc插件。该插件不是默认安装的，需要使用命令：bin/logstash-plugin install logstash-output-jdbc去官方拉取。 #下载插件 [root@node1 bin]# ./logstash-plugin install logsta...
ElasticSearch查询DSL之Term级别查询（ids、exists、prefix、range、wildcard、regexp、trem、terms、fuzzy）
阿星的博客
01-09 3492
总结了ElasticSearch中term-level查询的Api，其中包括ids、exists、prefix、range、wildcard、regexp、term、terms、fuzzy这几种dsl的用处和语法。
logstash mysql slow log_Logstash分析MySQL慢查询日志
weixin_39630744的博客
01-21 300
最近在使用ELKStack对系统日志进行分析，在网上也有看到有使用logstash的案例，但是发现不能正常解析出来，于是重新花时间去进行正则计算，主要代码如下:input{file{type=>"mysql-slow"path=>"/var/lib/mysql/slow.log"start_position=>beginningsincedb_write_inte...
logstash mysql slow log_Logstash实践之MySQL Slowlog解析
weixin_35452394的博客
01-27 155
{"message" => "# Time: 151217 0:06:07\n# User@Host: vipshop_dba[vipshop_dba] @ [xxx.xxx.xxx.xxx]\n# Query_time: 0.172298 Lock_time: 0.000337 Rows_sent: 0 Rows_examined: 38819\nSET timestamp=145...
一文带你彻底搞懂Elasticsearch中的模糊查询
热门推荐
lucasma的博客
02-22 2万+
一文带你彻底搞懂Elasticsearch中的模糊查询 写在前面 Elasticsearch（以下简称ES）中的模糊查询官方是建议慎用的，因为的它的性能不是特别好。不过这个性能不好是相对ES自身的其它查询（term，match）而言的，如果跟其它的搜索工具相比ES的模糊查询性能还是不错的。 ES都多种方法可以支持模糊查询，比如wildcard，query_string等，这篇文章可能是全网最全的关于模糊查询的技术博客（哈哈）。 可以支持模糊查询的方案 wildcard wildcard的用法是这样的， GE
【ElasticSearch查询忽略大小写】
最新发布
一只不想做开发的猿猴
11-24 1906
ElasticSearch数据查询忽略大小写问题解决思路
Logstash的简单使用
weixin_44303027的博客
06-19 1万+
logstash对mysql的数据获取，处理解析成需要的数据格式并推送到ES
mysql数据库查询包含大写字母的字段
hyb1234hi的专栏
05-14 9813
SELECT * FROM `v9_category_attribute` WHERE title_cn REGEXP BINARY  '[A-Z]';BINARY  强制区分大小写REGEXP 正则表达式
7.X版Elasticsearch集群实战：filebeat+logstash+kibana日志分析
"该资源为2021年的最新版ELK（Elasticsearch, Logstash, Kibana）实战教程，重点介绍了如何从filebeat收集日志数据，通过logstash处理，然后存储到Elasticsearch集群，并在Kibana上进行可视化分析。" 在ELK栈中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值